GLM-4.1V-Thinking - 智谱AI开源的视觉语言模型系列

发布于 2025-07-02 · GLM-4.1V-Thinking是智谱AI推出的开源视觉语言模型，专为复杂认知任务设计，支持图像、视频、文档等多模态输入。模型在GLM-4V架构基础上引入思维链推理机制，基于课程采样强化学习策略，系统性提升跨模态因果推理能力与稳定性。

GLM-4.1V-Thinking是什么

GLM-4.1V-Thinking 是智谱AI 推出的开源视觉语言模型，面向复杂认知任务，图像、视频、文档都能输入。它在 GLM-4V 架构上引入思维链推理，配合课程采样强化学习，跨模态因果推理的能力和稳定性都有提升。轻量版 GLM-4.1V-9B-Thinking（基座为 GLM-4.1V-9B-Base，GLM-4.1V-9B-Thinking 本身带深度思考和推理能力）参数量控制在 10B 级别，28 项权威评测里有 23 项拿下 10B 级模型最佳，其中 18 项持平或超过 72B 的 Qwen-2.5-VL，小体积模型的性能上限被推得挺高。

GLM-4.1V-Thinking的主要功能

图像理解：图像内容识别和分析都比较准，目标检测、图像分类、视觉问答这类任务都能接。
视频处理：能对视频做时序分析和事件逻辑建模，理解、描述、问答都支持。
文档解析：文档里的图像和文本一起处理，长文档理解、图表理解、文档问答都能做。
数学与科学推理：复杂数学题解、多步演绎、公式理解都不在话下，STEM 领域的推理任务能接。
逻辑推理：逻辑推理和因果分析都能做，多步推理、逻辑判断这类复杂任务也撑得住。
跨模态推理：把视觉和语言信息合在一起推理，图文理解、视觉问答、视觉锚定等任务都支持。

GLM-4.1V-Thinking的技术原理

架构设计：视觉编码器用 AIMv2Huge，负责处理和编码图像、视频输入；MLP 适配器把视觉特征对齐到语言模型的 token 空间；语言解码器用 GLM，处理多模态 token 并生成输出。
训练方法：先用大规模图像-文本对、学术文献和知识密集型数据做预训练，打好视觉语言基础；再用长链推理（CoT）数据做监督微调，提升推理能力和人类对齐；最后基于课程采样强化学习（RLCS）动态挑信息量最大的样本训练，把多项任务的性能拉起来。
技术创新：引入思维链推理，让模型一步步展开详细的推理过程；课程采样策略会动态调整样本难度，保证每个阶段练的都是最有效的内容；2D-RoPE 和 3D-RoPE 则让它支持任意分辨率和宽高比的图像输入，时空理解能力更强。

GLM-4.1V-Thinking的性能表现

在 MMStar、MMMU-Pro、ChartQAPro、OSWorld 等 28 项权威评测中，它有 23 项拿到 10B 级模型的最佳成绩，其中 18 项持平或超过参数量 72B 的 Qwen-2.5-VL。

GLM-4.1V-Thinking的项目地址

GitHub仓库：https://github.com/THUDM/GLM-4.1V-Thinking
HuggingFace模型库：https://huggingface.co/collections/THUDM/glm-41v-thinking-6862bbfc44593a8601c2578d
arXiv技术论文：https://arxiv.org/pdf/2507.01006v1
在线体验Demo：https://huggingface.co/spaces/THUDM/GLM-4.1V-9B-Thinking-Demo

如何使用GLM-4.1V-Thinking

API接口：
- 注册账号：访问智谱AI开放平台，注册并登录。
- 获取API Key：在平台上创建应用，拿到专属的 API Key。
- 调用API：照着 API 文档发 HTTP 请求调用模型接口，把输入数据送出去，再取回输出结果。例如，下面是用 Python 调用 API 的代码：

import requests
import json

# 设置API接口地址和API Key
api_url = "https://api.zhipuopen.com/v1/glm-4.1v-thinking"
api_key = "your_api_key"

# 准备输入数据
input_data = {
    "image": "image_url_or_base64_encoded_data",
    "text": "your_input_text"
}

# 设置请求头
headers = {
    "Authorization": f"Bearer {api_key}",
    "Content-Type": "application/json"
}

# 发送请求
response = requests.post(api_url, headers=headers, data=json.dumps(input_data))

# 获取结果
result = response.json()
print(result)

开源模型：
- 下载模型：去 Hugging Face 找到 GLM-4.1V-Thinking 的模型页面，下载模型文件。
- 加载模型：用 PyTorch 这类深度学习框架把模型加载起来。
- 进行推理：输入数据预处理后喂给模型，取回输出结果。比如下面这段用 PyTorch 加载模型并推理的代码：

from transformers import AutoModelForVision2Seq, AutoProcessor
import torch

# 加载模型和处理器
model_name = "THUDM/glm-4.1v-thinking"
model = AutoModelForVision2Seq.from_pretrained(model_name)
processor = AutoProcessor.from_pretrained(model_name)

# 准备输入数据
image_url = "image_url_or_image_path"
text = "your_input_text"
inputs = processor(images=image_url, text=text, return_tensors="pt")

# 进行推理
with torch.no_grad():
    outputs = model(**inputs)

# 获取结果
result = processor.decode(outputs.logits[0], skip_special_tokens=True)
print(result)