k1 视觉思考模型 - kimi推出的 k1 系列强化学习模型
发布于 2024-12-16 · k1 视觉思考模型是kimi推出的k1系列强化学习AI模型,原生支持端到端图像理解和思维链技术,将能力扩展到数学之外的更多基础科学领域。k1模型在图像理解、数学、物理、化学等学科的基准测试中表现优异,超过全球多个标杆模型(如OpenAI o1、GPT-4o以及 Claude 3.5 Sonnet)。k1 视觉思考模型能直接处理图像信息进行思考得出答案,无需借助外部OCR或视觉模型,提供完整的推理思维链,让用户看到模型思索答案的全过程。
k1 视觉思考模型是什么
k1 视觉思考模型是kimi推出的 k1 系列强化学习 AI 模型,原生支持端到端图像理解和思维链,能力也从数学扩到了更多基础科学领域。k1 模型在图像理解、数学、物理、化学等学科的基准测试里成绩不错,超过了 OpenAI o1、GPT-4o 以及 Claude 3.5 Sonnet 等一批标杆模型。k1 视觉思考模型不用外挂 OCR 或视觉模型,直接读图像思考、给出答案,完整的推理思维链也一并给出,模型怎么想的一目了然。它基于预训练和强化学习后训练,字符识别专门做了优化,k1 视觉思考模型在 OCRBench 上拿到 903 分,是目前的最好(state-of-the-art)结果;MathVista-testmini、MMMU-val 和 DocVQA 上分别是 69.1、66.7 和 96.9,处在全球领先的位置。
Kimi 模型研发团队还推出了面向基础科学的标准化图形测试集 Science Vista,数理化图片题按难度铺开,题目分布和实际用户的需求比较贴近。这个测试集会向全行业开放。
k1 视觉思考模型的主要功能
- 端到端图像理解:k1 视觉思考模型直接处理用户传来的图像,自己思考分析,不用依赖外部 OCR 技术或额外的视觉模型。
- 推理思维链展示:k1 视觉思考模型会把思考过程摊开,也就是推理思维链(Chain of Thought, CoT)。用户不只看到答案,还能看到这个答案是怎么推出来的。
- 基础科学能力泛化
- 数学能力:新版 k1 视觉思考模型靠端到端的图像理解,把几何图形题这类以前不好处理的题型也拿下了,数学能力更全面。
- 跨学科能力:能力延伸到物理、化学等基础科学,这些领域里的复杂问题也能理解和解决。
- 真实场景适应性:照片发暗、图像模糊、手写字迹干扰这类带噪声的真实场景里,k1 视觉思考模型的表现比 OpenAI 和 Anthropic 的视觉语言模型更好,k1 模型的领先幅度也更明显。
- 通用问题解决能力:k1 视觉思考模型的通用能力也更多,比如解释科学家的手稿,能用的地方因此更宽。
如何使用k1 视觉思考模型
- 下载或更新应用:手机或电脑上先装好最新版的Kimi智能助手APP,或者打开Kimi的网页版。
- 访问Kimi视觉思考版:k1 视觉思考模型已陆续上线最新版「Kimi智能助手」的 Android 和 iPhone 手机APP以及网页( kimi.com)。在最新版手机 APP 或网页版的 Kimi+ 页面里,找到「Kimi 视觉思考版」。
- 上传或拍照:用 APP 或网页版的拍照功能直接拍,或者从设备里选一张已有图片上传。
- 等待分析:图像提交后,k1 视觉思考模型会开始处理,边想边分析。
- 查看结果和推理过程:Kimi视觉思考版会把推理思维链(Chain of Thought, CoT)展示出来,答案是怎么来的,用户全程看得到。
- 交互和反馈:想让它再解释几句,或者还有别的问题,接着跟 Kimi 聊就行,也可以提反馈。
k1 视觉思考模型的挑战
- 泛化能力:k1 视觉思考模型在分布外(out-of-distribution)的泛化还有提升空间,训练数据里没见过的新题型,表现会差一些。
- 复杂问题解决:问题一复杂,k1 视觉思考模型的成功率就比不上处理简单题的时候。
- 噪声场景准确率:各种噪声混在一起的真实场景里,k1 视觉思考模型虽然比其他模型强,准确率还是不够。
- 多轮问答效果:k1 视觉思考模型的多轮问答效果还有待提高,这牵扯到上下文理解,也牵扯到连续对话里的逻辑连贯性。
k1 视觉思考模型的应用场景
- 教育辅助 – 数学问题解答:拍下数学题,它给出解题步骤和答案,学生理解概念会顺一些。
- 学术研究 – 科学文献分析:研究人员可以用它读科学文献里的图表和数据,说不定能看出新的线索。
- 图像识别与分析 – 城市或建筑识别:遇到不认识的城市地标或建筑风格,拍一下就能认出来,旅行也多点意思。
- 艺术与文化 – 书法作品分析:书法作品的风格和历史背景可以分析,书法爱好者能多一份学习材料。
- 社交媒体 – 梗图解读:社交媒体上的梗图和流行文化现象,它能帮着解释,文化、语言的隔阂少一些。
k1 视觉思考模型几何题解决实例






0 条评论
暂无评论,来抢沙发。