MM1.5 - 苹果推出的升级版多模态大模型

MM1.5是什么

MM1.5是苹果公司推出的多模态大型语言模型，主要补的是文本丰富图像的理解、视觉指代和定位、多图像推理这几块能力。训练走以数据为中心的路子：大规模预训练、高分辨率OCR数据持续预训练，再加上优化的视觉指令微调，参数规模从1B到30B都能做到高性能。MM1.5有密集型和MoE两种变体，小参数模型靠精细的数据策划和训练策略也能有强表现。MM1.5还派生了两个专门变体，MM1.5-Video 针对视频理解，MM1.5-UI 针对移动UI理解，训练过程和决策都有实证研究支撑，算是在给多模态AI后面怎么走打样。

MM1.5的主要功能

• 文本丰富的图像理解：MM1.5 读得懂图里的文字，也明白文字和图像内容之间的关系。
• 视觉指代和定位：能认出图里的特定对象，也理解文本怎么指代它，比如“那个红色的球”。
• 多图像推理：MM1.5 可以同时分析多张图，看出图与图之间的联系再做逻辑推理。
• 视频理解：靠 MM1.5-Video 变体理解视频内容，动作、事件和时间序列都在范围内。
• 移动UI理解：MM1.5-UI 变体专攻移动应用界面，能识别界面元素并操作它们。

MM1.5的技术原理

• 深度学习和自然语言处理：视觉模型加自然语言处理，模型既能理解图像内容，也能生成相关的文本。
• 坐标token和视觉注意力机制：用坐标 token 定位图像里的对象，靠视觉注意力机制盯住图像的特定区域。
• 图像分割和多模态融合：把图像分成几个部分，和文本信息融合在一起，多图像推理就建立在这上面。
• 视频帧采样和时序分析：对视频帧做采样，分析帧与帧的时序关系，从而看懂视频内容。
• 界面元素识别：用图像识别技术认界面上的按钮、图标这些元素。

MM1.5的项目地址

• arXiv技术论文：https://arxiv.org/pdf/2409.20566v1

MM1.5的应用场景

• 图像和视频理解：MM1.5 可以理解、分析图像和视频内容，用在图像标注、视频内容分析、安防监控这些领域。
• 视觉搜索：电商或数字图书馆里，用户靠一段描述或一张图就能搜到特定的商品、文档，背后是 MM1.5。
• 辅助驾驶和自动驾驶：在汽车领域，MM1.5 用来理解和分析道路情况，辅助驾驶决策。
• 智能助手：在智能手机和智能家居设备里，MM1.5 让交互更自然直观，用户的语音或文本指令都能理解。
• 教育和培训：当教育工具用，MM1.5 能把复杂概念讲得更好懂，学习体验也可以做得个性化。