Baichuan-Omni-1.5 - 百川智能开源的全模态理解模型

Baichuan-Omni-1.5是什么

Baichuan-Omni-1.5 是百川智能开源的模型，走的是全模态路线：文本、图像、音频、视频都能理解，生成端支持文本和音频两种模态。视觉、语音和多模态流式处理是它的强项，多模态医疗上的优势尤其明显。音频方面用的是端到端方案，多语言对话和音视频实时交互都能做。训练数据量不小，包括 3.4 亿条高质量图片/视频-文本数据和近 100 万小时音频数据；SFT 阶段又用了 1700 万条全模态数据继续调。在多项能力上，Baichuan-Omni-1.5 超过了 GPT-4o-mini，多模态推理和跨模态迁移都拿得出手。

Baichuan-Omni-1.5的主要功能

• 全模态理解与生成：文本、图像、音频和视频都能理解，生成侧支持文本和音频。
• 多模态交互：输入端、输出端都能交互，音视频实时对话可以跑起来，用着不别扭。
• 音频技术：采用端到端解决方案，支持多语言对话、端到端音频合成、自动语音识别（ASR）和文本转语音（TTS）功能。
• 视频理解：编码器、训练数据和训练方法都调过，视频理解能力比 GPT-4o-mini 高出一截。
• 多模态推理与迁移：多模态推理和跨模态迁移都在行，场景复杂一些也应付得来。
• 医疗领域优势：多模态医疗场景里表现不错，医疗图片评测的成绩领先幅度不小。

Baichuan-Omni-1.5的技术原理

• 多模态架构：Baichuan-Omni-1.5 采用多模态架构，文本、图像、音频和视频都能输入输出。视觉编码器处理图像和视频，音频编码器处理音频，再由一个大型语言模型（LLM）把这些信息整合起来。输入侧各模态通过对应的 Encoder/Tokenizer 进入语言模型，输出侧则是文本-音频交错输出的设计。
• 多阶段训练：训练分几个阶段：先做图像-语言、视频-语言和音频-语言的多模态对齐预训练，再做多模态监督微调。预训练时把不同模态的编码器和连接器仔细对齐，模态之间的交互才打得通。SFT 阶段用了 1700 万条全模态数据，准确性和鲁棒性又提了一截。
• 数据构造与优化：Baichuan-Omni-1.5 建了一个相当大的数据库，里面有 3.4 亿条高质量图片/视频-文本数据，音频数据接近 100 万小时。训练时把编码器、数据和训练方法都做了优化，视频理解这类任务的成绩比 GPT-4o-mini 高出不少。
• 注意力机制：注意力机制动态算出各模态输入的权重，复杂指令理解得更准；处理多模态数据时，算力也能分到更该去的地方，整体性能因此受益。
• 音频与视频处理：音频处理这块，Baichuan-Omni-1.5 走的是端到端方案，多语言对话、端到端音频合成、自动语音识别（ASR）和文本转语音（TTS）都支持。音频 Tokenizer 是在开源语音识别翻译模型 Whisper 上增量训练出来的，语义抽取和音频高保真重建都能做。视频理解方面，编码器优化过之后，表现优于 GPT-4V。

Baichuan-Omni-1.5的项目地址

• GitHub仓库：https://github.com/baichuan-inc/Baichuan-Omni-1.5
• HuggingFace模型库：https://huggingface.co/baichuan-inc/Baichuan-Omni-1d5

Baichuan-Omni-1.5的应用场景

• 智能交互与客服优化：客服场景里，用户发产品图片、打字说明或者直接语音提问都行，Baichuan-Omni-1.5 把文本、图像、音频这些信息合在一起看，解析完当场给出回答，服务效率和质量都能上去。
• 教育革新辅助学习：学生拿它当学习搭子也合适：教材文本、图表、音频讲解这些资料它都能读，问题讲得比较浅白，知识点也会拆开说；多模态互动能照顾到不同的学习习惯。
• 医疗智能诊断助手：医疗场景里，检查报告（文本）、医学影像（图像）、患者口述的症状（音频）可以一起交给 Baichuan-Omni-1.5，它综合看一遍，给出诊断思路和治疗建议，供医生参考。
• 创意激发与设计赋能：Baichuan-Omni-1.5 也能给创意工作者找灵感。广告设计、故事创作这类场景里，给一个创意主题（文本）加图片素材，它能产出创意内容；用语音描述剧情，还能往下展开情节，或者画出相关图像。
• 多模态内容生成与理解：文本、图像、音频、视频都能输入，输出侧是文本和语音。视频理解、音频处理是它的长项，音频 Tokenizer 撑得起中英双语的实时对话。