豆包大模型1.5 - 字节跳动推出的最新版大模型

发布于 2025-01-22 · 豆包大模型1.5 是字节跳动推出的最新版本大模型。采用大规模稀疏MoE架构，等效于7倍激活参数的Dense模型性能，综合得分在知识、代码、推理、中文等多个测评基准上优于GPT-4o和Claude 3.5 Sonnet等模型。

豆包大模型1.5是什么

豆包大模型1.5 是字节跳动推出的新一代大模型。它用大规模稀疏 MoE 架构，性能等效于 7 倍激活参数的 Dense 模型；知识、代码、推理、中文等多个测评基准上的综合得分，优于GPT-4o和 Claude 3.5 Sonnet 等模型。豆包大模型1.5 还一起推出了豆包·实时语音模型（Doubao-1.5-realtime-voice-pro）和豆包·视觉理解模型（Doubao-1.5-vision-pro）：前者语音对话延迟低、能随时打断，后者在视觉推理和文档识别上更强。训练过程中，模型没有使用任何其他模型生成的数据。

豆包大模型1.5的主要功能

综合能力显著增强：知识（如 MMLU_PRO、GPQA）、代码（如 McEval、FullStackBench）、推理（如 DROP）、中文（如 CMMLU、C-Eval）这些测评基准上，它的成绩处于全球前列，综合得分超过 GPT-4o、Claude 3.5 Sonnet 等一流模型。
高效模型结构与低成本：大规模稀疏 MoE 架构，性能等效于 7 倍激活参数的 Dense 模型，效率比业内常规水平高出一截。自研的服务器集群方案能跑低成本芯片，硬件成本降了很多。

多模态能力全面提升
- 豆包·视觉理解模型（Doubao-1.5-vision-pro）：多模态数据合成、动态分辨率、多模态对齐、混合训练几块都做了升级，视觉推理、文字文档识别和细粒度信息理解都有明显提升。
- 豆包·实时语音模型（Doubao-1.5-realtime-voice-pro）：Speech2Speech 端到端框架，语音对话也是端到端，延迟低，随时能打断，目前已在豆包 App 全量上线。
深度思考能力：底座是豆包1.5，RL 算法上有突破，工程上也做了优化，于是有了深度思考模型 Doubao-1.5-Pro-AS1-Preview，AIME 等评测里成绩领先。
数据独立性：训练数据里没有掺任何其他模型生成的内容，数据生产体系完全自建，来源的独立性和可靠性有保障。

豆包大模型1.5的技术原理

大规模稀疏MoE架构：豆包大模型1.5 用大规模稀疏 MoE（Mixture of Experts）架构，预训练时激活参数不多，性能却等效于 7 倍激活参数的 Dense 模型；业内常规的杠杆是 3 倍，它高出不少。
多模态融合技术：文本、图像、语音等多种模态的输入输出都支持，多模态能力这次升级幅度不小。
高效的数据处理与训练：豆包大模型1.5 训练时没有使用其他模型生成的数据，而是自建数据生产体系，加上标注团队和模型 self-play 技术，保证数据来源独立、可靠。硬件成本则靠自研服务器集群方案和优化技术压了下来。
强化学习与优化框架：团队提出了 HybridFlow 框架，这是一个强化学习（RL）训练框架，把单控制器和多控制器两种做法的长处结合起来，训练吞吐量提升明显。
模型优化与推理加速：豆包大模型1.5 通过精细量化、PD 分离等技术，优化了推理效率。