Llama 4 - Meta 开源的多模态系列AI模型，重夺开源王座

发布于 2025-04-06 · Llama 4 是 Meta 开源的多模态系列AI模型。首次采用混合专家（MoE）架构，在训练和推理时计算效率更高。Llama 4 目前有 Scout 和 Maverick 两个版本。Scout 有 170 亿个活跃参数、16 个 “专家” 模型、1090 亿个总参数，支持 1000 万上下文，可处理 20 多小时视频，在单个 H100 GPU 上就能运行，性能超越 Gemma 3 等模型。

Llama 4是什么

Llama 4 是 Meta 开源的多模态系列 AI 模型，第一次用上混合专家（MoE）架构，训练和推理时的计算效率更高。Llama 4 目前有 Scout 和 Maverick 两个版本。Scout 有 170 亿个活跃参数、16 个 “专家” 模型、1090 亿个总参数，支持 1000 万上下文，能处理 20 多小时视频，单张 H100 GPU 就能跑，性能超过 Gemma 3 等模型。Maverick 同样是 170 亿个活跃参数，但用了 128 个 “专家” 模型，总参数 4000 亿，擅长图像精准理解和创意写作，适合通用助手、聊天类应用，在大模型 LMSYS 排行榜上排第二。Llama 4 Behemoth 还是预览版，训练仍在进行，2 万亿参数在 STEM 基准测试里表现不错。Llama 4 在 200 种语言上做了预训练，支持开源微调，训练数据超过 30 万亿个 token。

Llama 4的主要功能

强大的语言理解与生成能力：经过大量文本数据训练，语言理解比较准，能写出连贯、有逻辑的文本，可用于创意写作、文章撰写、对话交互。比如写故事时，它能顺着给定主题和情节线索展开；对话时也能理解用户意图，给出合适的回复。
多模态处理能力：模型用图像数据训练过，能识别图片里的物体、场景、颜色，并对图像内容做描述和分析。Scout 版本支持 1000 万 tokens 上下文窗口，能处理数百万字的文本，适合总结长文档、在大型代码库上做推理这类任务。
高效的推理与计算能力：混合专家（MoE）架构把模型拆成多个专注特定任务的 “专家” 子模型，训练和回答查询时只动用其中一部分，服务成本、延迟都更低，推理效率更高。
多语言处理能力：在 200 种语言上预训练过，能处理和生成多种语言的文本，翻译、跨语言文本分析这些任务都能做。

Llama 4的技术原理

混合专家（MoE）架构：Llama 4 是 Llama 系列里第一个用 MoE 架构的模型。MoE 模型中，单个 token 只会激活全部参数的一小部分。比如 Llama 4 Maverick 的 4000 亿个总参数里，活跃参数是 170 亿个。为了提高推理效率，Meta 把稠密层和 MoE 层交替使用，MoE 层有 128 个路由专家和一个共享专家，每个 token 都会送进共享专家，同时再送进 128 个路由专家中的一个。这样运行时只有部分参数被激活，推理效率上去了，服务和延迟成本也降了。
原生多模态设计：Llama 4 是原生多模态模型，用早期融合技术把文本和视觉 token 放进同一个模型框架，因此可以直接用海量无标签的文本、图片和视频数据一起预训练。Meta 还升级了 Llama 4 的视觉编码器，基于 MetaCLIP，训练时与一个冻结的 Llama 模型分开进行，编码器因此调得更充分，也更适配大语言模型（LLM）。
模型超参数优化：Meta 为此开发了 MetaP 训练方法，用来更可靠地设定关键超参数，比如每层的学习率和初始化规模。这些超参数在不同批大小、模型宽度、深度和训练 token 量下都能适配。
高效的模型训练：训练用 FP8 精度，质量不掉，FLOPs 利用率也高。比如用 FP8 加 32K 个 GPU 预训练 Llama 4 Behemoth 时，每个 GPU 跑到 390 TFLOPs。训练数据超过 30 万亿个 token，文本、图片、视频都有。之后再通过 “中期训练”，用专门数据集扩展长上下文、补核心能力，Llama 4 Scout 的 1000 万输入上下文就是这么来的。
后训练流程优化：训练流程是轻量级监督微调（SFT）> 在线强化学习（RL）> 轻量级直接偏好优化（DPO）。SFT 和 DPO 有可能把模型限制得太死，Meta 的做法是让 Llama 模型当评判者，先去掉超过 50% 被标为 “简单” 的数据，对剩下更难的样本做轻量级 SFT；多模态在线 RL 阶段挑更难的提示，并持续做在线 RL，训练和数据筛选交替进行，只保留中等到高难度的提示；最后再来一轮轻量级 DPO，平衡智能性和对话能力。

Llama 4的项目地址

项目官网：https://ai.meta.com/blog/llama-4
HuggingFace模型库：https://huggingface.co/collections/meta-llama/llama-4

Llama 4的应用场景

对话系统：可以用 Llama 4 搭聊天机器人。Maverick 适合通用 AI 助手和聊天应用，能理解问题、给出自然流畅的回答，也能做信息查询、答疑和闲聊。
文本生成：能写故事、诗歌、剧本，也能写新闻报道、产品说明、文案，按给定主题和要求出稿。
代码生成与辅助：开发者给出功能描述，它能生成代码片段甚至完整程序，也能做代码解释、注释生成、规范检查这些辅助工作。
代码理解与分析：Scout 能在大型代码库上推理，帮开发者理清复杂项目的逻辑和功能，也能做代码审查、漏洞检测。
图像理解与描述：Maverick 的图像理解比较准，能认出图片里的物体、场景、颜色，并做描述和分析。给它一张照片，它可以讲照片里有什么，甚至判断拍摄地点。
信息检索与推荐：它的语言理解和生成能力也能用在信息检索上：理解查询意图，把搜索结果排得更准，再根据用户兴趣和行为做个性化推荐。