Llama 3 - Meta开源推出的新一代大语言模型

发布于 2024-04-19 · Llama 3是Meta公司最新开源推出的新一代大型语言模型（LLM），包含8B和70B两种参数规模的模型，标志着开源人工智能领域的又一重大进步。作为Llama系列的第三代产品，Llama 3不仅继承了前代模型的强大功能，还通过一系列创新和改进，提供了更高效、更可靠的AI解决方案。

Llama 3是什么

Llama 3 是 Meta 开源的新一代大语言模型（LLM），有 8B 和 70B 两个参数规模。作为 Llama 系列的第三代，Llama 3 沿用了前代的基本思路，同时在训练数据和架构上做了不少调整，能用在编程、问题解决、翻译、对话生成这些场景上。

Llama 3的系列型号

Llama 3 目前有两个型号：8B（80亿参数）和70B（700亿参数），分别对应不同规模的应用需求，选起来比较直接。

Llama-3-8B：8B参数模型，体量相对小，一共80亿个参数。它面向需要快速推理、算力不宽裕的场景，性能也还撑得住。
Llama-3-70B：70B参数模型，规模更大，700亿个参数。复杂一点的任务它能接，语言理解和生成也更细，适合对性能要求高的场景。

之后 Llama 3 还会出 400B 参数规模的版本，目前仍在训练。Meta 表示等 Llama 3 训练完成，会补发一份详细的研究论文。

Llama 3的官网入口

官方项目主页：https://llama.meta.com/llama3/
GitHub模型权重和代码：https://github.com/meta-llama/llama3/
Hugging Face模型：https://huggingface.co/collections/meta-llama/meta-llama-3-66214712577ca38149ebb2b6

Llama 3的改进地方

参数规模：Llama 3 有 8B 和 70B 两种参数规模。相比 Llama 2，参数多了，能学到的语言模式也更复杂。
训练数据集：Llama 3 的训练数据集比 Llama 2 大了 7 倍，超过15万亿个token，其中包括4倍的代码数据，Llama 3 在理解和生成代码上因此更稳。
模型架构：Llama 3 的分词器换成了更高效的版本，还用上分组查询注意力（Grouped Query Attention, GQA），推理效率和处理长文本的能力都跟着提升。
性能提升：Llama 3 的预训练和后训练流程都做了改进，错误拒绝率降了，响应对齐和响应多样性也有提升。
安全性：加入了 Llama Guard 2 等信任与安全工具，还有 Code Shield 和 CyberSec Eval 2，安全性和可靠性都更强。
多语言支持：Llama 3 的预训练数据里加了超过30种语言的高质量非英语语料，给后续的多语言能力打底。
推理和代码生成：Llama 3 在推理、代码生成和指令跟随这几项提升明显，处理复杂任务时更准。

Llama 3的性能评估

按 Meta 官方博客的说法，指令微调后的 Llama 3 8B 在 MMLU、GPQA、HumanEval、GSM-8K、MATH 等基准上都优于同参数规模的模型（Gemma 7B、Mistral 7B）；微调后的 Llama 3 70B 在 MLLU、HumanEval、GSM-8K 等基准上也优于同等规模的 Gemini Pro 1.5 和 Claude 3 Sonnet。

Meta 另外做了一套高质量人类评估集，含 1800 个提示，覆盖 12 个关键用例：寻求建议、头脑风暴、分类、封闭式问答、编码、创意写作、提取、塑造角色/角色、开放式问答、推理、重写和总结。让评估者在 Llama 3 与 Claude Sonnet、Mistral Medium、GPT-3.5 等模型之间做偏好排序，结果是它在真实场景里最低也有 52.9% 的胜出率。

Llama 3的技术架构

解码器架构：Llama 3 用的是解码器（decoder-only）架构，Transformer 的标准形态，主要用来做自然语言生成。
分词器和词汇量：Llama 3 的分词器词表有128K个token，编码语言更省，性能也跟着提了一截。
分组查询注意力（Grouped Query Attention, GQA）：为了提升推理效率，Llama 3 的 8B 和 70B 模型都用了 GQA：把注意力里的查询分组，计算量降下来，性能基本不掉。
长序列处理：Llama 3 的序列最长支持 8,192 个token，训练时用掩码（masking）让自注意力（self-attention）不跨越文档边界，处理长文本时这点很关键。
预训练数据集：Llama 3 的预训练用了超过15TB的token，量很大，质量也做了筛选，模型能学到的语言信息比较丰富。
多语言数据：Llama 3 的预训练数据里非英语的高质量语料超过5%，覆盖30多种语言，多语言能力就是这么打下的底子。
数据过滤和质量控制：Llama 3 的开发团队搭了一套数据过滤管道：启发式过滤器、NSFW（不适合工作场所）过滤器、语义去重和文本分类器，把训练数据的质量兜住。
扩展性和并行化：Llama 3 训练时数据并行、模型并行、流水线并行三种都用上了，模型才能在大量 GPU 上跑得起来。
指令微调（Instruction Fine-Tuning）：Llama 3 在预训练模型之上再做指令微调，对话、编程这类具体任务的表现会更好。