DeepSeek V3 - DeepSeek开源的最新版 AI 模型，编程能力超越Claude

发布于 2024-12-26 · DeepSeek V3是知名私募巨头幻方量化旗下人工智能公司深度求索（DeepSeek）开源的最新版AI模型，在多语言编程能力上的进步显著。在aider多语言编程测评中的表现超越了Claude 3.5 Sonnet V2等竞争对手。DeepSeek V3采用了高达6850亿参数的混合专家（MoE）架构，包含256个专家，使用sigmoid路由方式，每次选取前8个专家参与计算，模型能更高效地处理复杂任务。

DeepSeek V3是什么

DeepSeek V3 出自知名私募巨头幻方量化旗下的人工智能公司深度求索（DeepSeek）开源的最新版 AI 模型，多语言编程能力提升明显，在 aider 多语言编程测评里超过了 Claude 3.5 Sonnet V2 等对手。最新的 DeepSeek-V3-0324 有 6850 亿参数，用混合专家架构，把多头潜在注意力和多标记预测结合起来，推理速度到每秒 20 个 tokens。写代码这块，DeepSeek-V3-0324 能直接生成完整的前端页面，初级程序员的大部分日常编码可以交给它。长文本也扛得住，复杂逻辑链梳理得动，学术研究和文书分析都能用。对话比上一代自然。DeepSeek V3 已经开源，Hugging Face 上能查到。

DeepSeek V3的主要功能

代码生成：说清楚要什么，就能生成对应代码，Python、JavaScript、Java 这些常用语言都支持。
代码优化：拿现有代码做分析和优化，性能、可读性、可维护性都能往上提。
调试辅助：帮忙找代码里的错误和漏洞，错误信息给得细，修复建议也有。代码跑出错时，它定位问题的速度不输有经验的程序员，还会列出几种可能的解法。
文本生成：给一个主题或大纲，就能往下写成长篇，小说、论文、报告都行。
文本分析：长文本丢进去，提取关键信息、总结主要内容、梳理逻辑结构这些活都能干。
文本润色：按需要的风格改文字，通顺度和语气都能调。
自然对话：聊天不用端着，问题它听得懂，回答也对得上。
多轮对话：多轮聊下来能记住上下文，后面的追问不用重复交代背景。
个性化对话：会参考你的偏好和过往记录，聊起来更贴你的习惯。
训练效率：支持 FP8 混合精度训练，训练更快，GPU 内存也省。DualPipe 算法负责流水线并行，跨节点 All-to-All 通信做过优化，InfiniBand 和 NVLink 的带宽基本吃满。
预训练和后训练：预训练用了 14.8T tokens，上下文窗口分两阶段从 4K 扩到 128K；之后做监督式微调和强化学习，让输出更符合人类偏好。
性能评估：在多个标准和开放式基准测试里，DeepSeek-V3 的基础模型成绩都不错，代码和数学两项尤其突出。聊天版本的 DeepSeek-V3 同样压过其他开源模型，和领先的闭源模型性能相当。
成本效益：训练花了 2.788M H800 GPU 小时，总成本 5.576M 美元。
API和Web服务：API 和 Web 服务都有，接进现有产品或者直接用网页都行。
多语言处理能力：多语言编程是这一代的重点提升项，aider 多语言编程测评里，DeepSeek V3 的成绩超过了 Claude3.5 Sonnet V2 等对手。

DeepSeek V3的技术原理

架构设计：DeepSeek V3 用的是混合专家（Mixture-of-Experts, MoE）架构，一共 256 个专家，每个专家是独立的神经网络，负责特定的任务或数据类型。MoE 不是每次都把所有专家拉起来算，而是用路由机制（比如 sigmoid 路由）挑一部分出来干活。DeepSeek V3 每次计算只取最相关的前 8 个专家（topk=8）。
工作机制：整个流程分几个阶段：
- 计划：先看用户问的是什么，定下结果长什么样，要提取哪些实体、对应哪些列。
- 搜索：关键词搜索和神经搜索一起上，靠 Exa 定位到具体内容。
- 提取：用大型语言模型（LLM）从内容里挑出需要的信息。
- 丰富：提取出来的数据再补一轮内容，每个条目尽量填满。
多模态能力：DeepSeek V3 用的是 OCRvl2 技术，图片里的文字、排版、公式保留得更好，比传统 OCR 强。
流式渲染优化：网页端是流式输出，不过每次渲染都要重新解析 Markdown，现在 60tps 的渲染速度偶尔会带来延迟。

DeepSeek V3的项目地址

HuggingFace模型库：
- https://huggingface.co/collections/deepseek-ai/deepseek-v3
- https://huggingface.co/deepseek-ai/DeepSeek-V3-0324
论文链接：https://github.com/deepseek-ai/DeepSeek-V3/blob/main/DeepSeek_V3.pdf
产品体验：DeepSeek

DeepSeek V3的性能和效率提升

参数规模：DeepSeek V3 的 MoE 架构有 6850 亿参数，规模上去了，能拟合的模式和关系也更复杂。
计算资源管理：MoE 架构下，DeepSeek V3 每次只调用合适的专家，多余的计算和内存开销省掉了。
数据并行和模型并行：DeepSeek V3 训练时数据并行、张量并行、序列并行和 1F1B 流水线并行几种策略一起用，硬件利用率高了，训练也快。
优化的学习率调度器：DeepSeek V3 的学习率调度分多个阶段，不同训练阶段的学习速率能保持在合适的区间。
Scaling Laws研究：DeepSeek V3 的团队在 Scaling Laws 上花了不少功夫，用来确定模型和数据规模的分配比例，也用来预测大规模训练的结果。
安全评估：DeepSeek V3 的整个训练过程都有数据安全筛选，模型输出尽量贴合人类价值观。

DeepSeek V3 的多项评测成绩

在权威测试集 HumanEval 中：DeepSeek-V3-0324 拿到 328.3 分，比 Claude 3.7 的 322.3 分高。
在LiveBench测试中：DeepSeek V3 的分数很高，响应查询和给反馈的速度都不慢。
- 全球平均分：60.4分
- 推理能力：50分
- 编程技能：63.4分
- 数学解析：60分
- 数据分析：57.7分
- 语言理解：50.2分
- 即时反馈（IF）：80.9分
教育基准测试：
- MMLU（多主题多选题）上，DeepSeek-V3 准确率 88.5%，比所有开源模型都高，跟 GPT-4o、Claude-Sonnet-3.5 这些领先的闭源模型在一个水平。
- MMLU-Pro（更严格的多主题多选题）里，DeepSeek-V3 的准确率是 75.9%，同样排在开源模型前面，和顶级闭源模型差不多。
事实性基准测试：
- SimpleQA（简单问答）和 Chinese SimpleQA（中文简单问答）两项上，DeepSeek-V3 的中文事实性知识强过 GPT-4o 和 Claude-Sonnet-3.5。
代码、数学和推理基准测试：
- 在非长链推理（non-long-CoT）的开源和闭源模型里，DeepSeek-V3 的数学基准成绩是最好的，MATH-500 这类测试甚至超过了 o1-preview。
- 编程任务这边，LiveCodeBench（实时代码基准测试）上表现最好的是 DeepSeek-V3。
开放式评估：
- 开放式对话评估里，AlpacaEval 2.0 和 Arena-Hard 两项基准 DeepSeek-V3 都拿到了好成绩，复杂提示和任务处理起来没什么压力。
作为生成性奖励模型的评估：
- RewardBench 上，DeepSeek-V3 的表现和 GPT-4o、Claude-3.5 相当，当奖励模型来判断质量也靠得住。

DeepSeek V3的API服务价格

定价：每百万输入 tokens 0.5 元（缓存命中）/ 2 元（缓存未命中），每百万输出 tokens 8 元。
活动优惠体验期：即日起至 2025 年 2 月 8 日，优惠期一共 45 天。
- 活动价格：每百万输入 tokens 0.1 元（缓存命中）/ 1 元（缓存未命中），每百万输出 tokens 2 元。
- 权益：老用户和这段时间注册的新用户，都能按优惠价走。