DeepSeek交流纪要（字节内部原文）
发布于 2025-02-06 · DeepSeek做的模型，和基于transformer的模型路径基本上是一致的，没有深度学习框架等的很大区别，DeepSeek核心点是在工程能力上的创新，现在做的模型一方面是...
站长推荐：DeepSeek服务器繁忙怎么解决？14个免费R1满血版平替
观点分享
DeepSeek所做的模型，与基于transformer的模型路线基本一致，在深度学习框架等方面并没有太大区别。DeepSeek 的核心优势在于工程能力上的创新。如今做模型，一方面靠理论，另一方面靠工程。
在理论和工程两个方面，业界都盯着理论层面，字节也是如此。市场上的模型算力有两条曲线：一条是堆叠尽可能多的算力来验证模型结构，因此字节要在海外投入 500 亿以上的预算；另一条曲线是业务增量。第一条曲线已经得出比较明确的结论——如果要进行模型探索和验证，仍然需要更多的 GPU 芯片。基座和 AGI 的探索投入周期很长，研发路径可能出现多种分叉，目前与海外公司处于战略相持阶段，需要针对已有模型进行多轮验证。回到 DeepSeek，我们也在做同样的事情，能力的迭代和更新并非只有他们一家。
结论1：对于模型结构本身，我们不认为 DeepSeek 在预训练等阶段与其他厂商有很大的理论差异；
结论2：不认为算力采购存在问题，需要更多算力来验证方案。真正需要反思和审视的是团队本身——奖励机制和研发架构设计的合理性，在核心团队激励和层级设计上需要做出改变以激发活力；
结论3：不存在代差。DeepSeek 比 Kimi 更纯粹，路径也比 Kimi 更精准。现在包括字节在内的很多大厂都在参考 DeepSeek 的路径和模型结构，能够在比较短的时间内拿出镜像版本。
从深度学习路径来看，字节的方案与 DeepSeek 差不多。字节内部也在针对 MoE 架构和注意力优化做工作，豆包 pro1.5 效果也不错，只不过是闭源，很多路径与 DeepSeek 一致。字节预算比较充足，但没有特别围绕卡的算力做垂类优化，在模型训练阶段成本比 DeepSeek 高一些。整体效果上，通义等厂商的表现不一定比 DeepSeek 差，只是优化方案可能不如 DeepSeek。
结论总结：DeepSeek 做得最好的事情是路径选择等选型优化，在架构设计中做了大量工作，工程算法等方面的成本控制非常出色。对互联网大厂来说，并不是跟不上、做不到，只是很长时间里我们没有去做。强化学习很多厂商都在做，路径本身并非 DeepSeek 一家可以走。最让我们惊讶的是成本端，路径和 DeepSeek 其实是一样的。
商业化：不是核心本质。与腾讯战略沟通时的核心逻辑是，用户数量对基座模型没有直接关系。DeepSeek 把投入放在研发和基座上，对商业化并没有太多探索。
交流探讨
Q：DeepSeek成本比较低的主要原因？
A：DeepSeek 仍然绕不过英伟达的 GPU 芯片。目前阶段，绝大多数做模型的公司都无法避开 GPU 芯片。国产卡很多性能不够强，可选余地也不大。从算力维度看，国内模型公司的算力基座 100% 都是英伟达系列。万卡互连对算力本身的通信和稳定性都有要求，需要对国产芯片做适配，需要用国产卡做推理。目前我们投入了很多精力做适配验证，除了百度自研昆仑芯，主要芯片仍然使用英伟达。国内绝大多数国产芯片在当前这个时间点还无法承接需求。
DeepSeek 对万卡互联的需求并没有特别高，而是把工程问题前置了。2025 年可能因为 DeepSeek 开源的冲击，算力结构会发生很大变化：
（1）很多企业会因为 DeepSeek 低成本模型的覆盖，或者方案覆盖，激发二轮训练的需求。在几千张卡互联训练中可以指望国产芯片。之前很多公司放弃自研模型，现在可能会有变化，激发国内有资金的公司进行模型研发；
（2）2025 年可能因为国产芯片的可用性，逐步进行转变，艰难地转向国内的卡，但还是要看水货渠道，如果有渠道，还是会用英伟达。
成本端的问题是核心。很多所谓嵌入了 OpenAI 接口、或者蒸馏了 OpenAI 数据的论调，基本都不现实，因为成本实在太高。DeepSeek 是开源模型，从模型效果和训练方式来看，除了数据没有开源，我们可以使用 DeepSeek 的开源论文在本地做复现，完全可以做成垂类模型。
DeepSeek 预训练模型中一点三方数据都没有？不太确定，但这是惯例。我们可能会使用三方模型内容进行打分，所有蒸馏侧的数据都是合成数据，DeepSeek 和我们一样应该都不会用。他们应该使用的是自建多语言语料。我们更愿意精选自建数据，因为蒸馏数据的数据质量不一定可靠，我们对数据精度要求比较高，蒸馏出的数据很多不可用。
模型训练所需的成本，23、24 年远比推理要高。模型训练沉没成本很高，推理则要看用户量。模型推理算力不如模型训练的核心原因是推理端没有模型增量出来，也就是没有人用。国内很多应用接口并没有那么多用户需求，可能 25 年会有变化，但在之前很长时间内，模型训练所需的算力都是最大的。推理和训练算力是不一样的。我们不能忽略 OpenAI 等公司的努力，在模型研发过程中，互联网大厂具备很多价值，我们在筛选路径。DeepSeek 本质是模型训练的改进。中长期来看，DeepSeek 的 API 成本绝对不会比我们低，推理成本不一定会降低，主要看规模效应。
Q：对于GPU的需求？
A：内部也在分析。我们通过应用和基座模型来分析，之前很长时间内，全球模型从业者对国内模型的关注度没有那么高，因为绝大多数研发人员的关注点都在海外。国内只有通义做得还不错，之前很长一段时间里，国内开源模型做得也可能不是很好，现在关注度上来了。因为工程能力的优化，理论层面非常充裕，对海外公司的恐慌在于 GPU 卡是否就不需要了。实际上需要更多的芯片进行探索和验证，DeepSeek 让我们的路径发生转变，加速了路径验证和探索的速度。
效果上来说，DeepSeek 和 OpenAI 部分指标差不多，在小语种上有差距，中文不错、英文尚可，在小语种和垂类知识回复中有所受限。DeepSeek 开源会对闭源市场产生很大冲击。模型本身不受影响，拉到本地就是自己的。DeepSeek 是非常标准的开源模型，所有组织都可以使用。应用侧主要还是卡不够、并发不够，是因为 DeepSeek 还是小体量，储备的芯片有限。训练和推理是不同的商业模式，推理还是针对垂类。如果使用联网搜索，成本还是大问题，并发也是大问题。豆包有 1000 多个工程师进行优化，DeepSeek 没有 index 页面，不是因为基座模型团队很强，C 端应用就会做得很强。国内愿意开放搜索入口的厂商很少，被 ban 的风险很大，自主话语权很小。体量不是很大的公司会面临比较大的问题。DeepSeek 应用 app 不指望变现，对于赚钱和商业化不迫切，基座模型迭代不停就行。
Q：DeepSeek会不会促进国内应用发展？
模型的训练不是一年两年的事情，我们现在做了 3 年，往后延续 2 年问题不大，不是一时的事情。
Q：大厂是否会基于DeepSeek进行优化？
A：会优化。从路径上来说优化是一定的，但总的算力来说不一定会下降。路径规划目前比较明确，大厂是做科研，路径分支都要做验证。小的公司只要沿着我们的脚印去做就行。我们的力度没有缩减，看到的现象是加速，可能总量还会增加。
Q：海外巨头算力需求是否会降低？
A：海外巨头基座算力不会投入那么猛，推理侧大家聊得也都差不多。模型推理可能会增加，模型训练增速会有下滑，但并不会下滑很快。算力投入的北极星指标是有没有新的好用模型，只要还有，投入就会有。第二个是推理，完全取决于文本、图片、视频等多模态的提升，与用户体量等正相关。如果客户越来越多，投入就会越强。我们寄希望于 25 年推理放量，也只有这样才会加大对推理的投入。整体来说算力本身还是增加的，不会因为 DeepSeek 而萎缩。
Q：目前硬件成本，训练成本和推理成本的比例？
A：字节现在手里的芯片有 10 万张，H20 有 20 多万张，H20 一半推理一半训练，A/H 系列芯片用于训练。国内的互联网大厂训练还是占多数，我们买到的芯片还是训练卡占绝大多数。字节本身是 3:7 开，25 年可能会有结构性变化，有部分需求会因为文本多模态等起量。字节 25 年会日均模型调用量从 4 万亿到 40 万亿。公司结构方面，Seed 不承担任何商业化指标，文本、图形、人形机器人都在这里；中间层是方舟，做模型蒸馏、裁剪量化商业化封装，逻辑上每个公司都一样，把它变成可用模型；再往下就是 Flow（豆包、猫箱、眼镜等），都是创新应用团队；第三块是火山引擎。
25 年会有结构性变化，从 4 万亿日均 Token 到 40 万亿，增长十倍。4 万亿日均 Token 对应 10 万张 A10/A30/L20/L40，因为 12 月底 4 万亿 Token 中 70% 都是文本。变成 40 万亿的时候，芯片占比 70% 以 H20/590/910B/910C 为主，剩下 30% 是 L40/5090 等。多模态的模型请求会有变化。国产训练卡主要做推理，我们有 400 多亿在国内，绝大多数用作模型推理。会储备比较多的 590，8-10 万张；910B 有 1 万多张；910C 有 4-5 万张。24 年训练芯片是多于推理芯片的，25 年可能会有交点。推理侧模型结构 70% 是非文本以外的多模态，无论如何即使训练成本下降，对推理侧的需求还是比较多的。
日均 40 万亿 Token，可能需要 60 万张卡。模型调用分为在线和离线，对于模型应用来说，可能会做削峰填谷和算力调度。小公司可能模型能力不错，输出效果也不差，但我们可以做削峰填谷来降低推理成本。Token 是计量单位，之前是纯文本，图片是 1:4000，图像理解是 1:1500，文生视频是 1 秒:150000。所以 Token 不是字符，文本占用量高的话 Token 不一定高。业内有两种调用方式，字节选用的是 Token，另一种是调用次数，这两种有折算关系。24 年初一次调用=800 Token，现在一次调用=2000 Token，文本在 24 年初占比较高。
Q：推理成本受算法影响的程度？
A：DeepSeek 的推理成本并不低，定价也不算便宜，字节的价格是比 DeepSeek 低的。DeepSeek 是不赚钱的，定价仍然偏贵。推理层面字节有规模效应。单次训练成本 DeepSeek 确实低，同样万卡做推理，DeepSeek 目前有 2 万张左右的训练芯片，最近紧急开发了一些芯片做推理，国内开了 1-2 万张卡，总的来说并不多。300-400 万日活所需要的卡很少，比如 1700 万 DAU，token 调用量 6000-7000 亿，4 万亿对应 10 万张卡，可以直接进行简单换算。开源模型用 ToB 的 API 没什么意义。DeepSeek 的 DAU 差不多 800-1000 万，日均调用量几千亿规模，卡数总量不过万。DeepSeek 的优势在训练侧，但没有应用爆发，成本还是下不来。
Q：DeepSeek和普通的AIGC有什么区别？
A：DeepSeek 也属于生成式 AI，但有几个不同之处：
第一个是把成本拉低，是 llama 的 1/11。用先进技术把推理速度降下来，模型架构和大部分不一样，用细颗粒度 MoE。先进模型基本都是 dense 架构，细颗粒度不是首创，阿里也在往这个方向走。这个架构在推理的时候只激活部分参数，在推理机制上引入 LLA。市场上有几种，比如多头注意力等，需要每个参数都参与计算，而 DeepSeek 只激活低参数部分，从而降低成本；
第二个是训练方法，传统方法是 FP32 和 FP16 的混合精度，DeepSeek 用 FP8 参数，比较敏感的组件还是 FP16。分布式混合精度目前做得比较少，训练方法里也有工程优化。之前时延导致 GPU 利用率不是很高，DeepSeek 用流水线并行，高效利用通信网络，提升速率；
第三是编程上也有很大不同，此前用 CUDA，DeepSeek 用 PTX。PTX 本身是 CUDA 的一部分，用更细颗粒度来调度底层单元，将硬件调度细化，这是传统方法用得比较少的；
第四是 AI Infra，通常集群是三层网络，DeepSeek 是两层。通信库降低 PCIE 消耗，减少 GPU 内存消耗、增高网络通信速度。HF Reduce、分布式文件系统、调度平台都用得比较灵活。
Q：国内所有的训练公司是否可以复制，大幅减少GPU需求？
A：DeepSeek 用 PTX 进行优化，PTX 并不是绕过 CUDA，而是 CUDA 的一部分。PTX 更底层一些，并没有 100% 用到 CUDA 标准库，而是到硬件底部调动硬件模块，但仍属于 CUDA 的组件。从这个角度来说，没办法马上复制到昇腾和 AMD。PTX 技术还是仅限于 NVDA，跨生态还是有困难。DeepSeek 没有把数据开源，只是把方法开源，方法可以参照，但并非 100% 复制，部分复制的衍生模型会比较快。
Q：DeepSeek大概降低了多少训练成本？
A：QWEN 没计划这么快发布 2.5MAX，大厂本来计划在一季度后半期发布，公开版本最大 72B，中间用的卡数量是 6000 级别的。我们是有 A800、H800 混合组网，大概是 1:3，如果要量化的话。
Q：国内的水平大概如何，和海外相比大概有多少成本降低？
A：DeepSeek 的 600 万美金是 V3 模型本身，V3 模型是迭代出来的。把之前的模型加起来的话，成本至少是目前的 3-5 倍，小 2000 万美金肯定要的。和 Llama3 相比，大概 1:4 左右，因为 DeepSeek 没有太多公开数据。OpenAI 主要是 6000 多张卡跑 3 个月以上，肯定是 DeepSeek 的好几倍。
Q：当用户量起来之后DeepSeek是否有很大的扩容需求？
A：最直观看到的是能力下降，因为用户量增长得比较猛，增长了十几倍，而推理集群本身没有 ready，深度推理和联网都用不了了。推理需求上来之后没有做到弹性扩容，暂时关闭了联网功能。从这个角度来看，虽然训练成本低了，但根据杰文斯理论，门槛降低之后对算力是利好的，普及度会提升。对 DeepSeek 来说要迅速扩容，不然会损失用户。
Q：本质上的框架还是基于英伟达的GPU芯片？
A：是的，还是 CUDA 生态。
Q：对芯片的依赖度会降低？
A：这个解读肯定是有问题的，他们还是在 CUDA 上做工作，其他公司没有在 PTX 上面进行。当大家看到之后，肯定会往这个方向做投入，用算法优化来提升性能。掌握方法之后会起来得很快，硬件的抄袭很困难甚至不可能，未来也会用 CUDA 来编程。国产在做芯片设计的时候会沿着这个思路去设计芯片，但取代不了。
Q：国产芯片是否存在一定的成长空间？
A：有的。低精度没那么大差距，FP8 和 FP16 就可以做训练。芯片硬件有差距的情况下，用性能比较差的芯片也可以设计低精度模型，逻辑是通顺的。云计算大厂后面肯定都会支持 DeepSeek，在 MaaS 上上线。2024 年是国产芯片牵引模型，接下来 DeepSeek 指引了方向，加上算法优势，用性能稍微低一些的芯片来测试模型也是趋势。在接下来 2-3 个季度，大厂也会发布国产相关方案出来，除了 CUDA 以外。
Q：推理芯片需求量会增加？
A：DeepSeek 出来之后模型市场有几点变化：对 MaaS 有一点冲击，DeepSeek 会进入所有 MaaS 平台；工具链上，会提供 DeepSeek 的调优工具；出现非常多基于 DeepSeek 的衍生版本，很多都会基于 DeepSeek 的模型来蒸馏，牵引此前的垂直版本。版本出来之后用比较低的成本部署并商用，推理侧 B 端和 C 端都会商用。目前 ToC 端推理成本比较贵，现在可以用比较好的方式来获取用户，会出现大量的应用爆发。DeepSeek 出来之后会出很多 Agent 和 AI 应用，生态会繁荣起来，要准备足够多的算力来支持。
Q：训练端的芯片是否会增加？
A：预训练可能不会增加，后训练可能会增加，但占比没有推理侧高。今年主要还是 3:7 开，7 还是推理。接下来 DeepSeek 已经把预训练做完了，接下来后训练做行业垂类模型，老版本迭代进行后训练需求。
Q：AIDC的需求情况？
A：AIDC 市场即使没有 DeepSeek 出来，大厂也有预算。字节按照 10 万亿或者 20 万亿来消耗，接下来可能会做调整。DeepSeek 没有出来之前的预测可能要调整，此后会有增长。总体来看会有更多的增长和需求，业务爆发要比预期快。
Q：优化主要集中在哪些环节？
A：DeepSeek 给我们的指引是，改变了堆算力的想法，把算法的权重增加，用算法来抵消算力不足，工程排第二，通信调度等，第三才是硬件。
Q：DeepSeek产业链和传统的算力产业链有什么增量环节？
A：分上中下游来说，在训练侧会减弱，但推理侧会增长，上游需求并不会减少。DeepSeek 后续要扩容，还是会带来硬件增长。会有很多基于 DeepSeek 进行软件开发的需求，比如微调等，比如 MaaS 平台需求，之前要选很多模型，现在减少了选项。后训练中会用到模型 API，有很多要用到 R1 模型进行深度推理，此前大模型给做科研、研发、分子结构预测等用不到，现在可以用到，所以会出现基于 R1 的很多需求，接下来会用 R1 辅助科研等，今年在这个赛道会起来。
Q：是否会降低高性能算力需求？
A：未来半年会逼着团队降成本，大厂会修改一部分预算分配到算法优化。随着行业掌握方法之后，就会开始新一轮的竞赛。训练成本和推理成本会下降，拉动整个行业增长。所以长期来看英伟达产业链的地位并不会有变化。
Q：阿里本身的MAX大概什么时候发布？
A：大概提前一个半月发布。
Q：是否仍然会有囤卡的现象？
A：在算法领先的时间窗口，会被复制和超越，有两个背景：美国会收紧，还有 90 天缓冲期。如果有渠道的厂商看到了行业逻辑，就一定会去买。有渠道买应该也会买，硬件还是有很大差距。对英伟达来说，以一年时间为维度，NVDA 还不会有很大的地位变化。
Q：未来行业的趋势？
A：DeepSeek 也发布了多模态模型，能够做图像生成。这样的模型出来之后加快了多模态的速度，之后会往多模态方向走，端到端多模态以及衍生出来的产品，Token 比文本模型多很多。从当下而言，DeepSeek 划好了分水岭，开源模型超越闭源模型是趋势，多模态速度普及提升也是一个方向。占比来说多模态的算力消耗是文本模型的 10 倍左右，推理算力消耗是此前的好几倍。
Q：铜连接需求的变化？
A：铜连接本身做节点级别的链接，会跟着数量来变动。基于我们前期的判断，中长期来看不会减少，机架扩容的时候还是用低成本方式来组网。
Q：互联网大厂未来的资本开支分配和节奏？
A：有些是美股上市公司，Q1 做下个年度的预算，在讨论大致数字。因为 DeepSeek 插进来之后肯定会重新讨论。阿里之前讨论 300 亿元，加上液冷、交换机就是 460 亿，现在在讨论要不要这么多。不会大规模下降，也不会猛增，有一些博弈。大概率技术还是会坚持甚至追加，要财务跟技术共同协商。其他大厂来说，我的预计是：百度今年不到 100 亿，不会猛增；字节最猛；阿里排第三，35%-40% 增长，激进一些的话就是 50% 以上；腾讯排第二。
0 条评论
暂无评论，来抢沙发。