DeepSeek 宣布将内部推理框架 DeepInfer 全面开源
发布于
据证券时报 10 月 20 日消息,DeepSeek 宣布将其内部推理框架 DeepInfer 全面开源。这个框架并非为演示而写:它已经在支撑 DeepSeek V4.1 Flash 的大规模线上推理服务。官方给出的目标是帮助开发者优化大规模推理的吞吐与延迟,私有化与公有云部署都在覆盖范围内,并明确写到降低算力成本与减少能源消耗。
这是 DeepSeek 在这一条线上连续开源动作的一部分。此前该团队已经开源了 TileLang 编译工具与推理算子库,把「模型权重之外」的工程资产逐步放开。对行业来说这类部件的价值比榜单分数更实在:推理框架决定了同样的权重在同样的卡上能跑出多少吞吐,也就直接决定单位 token 的成本。
IT之家在同日报道中补充了一个细节口径:DeepInfer 同时支持英伟达与华为昇腾双平台。若确实如此,它意味着同一套推理优化路径可以跨两套硬件生态复用,这在国内算力供给结构下尤其关键。
资讯来源:stcn.com