UltraMem - 字节豆包大模型团队推出的全新超稀疏模型架构

UltraMem是什么

UltraMem 是字节跳动豆包大模型团队提出的超稀疏模型架构，主要针对传统 MoE 架构推理时访存开销大的问题。架构上优化了内存访问和计算效率，推理成本降了下来，速度比 MoE 快 2-6 倍，成本最多能低 83%。核心技术有几项：一是多层结构改进，把大的内存层拆成多个小内存层，分布到 Transformer 各层里，再加入 skip-layer 操作实现并行计算；二是改进 value 检索，用 Tucker 分解查询键检索（TDQKR）提高检索精度；三是隐式扩展稀疏参数（IVE），借虚拟内存和物理内存的思路压减显存和部署成本。实验中，不同规模的激活参数下 UltraMem 都有优势，稀疏参数增加时扩展性也比 MoE 好。

UltraMem的主要功能

• 降低推理成本：UltraMem 优化了内存访问机制，推理时的访存需求明显下降，成本最多能低 83%。
• 提升推理速度：和传统 MoE 架构相比，UltraMem 的推理速度快了 2-6 倍；在常见 batch size 下，访存成本和同计算量的 Dense 模型差不多。
• 优化内存管理：靠稀疏计算和选择性参数激活，UltraMem 减少了推理对内存的依赖，内存瓶颈基本能绕开。
• 支持大规模模型：这条架构路线为构建数十亿规模的 value 或 expert 模型提供了新思路，扩展性不错。
• 保持模型性能：参数和激活条件相同时，UltraMem 的推理成本降下来了，模型效果还超过了 MoE。

UltraMem的技术原理

• 稀疏计算与参数解耦：UltraMem 用稀疏计算把计算和参数解耦，只激活与当前任务最相关的那部分参数，不像传统 MoE 那样推理时把所有专家都激活，访存需求因此明显下降。
• 优化的内存访问机制：UltraMem 引入了大规模超稀疏内存层，每次只选择性激活少量参数，推理时的内存瓶颈就避开了。常见 batch size 下，它的访存成本和同计算量的 Dense 模型基本持平。
• 并行计算机制：UltraMem 优化了计算图，也用了更先进的算法，多个推理任务能同时跑。并行之后资源利用率上去了，推理速度也跟着加快。
• Tucker 分解查询键检索（TDQKR）：UltraMem 采用更复杂的乘法方法，也就是 Tucker 分解查询键检索（TDQKR），用来优化 value 的检索。它把查询和键的交互做分解，检索精度和效率都有提升。
• 隐式扩展稀疏参数（IVE）：UltraMem 提出了隐式扩展稀疏参数（IVE），借虚拟内存和物理内存的概念隐式扩展稀疏参数。显存负担不增加，模型性能和扩展能力却能提上来。
• 多层结构设计：UltraMem 把大型内存层拆成多个小内存层，按固定间隔分布到 Transformer 层中。这样内存层的访存操作能和 Transformer 层的计算并行，整体效率更高。

UltraMem的项目地址

• arXiv技术论文：https://arxiv.org/pdf/2411.12364

UltraMem的应用场景

• 实时推理场景：UltraMem 适合对延迟敏感的推理场景，比如代码补全和智能客服。这类场景要求快速响应用户请求，它的低延迟正好对得上。
• 大规模模型部署：UltraMem 推理效率高、访存成本低，很适合部署大规模语言模型（LLM）。构建数十亿规模的 value 或 expert 模型时，有限的计算资源也能跑出高性能。
• 金融领域：金融领域里，UltraMem 可以用在信贷资产管理和风险预测上。客户意图和风险特征识别得更准，金融机构的业务成本和效率都能改善。
• 能源行业：能源领域，UltraMem 可用于设备运检、电力营销客服和新能源功率预测。数据处理和推理效率上去了，资源配置和能源效率也能优化。
• 工业自动化：工业自动化里，UltraMem 能做设备故障预测和生产流程优化。推理够快，大量工业数据能快速分析完，生产管理更智能。