Mu - 微软推出的小参数语言模型

Mu是什么

Mu是微软做的小参数语言模型，只有3.3亿参数，在 NPU 和边缘设备上跑得动。模型用的是编码器解码器架构，靠硬件感知优化、模型量化和特定任务微调，响应速度能做到每秒超100 tokens。Mu还支持 Windows 设置里的智能体：自然语言指令实时变成系统操作，调屏幕亮度、改鼠标指针大小都行。和-Phi3.5-mini比，Mu 的参数量小 10 倍，性能却差不太多。创新点包括双重层归一化、旋转位置嵌入和分组查询注意力这些技术，训练更稳，推理也更快。

Mu的主要功能

• 系统设置调整：用自然语言指令就能改系统设置，比如“把鼠标指针调大一些”“调整屏幕亮度”。
• 低延迟响应：Mu能在设备端快速响应，速度超过100 tokens/second，体验上不会卡。
• 集成到Windows设置：Mu被放进 Windows 设置的搜索框里，指令直接输进搜索框，系统自己识别并执行相关操作。
• 支持多种设置：Mu 能处理的系统设置有数百项，用户日常的各种需求基本覆盖得到。

Mu的技术原理

• 编码器解码器架构：Mu 走的是编码器-解码器架构。编码器把输入文本转成固定长度的潜在表示，解码器再按这个表示生成输出。
• 硬件感知优化：优化是冲着 NPU 做的，模型架构和参数形状都会去适应硬件的并行性和内存限制，Mu 在 NPU 上跑得更高效。
• 模型量化：用的是后训练量化（PTQ），模型权重和激活从浮点数转成整数表示，主要取8位和16位整数。内存占用和计算需求少了一大截，准确性还保得住。
• 创新的Transformer升级：
  • 双重层归一化（Dual LayerNorm）：每个子层的前后各做一次 LayerNorm 操作，激活值分布保持得好，训练过程也就稳。
  • 旋转位置嵌入（Rotary Positional Embeddings, RoPE）：靠复数域的旋转操作动态生成位置编码，长序列的外推能力支持得了，传统绝对位置编码的那些限制能绕开。
  • 分组查询注意力（Grouped-Query Attention, GQA）：做法是在头组之间共享键和值，注意力的参数数量和内存占用降下来，头的多样性还在，模型效率提上去。
• 训练技术：预训练在 A100 GPU 上进行，知识从 Phi 模型蒸馏过来，再用低秩适配（LoRA）做特定任务的微调，模型性能接着往上走。

Mu的项目地址

• 项目官网：https://blogs.windows.com/windowsexperience/2025/06/23/introducing-mu-language-model-and-how-it-enabled-the-agent-in-windows-settings/

Mu的应用场景

• 系统设置调整：Mu 听得懂自然语言指令，Windows 系统设置改得很快，屏幕亮度、鼠标指针大小这些不用手动翻设置菜单，操作省事。
• 实时交互：Mu 在设备端的响应速度超过100 tokens/second，实时交互的场景合适。
• 多语言支持：多种自然语言都支持，用户换不同语言输入指令，Mu 也能准确理解并执行。
• 辅助功能：视力不好或操作不便的用户，可以靠语音指令完成系统设置，系统的可访问性好一些。
• 未来扩展：Mu 的扩展性不错，往后可以长成更通用的智能助手，日程管理、文件操作这类指令也能接。