MooER - 摩尔线程推出的业界首个音频理解大模型

MooER是什么

MooER 是摩尔线程推出的开源音频理解大模型，也是业界第一个用国产全功能 GPU 训出来的。中英文语音识别它都会，中译英的语音翻译也具备。在 Covost2 中译英测试集上拿了 25.2 的 BLEU 分数，离工业级效果已经很近。摩尔线程AI团队开源了推理代码和 5000小时 训练模型，训练代码和 8万小时 训练模型也在开源计划里，就是想把 AI 语音技术往前推一把。

MooER的主要功能

• 语音识别：支持中文和英文的语音到文本的转换。
• 语音翻译：具备将中文语音翻译成英文文本的能力。
• 高效率训练：海量数据的训练在摩尔线程的智算平台上跑得很快。
• 开源模型：推理代码和部分训练模型都已开源，社区拿去用、接着研究都方便。

MooER的技术原理

• 深度学习架构：MooER 用深度学习处理语音信号，主力是神经网络。
• 端到端训练：从原始语音直接出文本，不用像传统语音识别那样拆成好几个独立模块。
• Encoder-Adapter-Decoder结构：
  • Encoder：把输入的语音信号转成一串高级特征表示。
  • Adapter：负责调校模型对特定任务的适应性，把泛化能力稳住。
  • Decoder（Large Language Model，LLM）：基于这些特征生成最终的文本输出。
• LoRA技术：微调用的是 LoRA（Low-Rank Adaptation），只更新模型里一小部分参数，训练效率和效果都跟着受益。
• 伪标签训练：训练中还上了伪标签：模型自己的预测拿来当训练数据，学习能力被加强。
• 多语言支持：中英文语音识别都支持，中译英的语音翻译也拿手，多语言处理在行。

MooER的项目地址

• GitHub仓库：https://github.com/MooreThreads/MooER
• arXiv技术论文：https://arxiv.org/pdf/2408.05101
• 在线体验地址：https://mooer-speech.mthreads.com:10077/

如何使用MooER

• 获取模型：可访问Github仓库获取MooER模型的代码和预训练权重。
• 环境配置：把必需的依赖装齐：Python、深度学习框架（如 TensorFlow 或 PyTorch）、音频处理库这些。
• 数据准备：备好音频数据，需要的话把对应文本转录也准备好，格式按模型输入要求来。
• 模型加载：把预训练的 MooER 模型加载进计算环境。
• 数据处理：音频先做预处理，归一化、分帧之类，把输入对齐到模型的要求。
• 模型推理：预处理好的音频喂给 MooER 做推理，出来的就是语音识别或翻译结果。

MooER的应用场景

• 实时语音转写：开会、讲座、课堂上，MooER 能当场把语音转成文字，记录和回顾都省事。
• 多语言翻译：中英文之间的语音翻译支持，跨国会议、国际交流里挺好使。
• 智能客服：客服场景里，MooER 靠语音识别加翻译，响应效率和服务质量一起往上提。
• 语音助手：嵌进智能手机、智能音箱这些设备，就能提供语音交互服务。
• 教育辅助：学语言时，MooER 能帮着校正发音、做语言翻译。