GLM-Realtime - 智谱推出的端到端多模态模型

GLM-Realtime是什么

GLM-Realtime是智谱推出的端到端多模态模型，视频理解和语音交互的延迟都很低，还加进了清唱功能，让大模型在对话里能唱上一段。模型支持长达2分钟的内容记忆，也支持Function Call，外部知识和工具都能灵活调用，应用范围跟着扩开。GLM-Realtime API已经上线智谱开放平台，现阶段免费调用。AI硬件可以拿它当智能底座，开发者做应用创新也多了个选择。

GLM-Realtime的主要功能

• 低延迟交互：视频理解与语音交互都压到了低延迟，用起来几乎是实时响应，交互体验跟得上。
• 2分钟内容记忆：视频通话这类场景里，它能记住长达2分钟的内容，对话的上下文抓得住，交互也就更连贯自然。
• 实时打断能力：用户可以随时打断AI说话，AI接得住这个打断，后面的回复或行为会跟着调整。
• 清唱功能：：清唱是它新做出来的能力，大模型在对话中可以直接唱。
• Function Call功能：外部知识和工具都能灵活调用，配上更多资源和功能，能铺到更广的商业场景里。
• 视频互动：靠手机或AIPC（人工智能个人计算机）的摄像头，AI就能跟用户做视频互动。

GLM-Realtime的项目地址

• 项目官网：BigModel

GLM-Realtime的应用场景

• 智能教育：在线教育平台上，它用视频和语音给学生做个性化学习辅导，问题当场就能解答。
• 智能客服：企业客户服务里可以当视频客服助手，跟客户实时视频、语音互动，问题答得又快又准。
• 娱乐互动：虚拟偶像领域，它给虚拟偶像配上生动的交互能力，用视频和语音跟粉丝互动，粉丝的参与感和粘性都上来了。
• 智能家居控制：智能家居系统里，语音指令加视频理解能把屋里几台设备联动起来控制。
• 医疗健康咨询：远程医疗里它辅助医生问诊，用视频观察患者症状，再结合语音描述给诊断建议，医疗服务能覆盖得更远。