CogSound - 智谱AI最新推出的音效模型

CogSound是什么

CogSound是智谱AI推出的音效模型，能给无声视频配上合适的音效。 基于GLM-4V的视频理解能力，CogSound能判断画面在讲什么、是什么情绪，再给无声视频配上对应的音频，爆炸、水流、乐器、动物叫声、交通工具声这类复杂音效都能生成。对智谱AI来说，这是视频生成上的一次更新，主要补的是视频的多模态体验，让画面更有临场感。

CogSound的主要功能

• 生成与画面匹配的音效：CogSound能给视频生成和画面对得上的音效，看起来听着更完整。
• 支持4K超高清视频生成：能生成10秒、4K分辨率、60帧的视频，并配好对应的音效。
• 适应不同播放需求：支持任意比例的视频，适配不同的播放场景，音效也会跟着生成。
• 多通道视频生成：同一条指令或图片能一次生成4个视频，每个都带对应音效。
• 提升视频生成体验：加了音效之后，视频看起来更真实，生成流程也从画面一直到声音补齐了。
• 音效功能公测：CogSound的音效功能快上线公测了（预计11月底），到时用户会在 智谱清影 中体验到由CogSound提供的音效生成服务。

CogSound的技术特点

• 基于Unet的潜空间扩散：
  • 高效音频生成：CogSound基于潜空间扩散模型（Latent Diffusion Model）将音频生成过程从高维原始空间转移到低维潜空间，有助于降低计算复杂度。
  • 优化的U-Net结构：U-Net是扩散模型的核心框架，这里做了优化，让音频合成既保质量、又不拖慢，整体性能更好。
• 分块时序对齐交叉注意力：
  • 加强音视频特征的关联性：通过引入分块时序对齐交叉注意力（Block-wise Temporal Alignment Cross-attention）机制，CogSound能优化视频长序列与音频特征之间的特征匹配。
  • 精确的音视频映射：通过学习每一帧画面和音频特征的关系，把音视频对齐得更准，画面和声音能互相对上。
• 旋转位置编码：
  • 提升时序建模精度：CogSound整合了旋转位置编码技术，为序列中的每个位置提供唯一标识并捕捉位置间的相对关系，有助于提升时序一致性。
  • 连贯性和过渡自然性：旋转位置编码确保音频序列的连贯性和过渡自然性，在处理长时序任务时，能避免音频生成中的“断层”或“错位”。

CogSound的应用场景

• 视频内容创作：给做视频的人多一种音效选择，画面表现力更强。
• 广告制作：广告视频配上合适的音效，更容易抓住观众、留下印象。
• 影视后期：影视后期里，CogSound能给画面补上对应音效，制作更快、质量也更齐。