Movie Gen - Meta推出文本驱动的AI视频生成与编辑工具

Movie Gen是什么

Movie Gen 是 Meta 推出的AI视频生成工具，能根据文字提示生成、编辑视频，还能给视频配上同步的声音。技术上能做到：生成最长16秒的高清视频、给已有视频配音、编辑视频，也能拿照片做定制视频。Movie Gen 的视频生成模型有30B参数，能生成每秒16帧的画面。音频模型有13B参数，能生成最长45秒的音频，包括环境声、音效和乐器背景音乐。这工具目前只对 Meta 内部员工和少数合作伙伴开放，Meta 打算以后把它接进现有应用，用来带动用户活跃度。

Movie Gen的主要功能

• 视频生成：输入文字提示，Movie Gen 就能生成长达16秒的高清视频，画面按描述自动创建，能适配不同的长宽比和分辨率。
• 个性化视频生成：上传照片后，Movie Gen 能生成带这个人特征的视频，人物的身份和动作能保持一致。
• 精确视频编辑：Movie Gen 能用文字指令精细改视频，加、删、换里面的元素，或者改背景、换风格。
• 音频生成：Movie Gen 能给视频配上同步的音频，包括环境音、拟音（Foley sounds）和乐器背景音乐；声音跟着画面走，按文字提示生成。

Movie Gen的技术原理

• 模型架构：Movie Gen 由两个基础模型组成：Movie Gen Video 管视频生成，Movie Gen Audio 管音频生成。
• 预训练：模型先在大量网上的图像、视频、音频上做预训练，学视觉和听觉世界里的各种概念。
• 流匹配（Flow Matching）：生成模型用流匹配这个训练目标来训，它是一种反复更新样本、进而生成数据的方法。
• 变分自编码器（VAE）：用变分自编码器把视频、图像压进一个学到的潜在空间，训练和推理都更快。
• 文本嵌入：用预训练的文本编码器将输入文本转换为文本嵌入，作为模型的条件输入。
• 多模态输入：模型能吃下文本、图像、视频等多种输入，给出对应的输出。

Movie Gen的项目地址

• 项目官网：ai.meta.com/blog/movie-gen
• 技术论文：https://ai.meta.com/static-resource/movie-gen-research-paper

Movie Gen的应用场景

• 内容创作：给社交媒体、博客、视频平台做点不一样的视频内容。
• 电影和视频制作：前期可以出概念视频，后期能做快速剪辑和混音。
• 广告和营销：快速做出抓眼球的广告视频，吸引潜在客户。
• 教育和培训：做教育内容，比如模拟实验、重现历史、语言学习材料。
• 游戏开发：给游戏里的视频、预告片、宣传材料生成画面和声音。
• 新闻和报道：快速给新闻做出画面，报道更好看。