Tora - 阿里推出的AI视频生成框架

Tora是什么

Tora是阿里推出的AI视频生成框架，基于轨迹导向的扩散变换器（DiT）技术，把文本、视觉和轨迹条件融合起来，生成符合真实物理世界动态的视频。它由轨迹提取器、时空DiT和运动引导融合器三部分组成，可以对视频的动态表现做精确控制，支持最长204帧、720p分辨率的视频制作，运动保真度较高，物理动态也更接近现实世界。

Tora的主要功能

简单来说，只要你给出指令——文字描述、图片，或者物体移动的路线都行——Tora就能制作出真实又流畅的视频。

• 轨迹提取器（Trajectory Extractor, TE）：把输入的轨迹转换成层次化的时空运动块，让这些运动块和视频内容的潜在空间对应上。
• 时空扩散变换器（Spatial-Temporal DiT）：利用空间和时间的自注意力机制处理视频数据，让模型能理解并生成运动连贯的视频。
• 运动引导融合器（Motion-guidance Fuser, MGF）：把轨迹提取器生成的时空运动块整合进DiT模型，保证生成的视频内容按预定轨迹和动态来走。

Tora是怎么做到的

• 轨迹理解：Tora用一个“轨迹提取器”来读懂给定的轨迹信息，就像给它一张地图，告诉它视频里的物体该在哪里、怎么移动。
• 时空编码：Tora把这些轨迹信息转成一种特殊的编码形式，叫“时空运动块”。运动块相当于视频的骨架，决定视频里物体怎么运动。
• 视频生成框架：Tora采用扩散变换器（DiT），把扩散模型和变换器架构的优点结合起来，生成高质量视频。
• 动态融合：Tora还有一个“运动引导融合器”，负责把前面得到的时空运动块和视频内容结合起来，这样生成的视频画面好看，物体运动也自然流畅。
• 两阶段训练：为了让Tora更好地理解和生成运动，训练分成两阶段：一阶段学习从密集光流（一种描述物体运动的密集数据）中提取运动信息，另一阶段学习按用户提供的更简单的轨迹信息生成视频。
• 数据预处理：训练前，Tora要先处理视频数据：按场景检测把长视频切成短片段，再根据美学评分和运动分割结果挑选适合训练的片段。

Tora的项目地址

• 项目官网：https://ali-videoai.github.io/tora_video/
• GitHub仓库：https://github.com/ali-videoai/Tora
• arXiv技术论文：https://arxiv.org/pdf/2407.21705

Tora能用在哪里

• 影视制作：Tora可以生成电影、电视剧或短片里的特效场景，用轨迹控制做出复杂动态画面，省下实际拍摄的成本和时间。
• 动画创作：在动画领域，Tora能根据脚本自动生成动画序列，给动画师提供初步的动态草图，让创作节奏更快。
• 虚拟现实（VR）和增强现实（AR）：Tora可以生成与用户互动的动态环境，给VR和AR应用提供逼真的视觉效果。
• 游戏开发：在电子游戏里，Tora可以快速生成游戏环境和角色动画，提高设计环节的效率。