淘宝星辰 - 阿里妈妈推出的电商视频生成大模型

淘宝星辰是什么

淘宝星辰是阿里妈妈推出的电商视频生成大模型，主要给淘宝天猫商家用。上传图片或者写一段文字指令，一键就能出视频。它比较懂商品展示，不同品类该用什么手法，能自己识别；多语种语义遵循也做得好，中文、英文指令都能理解，生成的视频和意图对得上；画面里的物理和动作规律守得住，看着不别扭；人脸、商品、贴纸这些元素发虚或者变形的情况也少。商家可以拿它给商品详情页配视频，商品更有看头。目前这个工具已经对淘宝天猫商家开放。

淘宝星辰的主要功能

• 更懂商品的展示手法：电商数据和设计经验攒得够多，不同品类适合什么展示手法，它能自己判断。产品细节要清楚，整体风格也要统一，两头都顾着。
• 更强的多语种语义遵循能力：参考图片能读懂，中/英多语种指令也接得住，指令里的关键动作会重点抓，生成的视频跟意图贴得比较近。
• 合理的物理和动作规律：物理规律和动作规范卡得比较严，画面不飘，也不会冒出违背常识的效果，真实感和专业度都靠这个撑。
• 稳定的人物、商品和装饰保持：人脸、商品，还有文字、贴纸这些装饰，全程保持清晰完整，不抖也不变形，画面看着统一。

淘宝星辰的技术原理

• 基于Unet Diffusion Model路线：这个视频生成大模型是沿 Unet Diffusion Model 的路线做出来的。这类生成模型靠一步步去噪得到数据，复杂分布学得下来，视频质量也保得住。
• 自研3D VAE：视频里的三维信息和空间结构不好处理，于是团队自研了 3D VAE（变分自编码器）。3D VAE 先对物体、场景做三维建模和编码，复杂的三维信息压进低维潜在空间，再由解码器重建出视频帧。空间结构和物体形态因此更真实，也更自然。
• 面向生成任务的数据飞轮：围绕视频生成搭了一套数据飞轮，电商数据不断收进来、标好、再用出去，训练素材和监督信息都不缺。这些数据里什么都有：商品图片、视频、文本描述。不同商品怎么展示、风格有什么讲究、跟用户意图怎么对应，模型都从里面学，落到电商场景里也更贴需求。
• 多模型协同：底下有 Tbstar-T2V（文本到视频）、Tbstar-I2V（图片到视频）、Tbstar-V2V（视频到视频）几个子模型，彼此配合着把视频生成做完，能做的类型和效果也因此更多。

如何使用淘宝星辰

• 访问平台：登录淘宝星辰的官方网站。
• 选择功能模块：选“图生视频”这个模块。
• 输入素材：传一张清晰的服装模特展示图。
• 生成视频：点生成，等视频出来。
• 视频编辑：生成的视频会直接显示在页面上，简单编辑一下就行，比如加品牌logo、调颜色。
• 下载和使用：改完下载，挂到商品详情页，或者拿去社交媒体推广。
• 使用限制：目前只对淘宝天猫商家开放，普通用户暂时用不了。商家这边也要确认账号有对应权限。

淘宝星辰的应用场景

• 商品主图视频：有服装商家拿一张高清模特图上传，生成了一个5秒的视频主图放到商品详情页，点击率和转化率都上去了。
• 卖点吸睛视频：电子产品商家一次传多张产品图，生成几段视频，再用模板视频加上转场、特效和文字，拼成一条讲功能和卖点的片子，拿去社交媒体推。
• 种草内容视频：美妆商家把多张产品图生成几段视频，再剪辑配上解说和字幕，做成种草视频发到小红书这类平台，看的人容易动心。
• 虚拟试穿视频：服饰商家把用户的虚拟试穿图传上去，生成试穿视频，衣服上身是什么效果一目了然，买之前的顾虑能少一些。