ACE - 阿里通义实验室推出的全能图像生成和编辑模型

ACE是什么

ACE（All-round Creator and Editor）是阿里巴巴集团Tongyi Lab推出的基于扩散变换器的全能图像生成和编辑模型。ACE引入了长上下文条件单元（LCU）和统一条件格式，能听懂自然语言指令并照着执行，覆盖很宽的视觉生成任务。模型支持多模态输入，图像生成、编辑、多轮交互这类复杂任务都能接，一套统一的方案，把视觉内容创作的效率和灵活性都提了上来。

ACE的主要功能

• 多模态视觉生成：按文本指令生成图像，风格转换、添加或删除对象等多种视觉生成任务都支持。
• 图像编辑：对已有图像做编辑，包括语义编辑、元素编辑（加或删文本和对象）以及重绘（inpainting）。
• 长上下文处理：靠长上下文条件单元（LCU），多轮对话里的图像编辑任务也能跟上，对话历史不断档。
• 数据收集与处理：数据收集走得高效路线，用合成或聚类流水线拿到成对图像，再用微调过的大型多模态语言模型生成准确的文本指令。
• 单模型多任务处理：不用像视觉代理那样走繁琐流程，任何图像创建请求都由同一个模型后端响应，效率更高。

ACE的技术原理

• 长上下文条件单元（LCU）：LCU是一种统一的条件格式，把历史信息和当前文本指令串起来，更懂用户要什么，生成的图像也更对路。
• 基于Transformer的扩散模型：构建基于Transformer的扩散模型，拿LCU当输入，各类生成和编辑任务放在一起训练，多任务处理能力更强。
• 条件标记化（Condition Tokenizing）：把文本指令和视觉信息（图像、掩码等）分别编码成序列再合并处理，多模态信息由此对齐。
• 图像指示嵌入（Image Indicator Embedding）：用预定义的文本标记来指示图像顺序，保证文本指令里提到的图像顺序和CU中的图像序列对得上。
• 长上下文注意力块（Long-context Attention Block）：这个模块基于时间步嵌入（T-Emb）和3D旋转位置编码（RoPE）来区分不同的空间和帧级图像嵌入，让自注意力和交叉注意力层里的文本嵌入、图像嵌入能逐帧对齐。

ACE的项目地址

• 项目官网：ali-vilab.github.io/ace-page
• GitHub仓库：https://github.com/ali-vilab/ACE/
• arXiv技术论文：https://arxiv.org/pdf/2410.00086

ACE的应用场景

• 艺术创作与设计：艺术家和设计师用它生成或编辑图像，把创意落地，创作速度也更快。
• 媒体与娱乐：电影制作里可以生成关键帧、辅助视觉效果；游戏开发里可以做快速原型、生成游戏资产。
• 广告与营销：营销人员用它快速产出抓人的广告图像和营销材料。
• 教育与培训：教育工作者拿它做定制教材和视觉辅助工具，学生学习体验更好。
• 电子商务：电商平台用它生成产品图，也能按客户需求做个性化的产品展示。