Step1X-Edit - 阶跃星辰开源的通用图像编辑框架

Step1X-Edit是什么

Step1X-Edit 是阶跃星辰团队推出的通用图像编辑框架，想缩小开源图像编辑模型与闭源模型（如 GPT-4o 和 Gemini2 Flash）之间的性能差距。Step1X-Edit 把多模态大语言模型（MLLM）和扩散模型结合起来：先读参考图像和用户的编辑指令，提取潜在嵌入，再生成目标图像。为了训练模型，研究者搭了一条大规模高质量的数据生成管道，产出超过 100 万对图像和指令对。Step1X-Edit 还提出了基准测试 GEdit-Bench，用真实世界的用户指令来评估效果。

Step1X-Edit的主要功能

• 多样化编辑能力：主体添加、移除、替换，更换背景，调整色彩和色调，修改材质，转换风格，美化肖像，修改文字，这类编辑任务都支持。
• 自然语言指令驱动：编辑需求用自然语言描述即可，模型能理解并执行比较复杂的编辑指令。
• 高质量图像生成：生成的图像保真度高，画面逼真。
• 真实世界场景适配：训练数据规模大、质量高，真实世界里各种复杂的编辑场景都能处理。

Step1X-Edit的技术原理

• 多模态大语言模型（MLLM）：MLLM 负责处理参考图像和用户的编辑指令，提取语义信息，并借助它较强的语义理解能力，生成与编辑任务相关的嵌入向量。
• 扩散模型（Diffusion Model）：图像生成交给扩散模型（如 DiT 风格的架构），把 MLLM 提供的嵌入向量解码成目标图像，保证生成质量。
• 数据生成管道：训练用的高质量数据生成管道规模很大，产出了超过 100 万对图像和指令对，覆盖多种编辑任务类别，模型因此能学到多样化的编辑操作。
• 训练策略：模型从文本到图像模型初始化，以保留美学质量和视觉一致性；再通过联合训练把各模块与下游扩散模型连起来，整体优化性能。
• 基准测试（GEdit-Bench）：GEdit-Bench 是基于真实用户指令构建的基准测试，用来评估模型的实际表现。它收录了多种编辑任务，能检验模型在真实场景里是否好用。

Step1X-Edit的项目地址

• 项目官网：https://step1x-edit.github.io/
• GitHub仓库：https://github.com/stepfun-ai/Step1X-Edit
• HuggingFace模型库：https://huggingface.co/stepfun-ai/Step1X-Edit
• arXiv技术论文：https://arxiv.org/pdf/2504.17761
• 在线体验Demo：https://huggingface.co/spaces/stepfun-ai/Step1X-Edit

Step1X-Edit的应用场景

• 创意设计：换背景、调颜色、加元素，创意图像出得快，设计效率更高。
• 影视后期：特效制作中可以添加或移除物体、改变外观、调整色调，后期成本能省下不少。
• 社交媒体：美化照片、加趣味元素、调整风格，内容更有吸引力。
• 游戏开发：生成角色、场景和道具，装备或风格可以快速调整，美术资源的开发时间也更短。
• 教育领域：修改历史照片、制作科学插图，教学材料用起来更方便，教学效果更好。