Stable Diffusion 3.5 - Stability AI最新开源的图像生成模型

发布于 2024-10-23 · Stable Diffusion 3.5是Stability AI公司最新推出的一系列先进的AI图像生成模型，包括Stable Diffusion 3.5 Large、Stable Diffusion 3.5 Large Turbo和即将发布的Stable Diffusion 3.5 Medium。

Stable Diffusion 3.5是什么

Stable Diffusion 3.5 是 Stability AI 新推出的一系列 AI 图像生成模型，包括 Stable Diffusion 3.5 Large、Stable Diffusion 3.5 Large Turbo 和即将发布的 Stable Diffusion 3.5 Medium。它受关注的原因有几条：可定制性高，能在消费级硬件上跑，在 Stability AI 社区许可证下商业和非商业用途都免费。Stable Diffusion 3.5 生成的图像质量和多样性都不错，不同肤色和特征都能照顾到，提示词不用写得很复杂，多种风格和美学也模拟得来。

Stable Diffusion 3.5主要包括：

Stable Diffusion 3.5 Large：一个基础模型，拥有80亿参数，适合百万像素分辨率的专业用例。
Stable Diffusion 3.5 Large Turbo：这是Large版本的蒸馏版本，可以快速生成高质量图像。
Stable Diffusion 3.5 Medium：拥有25亿参数，可以在消费级硬件上使用，适合生成0.25到2百万像素之间的图像。

Stable Diffusion 3.5的功能特色

模型版本多样化：Stable Diffusion 3.5 提供三个规模，Large、Large Turbo 和 Medium，对应不同需求。Large 有 80 亿参数，百万像素分辨率的专业用例合适；Large Turbo 是 Large 的蒸馏版，出图更快；Medium 是 25 亿参数，冲着消费级硬件去的，质量与定制的易用性之间做了平衡。
高效性能：Stable Diffusion 3.5 优化之后，标准消费级硬件就能跑，Medium 和 Large Turbo 尤其轻，不用买昂贵的高端设备也能出好图。
可定制性：开发时就把可定制性放在前面，底子留得灵活，微调成自己的风格、或者按自家工作流做应用都行。
多样化输出：Stable Diffusion 3.5 不用堆一大段提示词，就能画出不同肤色、不同特征的人，输出的多样性和包容性比之前好。
风格多样：3D、摄影、绘画、线条艺术，能想到的视觉风格它基本都能出。
优化的算法效率：Stable Diffusion 3.5 质量没丢，算法效率又调了一轮，算力需求降下来，能跑的设备多了，门槛也就低了。
更好的稳定性和可扩展性：Query-Key Normalization 让训练更稳，生成崩溃的情况少了。模型结构也重新调过，可扩展性不错，以后加功能、开发者继续优化都留了余地。
高质量的提示词理解：对提示词的响应好了不少，用户写的意思它能更准地接住，出图也对得上。

Stable Diffusion 3.5的技术原理

文本到图像的生成：用深度学习模型，特别是变分自编码器（VAE）和生成对抗网络（GAN），把文本提示变成图像。
多模态学习：结合文本编码器（如OpenAI CLIP-L/14、OpenCLIP bigG、Google T5-XXL）理解文本提示，生成与文本内容相匹配的图像。
MM-DiT（Modified Multimodal Diffusion Transformer）：这是 Stable Diffusion 3.5 的核心，一个全新的多模态扩散变换器，图像就由它生成。
优化的架构：基于改进的MMDiT-X架构和训练方法，优化图像质量和生成速度。
定制和微调：AI 变换器里用了 Query-Key Normalization，可定制性因此排在优先位置，微调也简单些。