FLUX.1 - Stable Diffusion创始团队推出的开源AI图像生成模型

发布于 2024-08-02 · FLUX.1是由Stable Diffusion创始团队推出的开源AI图像生成模型，拥有12B参数，是迄今为止最大的文生图模型。包含三种变体：顶级性能的FLUX.1 [pro]、开源非商业用途的FLUX.1 [dev] 和快速高效的FLUX.1 [schnell]。

FLUX.1是什么

FLUX.1是由Stable Diffusion创始团队推出的开源AI图像生成模型，12B 参数，是迄今为止最大的文生图模型。一共三种变体：顶级性能的 FLUX.1 [pro]、开源非商业用途的 FLUX.1 [dev]，以及快速高效的 FLUX.1 [schnell]。FLUX.1 的图像质量、人体解剖的真实度、提示词遵循能力都很出挑，AI 图像生成的行业标准被它往上提了一档。

FLUX.1的功能特色

大规模参数：12B（120 亿）参数，是迄今为止最大的开源文本到图像模型之一。
多模态架构：多模态加并行扩散 Transformer 块的混合架构，图像生成就靠这套结构撑着。
高性能变体：三种变体各有分工，专业版（FLUX.1 [pro]）、开发版（FLUX.1 [dev]）、快速版（FLUX.1 [schnell]）。
图像质量：视觉质量、提示词遵循、大小和纵横比的可变性、字体、输出多样性，这几项都比其他流行模型更强。
开源和可访问性：FLUX.1 [dev] 和 FLUX.1 [schnell] 这类变体是开源的，研究和非商业应用都好用。
技术创新：流匹配训练方法、旋转位置嵌入、并行注意力层都用上了，模型性能提高，硬件效率也跟着上来。

FLUX.1的技术原理

多模态架构：FLUX.1 走的是多模态架构，文本、图像这类不同类型的数据能同时处理和理解，数据之间的关联也抓得更准。
并行扩散Transformer块：模型用了并行扩散 Transformer 结构，这种神经网络组件处理序列数据效率较高，信息编码和解码的能力都更强。
流匹配训练方法：FLUX.1 用流匹配改进了传统扩散模型。这是一类通用的生成模型训练技术，训练流程可以简化，生成质量也能提高。
旋转位置嵌入：旋转位置嵌入是一种特殊的编码方式，图像里不同位置的特征更容易被识别，细节表现跟着提升。
并行注意力层：并行注意力让模型可以同时关注输入序列的多个部分，长距离依赖抓得住，生成图像的准确性也更高。

FLUX.1的项目地址

项目官网：https://blackforestlabs.ai/#get-flux
在线Demo：
GitHub仓库：https://github.com/black-forest-labs/flux
HuggingFace模型库：https://huggingface.co/black-forest-labs/FLUX.1-schnell

如何使用FLUX.1

选择合适的模型变体：
- FLUX.1 [pro]：顶级性能的商业应用选它，访问要走 API。
- FLUX.1 [dev]：非商业用途，开源模型，经过指导蒸馏，HuggingFace 上能拿到。
- FLUX.1 [schnell]：本地开发和个人使用合适，速度最快，HuggingFace 上同样能获取。
设置环境：本地部署的话，先配好 Python 环境，把需要的依赖库装上。
安装FLUX.1：把官方 GitHub 仓库 clone 到本地，再按指南装好需要的 Python 包。
使用API：FLUX.1 [pro] 要先注册、拿到 API 密钥才能访问。
编写代码：照着官方文档或示例代码写脚本，和模型交互、生成图像。
生成图像：调模型提供的接口，把文本提示（prompt）传进去，模型就按文本出图。

下面是个简单的使用示例，前提是环境已经配好、依赖也装完了：

# 克隆FLUX.1 GitHub仓库
git clone https://github.com/black-forest-labs/flux

# 进入仓库目录
cd flux

# 创建并激活Python虚拟环境
python3.10 -m venv .venv
source .venv/bin/activate

# 安装依赖
pip install -e '.[all]'

# 根据需要设置环境变量，例如指定模型权重路径
export FLUX_SCHNELL=path_to_flux_schnell_sft_file

# 使用提供的脚本进行图像生成
python -m flux --name 'FLUX.1 [schnell]' --loop