PixelUMM – NVIDIA 联合滑铁卢大学推出的多模态模型

PixelUMM是什么

PixelUMM 是 NVIDIA 和滑铁卢大学联合搞出来的无编码器统一多模态模型。它最大的突破是把 VAE 和视觉编码器整个拆掉了，只留一个 Decoder-only Transformer，直接在原始像素空间里读写图像和视频，理解和生成共用同一个解码器和自注意力。图像按 16×16 patch 切，视频按 4 帧 tubelet 切，代码已经开源。

PixelUMM的主要功能

• 文本生视频（T2V）：能生成最高 832×464、96 帧、24fps 的 4 秒视频，画质和主流视频扩散模型在一个水平。
• 文本生图像（T2I）：图像就在同一个模型里直接生成，不用再挂单独的图像分支或解码器。
• 图像理解：VQA、OCR、图表、文档等 21 项图像理解任务都能做，水平达到 8B 级 VLM 的平均线。
• 视频理解：支持 MVBench、Video-MME 等视频问答基准，输入有 dense 和 sparse 两种模式可选。
• 图生视频（I2V）：把干净的首帧图像当条件注入理解专家，后面的视频就能生成出来，条件帧不需要 VAE 编码。
• 视频编辑：拿输入视频做视觉条件，借助多模态上下文条件机制完成编辑类任务。

PixelUMM的技术原理

• 无编码器架构：PixelUMM 把传统统一模型里的 VAE 和视觉编码器全删了。图像直接切成 16×16 patch，视频切成 4 帧 tubelet，以原始 RGB 像素的形式喂进去；输出也由线性头直接回归像素。整条链路没有 latent 空间的编解码损耗，是真正的端到端像素读写。
• MoT 共享注意力结构：模型以 Qwen3-8B 为骨干搭了 Mixture-of-Transformers：理解专家和生成专家各配独立的 FFN，但共享同一套 self-attention。这样文本、干净像素、噪声像素就能在同一个注意力空间里交互，理解和生成被装进了一个模型。
• 像素空间扩散训练：生成任务直接在像素空间做 flow-matching 式训练。消融实验显示，像素空间和 VAE 空间的梯度范数几乎一样，但像素空间训练更稳；压缩率实验也验证了 16×16 patch、4 帧 tubelet 是学习难度和效率之间的最优平衡点。
• 多模态条件注入机制：参考文本条件、参考图像、输入视频这些”干净条件”统一走理解专家，待生成的噪声 token 走生成专家，两拨人在共享注意力里汇合。这套设计把 SenseNova-U1 的 encoder-free 条件方式扩展到了图生视频和视频编辑上，消融表明它不会伤理解能力，四项视频基准还提升了 0.89–3.49 分。
• 线性输出头与卷积头消融：默认用轻量线性输出头，代价是会出现 16 像素网格伪影。实验对比了 Wan 式上采样卷积头和 PixelShuffle 头，证明卷积头能把伪影消掉，其中时间优先的 PixelShuffle 是训练损失和伪影抑制之间的最佳折中；不过换头需要重新训练。

如何使用PixelUMM

• 克隆仓库：git clone https://github.com/nv-tlabs/PixelUMM，照着 ENVIRONMENT.md 把 CUDA 环境配好。
• 下载权重：去 Hugging Face 的 nvidia/PixelUMM 拉默认 checkpoint S8-F22-R05，并按 CHECKPOINT.md 把 Qwen3-8B 的配置和 tokenizer 文件也下下来。
• 设置路径：把 PIXELUMM_CKPT、PIXELUMM_QWEN_DIR、PIXELUMM_OUTPUT 这三个环境变量都指向本地的绝对路径。
• 校验 checkpoint：先跑一遍 check_checkpoint.py 检查权重完整性和张量兼容性。
• 申请安全审核权限：去 Hugging Face 申请 nvidia/Cosmos-1.0-Guardrail 的访问权限并登录。
• 运行推理：靠 inference.py 分别指定 --task t2i / t2v / image-vlm / video-vlm，再配合 prompt、分辨率、帧数等参数，生成图像、视频或输出理解结果。
• 批量生成（可选）：用 inference_batch.py 配上 YAML 的 prompt 文件批量跑任务。
• 玩具训练（可选）：照着 TRAIN.md 下载 toy 数据集，再用 train_toy.py 在 F22 checkpoint 基础上跑一遍四任务训练示例。

PixelUMM的核心优势

• 彻底无编码器架构：VAE 和视觉编码器全部去掉，直接在原始像素空间读写，latent 空间编解码带来的信息损耗和伪影源头一并消掉了。
• 统一理解与生成：一个 decoder-only Transformer 同时拿下文生图、文生视频、图像理解、视频理解四大任务，理解专家和生成专家共享同一路自注意力。
• 架构简洁、推理直接：输出一律由轻量线性头直接回归像素，不用再挂额外解码器，生成链路短了很多。
• 条件注入灵活高效：参考图像、输入视频这类干净条件走理解专家，就能做图生视频和视频编辑，消融也证明这么设计不损伤理解能力。
• 训练规律清晰可扩展：要做到同等损失，8B 模型需要的训练步数只有 1.7B 模型的约三分之一，规模化的收益非常明确。

PixelUMM的项目地址

• 项目官网：https://nv-tlabs.github.io/PixelUMM/
• GitHub仓库：https://github.com/nv-tlabs/PixelUMM
• HuggingFace模型库：https://huggingface.co/nvidia/PixelUMM
• arXiv技术论文：https://arxiv.org/pdf/2609.38597

PixelUMM的同类竞品对比

PixelUMM的应用场景

• 短视频内容创作：一句文案直接生成 4 秒 24fps 的视频，社交媒体上要素材快得很。
• 图生视频与视频编辑：拿首帧或原视频当条件去生成、修改内容，电商产品动态展示、影视预演都用得上。
• 长视频理解与问答：对输入视频做描述、摘要、时序推理，适合内容审核、素材检索、会议纪要这类活儿。
• 文档与图表解析：OCRBench 78.0、DocVQA 90.4 的成绩，撑得起票据识别、报表问答这些企业文档智能化场景。