Cosmos - 英伟达推出的生成式世界基础模型平台

发布于 2025-01-07 · Cosmos是英伟达推出的生成式世界基础模型平台，加速物理人工智能（AI）系统的发展，特别是在自动驾驶和机器人领域。Cosmos能接受文本、图像或视频的提示，生成高度仿真的虚拟世界状态，为自动驾驶和机器人应用提供独特的视频输出。

Cosmos是什么

Cosmos 是英伟达推出的生成式世界基础模型平台，面向物理人工智能（AI）系统，自动驾驶和机器人是它重点照顾的两个领域。给它文本、图像或视频提示，它能生成高度仿真的虚拟世界状态，输出的是视频，正好对上自动驾驶和机器人应用的需要。平台把生成式世界基础模型、高级标记器和加速视频处理管道放在一起，开发者可以据此生成大量基于物理的合成数据，对真实世界数据的依赖就少了。安全防护机制也带着，数据的安全与合规有保障。想贴合具体需求，还可以微调 Cosmos 模型，做定制化的 AI 模型。

Cosmos的主要功能

生成虚拟世界状态：按文本、图像或视频提示生成高度仿真的虚拟世界状态，自动驾驶和机器人应用都能用。
生成式模型：平台靠生成式模型造出接近真实场景的数据，开发者拿它训练和评估现有 AI 模型。
高级标记器和数据处理：高级标记器和加速视频处理管道都集成在平台里，生成的数据在后续训练中更能派上用场。
安全与合规：平台带安全防护机制，数据的安全与合规有保障。
开放模型许可：Cosmos 会以开放模型许可的形式放在 Hugging Face 和 NVIDIA NGC 目录里，开发者可以基于它做定制化应用。

Cosmos的技术原理

生成式世界基础模型（WFM）：用的是生成式模型技术，包含扩散模型和自回归 Transformer 模型，能造出和真实场景高度相似的合成数据。
高级标记器（Cosmos Tokenizer）：标记器采用编码器-解码器结构，结合 3D 因果卷积和注意力机制，时空信息处理得比较高效。图像和视频会被拆成高压缩率、高质量的标记，给 AI 模型提供更高效的视觉数据。
加速视频处理管道（NeMo Curator）：平台集成了一条加速视频处理管道，大量视频数据能在短时间内处理完。比如 NeMo Curator 能在 14 天内处理 2000 万小时的视频数据。

Cosmos的模型系列

Nano模型

特点：低延迟，适合实时应用。
参数规模：约40亿参数。
应用场景：适合要快速响应的场景，比如实时视频分析和简单的机器人控制任务。

Super模型

特点：提供高性能的基准。
参数规模：约70亿参数。
应用场景：适合对性能和精度要求较高的应用，比如自动驾驶车辆的环境感知与决策支持，以及复杂机器人任务的模拟和训练。

Ultra模型

特点：质量和精确度优先。
参数规模：约140亿参数。
应用场景：适合对精度和质量要求极高的应用，比如高精度的自动驾驶模拟、复杂的工业机器人操作模拟。

Cosmos的项目地址

项目官网：https://research.nvidia.com/publication/2025-01_cosmos
Github仓库：https://github.com/NVIDIA/Cosmos
HuggingFace模型库：https://huggingface.co/collections/nvidia/cosmos
技术论文：https://d1qx31qr3h6wln.cloudfront.net/publications/NVIDIA%20Cosmos

Cosmos的应用场景

驾驶环境模拟：各种天气和路况条件下的合成数据都能生成，自动驾驶训练的场景素材因此丰富起来。
策略模型优化：大量逼真的驾驶场景生成出来，自动驾驶系统可以在模拟环境里做强化学习，把决策策略模型调优，再测不同场景下的表现。
复杂环境适应性训练：机器人可以在复杂环境里做实时模拟，感知系统用合成数据来训练。
导航与任务执行：有了 Cosmos 生成的虚拟世界状态，机器人对周围环境理解得更清楚，导航和任务执行也更准。
逼真场景生成：高度仿真的虚拟世界状态，虚拟现实游戏和仿真训练都用得上。比如开发者先用 Omniverse 搭三维场景，再让 Cosmos 转成逼真场景，机器人就能在里面训练。
工业数字孪生：NVIDIA 的 Omniverse 加上 Cosmos，可以搭出工业数字孪生环境，工厂和仓库的模拟、测试、优化都在里面做。复杂的生产设施和配送中心网络，手动设计、操作和优化都能更顺。

Cosmos的应用案例

Uber自动驾驶开发：Uber 是首批采用 Cosmos 的公司之一，借助生成式 AI 的能力，把安全、可扩展的自动驾驶方案往前推了一步。Cosmos 为它的自动驾驶系统提供了大量合成数据，不同驾驶场景下的模型训练和优化都靠这些数据，安全性和可靠性跟着提升。
小鹏汽车模拟训练：小鹏汽车也用上了 Cosmos，生成各种天气和路况下的合成驾驶数据，拿来做自动驾驶算法的模拟训练。雨雪、雾霾这类恶劣天气，城市道路、高速公路这些不同路况，系统可以在里面学着感知环境、做决策、执行操作，回到真实街景里表现会好一些。
1X机器人动态规划：1X 用 Cosmos 的仿真引擎，给机器人补上了高保真的力学、运动学和动态交互建模能力。闭环模拟跑起来，1X 机器人可以在虚拟环境里做动态规划和环境适应性优化，落到实际场景中导航和任务执行更准。