Hunyuan3D-1.0 - 腾讯推出的3D生成模型，支持文生3D和图生3D

Hunyuan3D-1.0是什么

Hunyuan3D-1.0 是腾讯推出的 3D 生成模型，文本和图像都能当输入，生成质量不错的 3D 资产。流程分两阶段：先用多视角扩散模型生成多视角 RGB 图像，再交给基于 Transformer 的稀疏视角大规模重建模型，把图像变成 3D 资产。Hunyuan3D-1.0 有轻量版和标准版两个规格，轻量版出得快，适合快速 3D 建模；标准版做出来的 3D 模型质量更高。

Hunyuan3D-1.0的主要功能

• 文本到3D生成：Hunyuan3D-1.0 支持按文本提示生成 3D 资产，写一段描述，模型就能生成对应的 3D 模型。
• 图像到3D生成：模型能按单张或多张图像生成 3D 模型，用户也可以用图来引导 3D 生成的过程。
• 两阶段生成方法：两阶段走完一次 3D 生成。第一阶段靠多视角扩散模型，大约 4 秒出多视角 RGB 图像；第二阶段是基于 Transformer 的稀疏视角大规模重建模型，大约 7 秒把 3D 资产重建出来。
• 高质量3D资产生成：Hunyuan3D-1.0 生成的 3D 资产质量和多样性都不错，复杂的结构和细节也能带出来。
• 快速生成：和其他模型比，Hunyuan3D-1.0 的生成速度快了一截，3D 资产的生产时间省下不少。

Hunyuan3D-1.0的技术原理

• 多视角扩散模型：第一阶段，Hunyuan3D-1.0 用多视角扩散模型在固定相机视角下合成 6 个新视角图像，从不同角度抓 3D 资产的细节。原本的 3D 生成任务，也就从单视角重建变成了难度更低的多视角重建。
• 多视角重建模型：第二阶段，上一阶段生成的多视角图像送进基于 Transformer 的稀疏视角大规模重建模型。模型要学会处理多视角扩散带进来的噪声和不一致，再靠条件图像里可用的信息把 3D 结构恢复出来。
• 自适应CFG（classifer-free guidance）：第一阶段做多视图生成时，自适应 CFG 给不同视角和 time steps 配不同的 CFG 尺度值，生成的控制力和多样性之间找平衡。
• 混合输入技术：第二阶段做多视图重建时，输入是混合的：已校准的生成多视角图像，加上未校准的用户输入。专门的视角无关分支负责整合这些条件图像信息，生成图像里看不见的部分也能补得更准。
• 高分辨率特征表示：Hunyuan3D-1.0 通过线性层把特征平面的分辨率从 64 上采样到 256，特征更细，物体细节也就更丰富。
• Signed distance function（SDF）：模型用 SDF 的隐式表示，Marching cube 算法在三维空间里采样查询，取到 signed distance 后输出 3D mesh，能直接接进 3D 管线。

Hunyuan3D-1.0的项目地址

• 项目官网：3d.hunyuan.tencent.com
• Github仓库：https://github.com/Tencent/Hunyuan3D-1
• HuggingFace模型库：https://huggingface.co/tencent/Hunyuan3D-1

Hunyuan3D-1.0的应用场景

• 3D创作与游戏开发：Hunyuan3D-1.0 能帮 3D 创作者和艺术家自动生产 3D 资产，文本描述或图像都能转成 3D 模型，游戏里的角色、场景、道具设计都用得上。
• 工业设计：工业设计里，Hunyuan3D-1.0 可以给各种产品建三维模型，设计师改起来也方便。
• 建筑设计：Hunyuan3D-1.0 能展示建筑效果图、鸟瞰图等，设计师和客户对着图沟通、确认，比空口描述清楚。
• 室内设计：通过 Hunyuan3D-1.0，设计师可以制作效果图、推敲方案，设计方案拿图一看就明白。
• 产品设计：Hunyuan3D-1.0 能做产品构造和展示效果，设计过程中拿出来看、拿来评估都直观。
• 工程设计：工程设计里，Hunyuan3D-1.0 能用来设计新设备、交通工具、结构，工程师手边多一份直观的三维模型。