书生·浦像 - 上海AI Lab 联合港中文和浙大推出的超高动态成像算法

书生·浦像是什么

书生·浦像是上海人工智能实验室联合香港中文大学、浙江大学等机构研发的超高动态成像算法，核心叫浦像HDR（UltraFusion HDR）。它把 AIGC 技术和HDR技术合在一起，靠曝光融合加生成式大模型，在曝光差异高达9档的极端条件下也能把图像细节修回来，出高质量图像。动态场景下的运动伪影问题被解决了，摄影、手机成像、自动驾驶这些领域都用得上。

书生·浦像的主要功能

• 超高动态范围成像：AIGC 技术和HDR结合，曝光差异高达9档的极端条件下也能处理，图像细节修得回来，出图质量高。
• 动态场景处理：动态物体的运动伪影处理得掉，复杂光照条件下的成像也适用。
• 多曝光融合：曝光输入不限，不同曝光度的图像能融合成一张色彩鲜艳、细节丰富的高质量图。

书生·浦像的技术原理

• 多曝光融合与生成式大模型：浦像HDR基于AIGC技术，任意曝光输入的图像都能处理。就算曝光差异高达9档，图像细节照样修得回来，高质量的HDR图像照样出。
• 动态场景处理：动态场景里的运动伪影，浦像HDR用一套创新的多阶段处理流程来应对，动态物体带来的成像问题解决了，生成的图像自然、逼真。
• 色调映射与图像修复：靠生成式大模型的先验知识自适应学习色调映射，传统HDR技术在复杂光照条件下色调不自然这个毛病被绕开了。引导式图像修复设计框架能保住生成结果的图像保真度，不会出现纹理乱变。
• AIGC技术加持：AIGC 技术给HDR成像提供了生成能力，算法在不同曝光水平之间能高效融合，成像的鲁棒性和色彩饱和度都提上来。

书生·浦像的项目地址

• 官方主页：https://ultrafusion.openxlab.org.cn/home
• 项目官网：https://openimaginglab.github.io/UltraFusion/
• 在线体验Demo：https://huggingface.co/spaces/iimmortall/UltraFusion

书生·浦像的应用场景

• 摄影领域：帮摄影师修曝光不足或者过曝的照片，设备不用升级，成像质量也能上去。
• 手机摄影：有望装进手机相机里，手机在复杂光照条件下的成像性能能好一点。
• 自动驾驶：自动驾驶系统里，浦像HDR处理复杂环境的图像更合适，系统的感知能力和安全性都提一档。