该技术可以在照片中加入一个看起来像是真实反射环境的铬球。这个铬球可以帮助计算出照片中的光照是怎样的。
然后,他们使用这些光照信息在照片中添加新的物体,使得这些物体看起来好像是在原来的光照条件下拍摄的一样。
简单地说就是:检测图片中的光源(光照信息),然后根据光源,把其他物体对象插入到图片中,能达到相同的光影效果,毫无违和感。
工作原理如下:
1、输入图片:你提供一张照片,比如一个室内场景。
2、添加铬球:使用 DiffusionLight 技术,在照片中的合适位置绘制一个铬球。这个球会反射出场景中的光线和色彩。
3、生成环境图:铬球的反射可以被转换成一个高动态范围(HDR)的环境图,这张图像包含了关于场景光照的信息。
4、光照估计:通过分析铬球上的反射,DiffusionLight 估计出图片中的光源位置和亮度。
5、三维对象插入:利用估计出的光照信息,三维模型可以被添加进照片中,并且以一种看起来自然和真实的方式反应光照效果。
这项技术的一个关键创新是它不需要昂贵或复杂的设备来捕获光照条件。它只需要一张图片和强大的算法。这意味着它可以用于从专业电影制作到手机摄影的各种应用,为艺术家和开发者创造新的可能性。
该技术可以用于多种输入图像,如室内外场景、特写镜头、绘画和人脸照片。
项目及演示:https://diffusionlight.github.io
论文:https://arxiv.org/abs/2312.09168
GitHub:https://github.com/DiffusionLight/DiffusionLight