研究人员开发出可以理解照片中光线的人工智能

尽管在开发能够像人类一样理解物理世界的人工智能系统方面取得了重大进展，但研究人员仍在努力对我们视觉系统的某个方面进行建模：光的感知。

“确定给定照片中光线的影响有点像试图从已经烤好的蛋糕中分离出成分，”博士克里斯·卡雷加 (Chris Careaga) 解释道。SFU 计算摄影实验室的学生。这项任务需要消除场景中光线和表面之间复杂的相互作用。这个问题被称为内在分解，已经研究了近半个世纪。

在《ACM Transactions on Graphics》杂志上发表的一篇新论文中，西蒙弗雷泽大学计算摄影实验室的研究人员开发了一种适用于各种图像的人工智能内在分解方法。他们的方法自动将图像分为两层：一层仅具有照明效果，另一层具有场景中物体的真实颜色。

“我们工作背后的主要创新是创建一个神经网络系统，这些神经网络单独处理更简单的问题。它们一起工作来理解照片中的照明，”卡雷加补充道。

尽管本征分解已经被研究了数十年，但 SFU 的新发明是该领域第一个针对人们可能用相机拍摄的任何高清图像完成此任务的发明。

“通过分别编辑灯光和颜色，为 CGI 和 VFX 保留的一系列应用程序可以用于常规图像编辑，”SFU 计算摄影实验室负责人 Yağız Aksoy 博士说。

“这种对光的物理理解使其成为内容创作者、照片编辑和后期制作艺术家以及增强现实和空间计算等新技术的宝贵且易于使用的工具。”

此后，该小组扩展了他们的内在分解方法，将其应用于图像合成问题。“当您将一张图像中的物体或人物插入另一张图像时，通常很明显它已经过编辑，因为灯光和颜色不匹配”Careaga 解释道。