声明：本文来源于微信公众号 量子位（ID:QbitAI），作者：衡宇，授权站长之家转载发布。

ControlNet作者的新作，玩得直呼过瘾，刚开源就揽星1.2k。

用于操纵图像照明效果的IC-Light，lmposing全称lmposing Consistent Light。

玩法很简单：

上传任何图片，系统将自动分离人物和其他主体，选择光源位置，填写提示，可以无缺陷地融入新环境！

赶紧来王家卫式的打光：

不喜欢?

没关系，换成窗外进来的自然光只需要几分钟。

目前，IC-Light提供两种模型：重照明模型的文本条件，还有背景条件模型。

两种模型都需要以前景图像作为输入。

鉴于Controlnet之前太好玩了，IC-Light一出现就备受关注，有网友迅速制作了ComfyUI插件。

(疑惑，大家这么拼，不睡觉吗？)

无论是期待值还是用后体验，网友都给出了很高的价值:

Nice!迫不及待地想开始玩嘻嘻嘻嘻嘻嘻嘻嘻嘻嘻。。

谁能帮我改变这张图片的背景？

从古代MCN到贴吧再到现在的小红书，各个时代都有“谁能帮我换个背景”这样的求助贴。

但是热心网友的帮助往往是这样的:

就离谱。

但说实话，这种需求不仅存在于你我普通人之间，也存在于电子商务商品海报中。

有了IC-Light，一切似乎都变得简单了。

上传主原图+选择光源位置+提示词，完事儿。

来看效果——

这样的佛像原图，加上提示词“佛像，细致的脸，科幻RGB发光，赛博朋克”，然后选择“左边的光”。

你可以得到一个全新的成品：

即使是日常场景也适用。

肉眼看最后的效果还是比较自然的:

根据网友分享的评价，动画场景也适用...

背后技术

如前所说，IC-Light现在提供两种模型，两种模型都需要以前景图像为输入。

一类是重照明模型的文本条件。

简单地说，用户可以通过输入提示来生成。

例如，通过输入“左光”和“月光”，模型将通过这些提示和初始潜变量生成符合要求和特征的图像。

另一类是背景条件模型。

这更简单，不需要复杂的提示，模型结合背景提示信息，改变不同风格的前景对象。

其背后的技术原理是通过潜在空间的一致性，确保不同光源组合下模型输出的一致性，从而稳定合成各种光效果。

具体如下——

在HDR空间中，所有照明的光传输都是独立的。不同光源的外观混合效果与多光源直接作用下的外观在数学上（即理想状态）是一致的。

以上图中的照明阶段为例，来自“外观混合”和“光源混合”的两个图像是一致的（理想情况下，它们在HDR空间中具有数学等效）。

因此，在训练重新照明模型时，研究人员在潜在空间中使用多层感知机（MLP）使不同光源的组合和传输一致，并用于指导生成效果。

最终产生高度一致的重新照明效果。

由于模型采用了潜在的扩散技术，因此可以在潜在的空间内实现学习和重光操作，从而在各种光照条件下产生高度一致的效果。

这些结果非常一致——虽然模型在训练过程中没有直接使用法线图数据，但可以将不同的重新光合并为法线图。

看下图，从左到右依次是输入、模型输出、重新照明、分割的阴影图像和合并的法线贴图。

感兴趣的朋友可以去下面的地址试试～

GitHub直通车：

https://top.aibase.com/tool/comfyui-ic-light

https://top.aibase.com/tool/ic-light