在计算机视觉领域，颜色恒常性计算的目的是移除场景中光源颜色的影响，获取准确的物体颜色表达。颜色恒常性的计算方法通常是首先进行场景光源颜色估计，然后经过色适应计算将目标颜色校准到标准光源下(Qian等，2016)。光源颜色估计是颜色恒常性计算的关键。目前，颜色恒常性计算和光源颜色估计已被广泛应用于图像增强(黄冬梅等，2018)、图像分割(段志刚等，2016)、目标跟踪(毕笃彦等，2016)和目标识别(Cheng等，2017)等领域。

光源颜色估计方法主要可以分为基于统计的方法和基于学习的方法。基于统计的方法包括基于图像灰度的Grey-World(Buchsbaum等，1980)、White-Patch(Land等，1977)、Shades-of-Grey(Finlayson等，2004)、Grey-Edge(Van de Weijer等，2007)和Grey-Pixels(Yang等，2015)等方法，以及基于生物视觉机理的Retinal-Mechanism(Zhang等，2016)、DOCC(double-opponency color constancy)(Gao等，2013；Gao等，2015)和achroEI(Gao等，2014)等方法。这类方法通过场景反射率或生物视觉系统的统计不变性假设估计光源，特点是无需训练，通过预先确定的参数配置对光源进行估计，计算速度快。其中模拟生物视觉机理的方法，理论依据更充分，实际精度和适用范围也更佳。

基于学习的方法包括Gamut-Mapping(Gijsenij等，2010)、Bayesian(Gehler等，2008)、SVR(support vector regression)(Xiong等，2006)、Exemplar-Based(Joze等，2014)、Exemplar-SVMs(exemplar support vector machines)(Wu等，2016)等方法，主要通过一些机器学习方法对图像的颜色数量、亮度和色度分布、以及纹理等关键特征建立模型，实现光源颜色估计。此外，基于学习的方法还包括融合图像低中高不同层次特征进行光源估计的Bilayer-Sparse-Coding(Li等，2013)、Multi-cue(Li等，2016)等方法。相较于基于统计的方法，这些方法增强了对复杂场景的处理能力，在多数情况下提高了适用性和精度。然而，上述方法需要手动设计表征光源颜色一致性的复杂特征，在实际应用中模型泛化性较差，这限制了上述方法的实用性。

随着深度学习的发展，相应研究也应用于光源颜色估计。Lou等人(2015)基于AlexNet(Krizhevsky等，2012)的方法，以及CNN(convolutional neural networks)(Bianco等，2015；Bianco等，2017)、DS-Net(deep specialized network)(Shi等，2016)和FC⁴(fully convolutional color constancy with confidence-weighted pooling)(Hu等，2017)等方法，通过引入卷积神经网络，在训练中自动提取图像特征并整合低中高等不同层次的特征，获得了更高的估计精度和更广泛的适用性。然而上述深度学习方法仅采用较浅的卷积神经网络，导致提取的特征层次较少，不利于算法精度和稳健性的进一步提高。

近几年的研究(Simonyan等，2015；Szegedy等，2015)表明，采用更深的网络层次能够提高卷积神经网络性能，但简单加深网络层次将导致梯度消失和网络退化等问题。针对这一问题，He等人(2016)提出深度残差学习方法，并给出层次更深、估计精度更高且更容易优化的残差网络(ResNet)结构。在此基础上，同时针对局部场景的颜色歧义问题，本文提出一种基于深度残差学习的光源颜色估计方法，包含光源颜色估计网络(IEN)和图像块选择网络(PSN)两个残差子网络。首先将输入图像均匀分块并转换至对数色度域，然后通过PSN和IEN得到误差相对较小的图像块集合及其光源颜色估计，最后融合得到整幅图像的全局光源颜色估计。本文方法的特点是：1)基于残差结构设计IEN，以较深的网络层数自动提取多层次的图像特征并融合，提高光源颜色估计的准确性；2)根据Lambertian反射理论，由于场景信息限制产生颜色歧义，IEN难以准确估计所有的图像块光源颜色，因此基于残差结构设计PSN，去除光源颜色误差估计较大的图像块，进一步提高算法的精度和稳健性；3)对图像进行对数色度预处理，降低图像亮度对光源颜色估计的影响，同时减少1/3的输入数据量，提高计算速度；4)在两组单光源数据集上的实验表明，本文方法能够较为准确地估计复杂场景的光源颜色，与其他方法相比，本文方法的精度和稳健性均较优；特别地，在相同配置下，与基于原始图像直接进行光源颜色估计相比，对数色度处理能够降低误差10%~15%，PSN能够进一步使误差降低约5%，验证了本文方法设计的合理性和有效性。

近年来深度学习在许多领域获得到了广泛应用，取得了优于传统机器学习方法的结果，同样也被应用于光源颜色估计领域。Lou等人(2015)首先在ImageNet数据集(Deng等，2009)上训练AlexNet卷积网络(Krizhevsky等，2012)，然后在单光源数据集上对网络进行微调(fine-tune)，获得光源颜色估计模型。CNN方法(Bianco等，2015)首先构建一个小型的卷积神经网络，通过分析卷积层和全连接层等网络结构以及卷积核大小数量与光源颜色估计误差之间的关系，获得最优参数选择，然后基于支持向量回归等方法设计后端处理算法，进一步提高了光源颜色估计精度。Oh等人(2017)将光源颜色估计这一回归问题转换为分类问题，并通过AlexNet分类加后端处理的方法实现问题求解。DS-Net方法(Shi等，2016)通过具有2个分支的回归网络HypNet为每个图像块建立2种不同的光源颜色估计，然后基于分类网络SelNet的结果选择其中一个分支，获得最终的估计。FC⁴方法(Hu等，2017)基于卷积神经网络同时估计图像的光源颜色和光源颜色置信权重，综合二者求得最终的光源颜色。相比较传统机器学习方法，深度学习方法无需人工设计模型提取光源颜色特征，而是通过卷积神经网络完成特征的自动提取；同时相较于传统机器学习方法多关注图像的中低层特征，深度学习可以通过不同的网络层提取多种不同层次的特征并整合，极大提高了光源颜色估计的适用范围和精度。

针对卷积神经网络深度增加导致的梯度消失和网络退化等问题，He等人(2016)提出了深度残差学习方法，通过令网络的每一层学习残差映射，获得了更深且更容易优化的网络，即残差网络，在许多应用中大幅提高了精度。

对于任意一层神经网络，假设$x$为输入，$H$($x$)为输出的最优解映射，记残差映射为$F$($x$)=$H$($x$)－$x$。通常神经网络直接尝试拟合$H$($x$)，而残差网络则尝试拟合$F$($x$)，然后计算$H$($x$)=$F$($x$)+$x$。相应的网络结构设计中，残差计算可以通过在网络中添加一个快捷连接(shortcut connection)来实现，从而构成残差网络的基本结构块，如图 1所示。快捷连接跳过一个或多个层，仅仅执行自身映射，其输出被添加到叠加层的输出中。残差映射保证了梯度的反向传播和网络训练，一般情况下，残差映射与原映射相比更容易被优化(He等，2016)。

在整体网络结构上，AlexNet等经典卷积神经网络由精心设计的多层卷积层构成，其主体结构基本固定，难以通过简单地修改来适应不同规模的应用。与之相比，残差网络较为简单，主要由2种结构堆叠而成，这些结构均由1×1和3×3卷积核的卷积层构成。这一结构优势使得残差网络极易扩展，通过改变堆叠层数就能适应不同规模的应用，并且较小的卷积核保证了较快的计算速度和较强的硬件适应性。同时由于残差映射更容易被优化，残差网络通常能够取得更高的估计精度(He等，2016)。

本文光源颜色估计总体流程如图 2所示。首先将图像均匀分割为若干相同大小的图像块，对各图像块进行对数色度处理，将其从RGB色度空间(${\mathit{\pmb{I}}_{\rm{r}}}$，${\mathit{\pmb{I}}_{\rm{g}}}$，${\mathit{\pmb{I}}_{\rm{b}}}$)转换为对数色度空间(${\mathit{\pmb{I}}_{\rm{u}}}$，${\mathit{\pmb{I}}_{\rm{v}}}$)；将每个图像块分别输入IEN和PSN，得到图像块的光源颜色估计值和光源颜色误差等级估计；然后去除光源颜色误差估计较大的图像块，对剩余图像块的光源颜色估计值进行中值池化(median pooling)，得到整幅图像的光源颜色估计；最后基于对角模型(Finlayson等，1994)计算校准后的图像。

本文通过均匀分割原始图像的方式提取图像块，其中图像块的大小选择需要考虑多种因素。过小的图像块无法包含足够的信息，用于光源颜色估计时误差难以控制，同时过多的图像块数量也影响算法效率；过大的图像块会导致较大的裁剪边缘，同时较少的数量也难以实现后续的全局处理。考虑到常用数据集图像多为2K及以上分辨率，本文采用64×64像素的图像块，一方面4 096个像素能够保证多数图像块包含足够的光源颜色信息；另一方面每幅2K分辨率级别的图像将包含超过500个子图像块，能够保证足够的图像块数量训练残差网络，以及完成后续的图像块筛选和全局光源颜色融合。

由Von Kries系数定律可知，光源颜色估计可以针对各颜色通道独立进行。因此，对单光源图像进行光源颜色估计时，图像$\mathit{\pmb{I}}$(${\mathit{\pmb{I}}_{\rm{r}}}$，${\mathit{\pmb{I}}_{\rm{g}}}$，${\mathit{\pmb{I}}_{\rm{b}}}$)可以表示为

$ {\mathit{\pmb{I}}_c} = {\mathit{\pmb{L}}_c}{\mathit{\pmb{W}}_c} $

(1)

式中，$\mathit{\pmb{I}}$为输入图像，$\mathit{\pmb{W}}$为标准光源(一般为白光)下的图像，$\mathit{\pmb{L}}$为场景光源颜色，$c$表示3个颜色通道${\rm{r}}$、${\rm{g}}$、${\rm{b}}$。

定义图像$\mathit{\pmb{I}}$的对数色度映射(${\mathit{\pmb{I}}_{\rm{u}}}$，${\mathit{\pmb{I}}_{\rm{v}}}$)为(Barron等，2015)

$ \left\{\begin{array}{l}{\boldsymbol{I}_{\mathrm{u}}(x, y)=\ln \left(\boldsymbol{I}_{\mathrm{g}}(x, y) / \boldsymbol{I}_{\mathrm{r}}(x, y)\right)} \\ {\boldsymbol{I}_{\mathrm{v}}(x, y)=\ln \left(\boldsymbol{I}_{\mathrm{g}}(x, y) / \boldsymbol{I}_{\mathrm{b}}(x, y)\right)}\end{array}\right. $

(2)

式中，($x$, $y$)为图像像素坐标。同样定义${\mathit{\pmb{W}}_{\rm{u}}}$、${\mathit{\pmb{W}}_{\rm{v}}}$、${\mathit{\pmb{L}}_{\rm{u}}}$、${\mathit{\pmb{L}}_{\rm{v}}}$为

$ \left\{\begin{array}{l}{\boldsymbol{W}_{\mathrm{u}}(x, y)=\ln \left(\boldsymbol{W}_{\mathrm{g}}(x, y) / \boldsymbol{W}_{\mathrm{r}}(x, y)\right)} \\ {\boldsymbol{W}_{\mathrm{v}}(x, y)=\ln \left(\boldsymbol{W}_{\mathrm{g}}(x, y) / \boldsymbol{W}_{\mathrm{b}}(x, y)\right)}\end{array}\right. $

(3)

$ \left\{\begin{array}{l}{\boldsymbol{L}_{\mathrm{u}}=\ln \left(\boldsymbol{L}_{\mathrm{g}} / \boldsymbol{L}_{\mathrm{r}}\right)} \\ {\boldsymbol{L}_{\mathrm{v}}=\ln \left(\boldsymbol{L}_{\mathrm{g}} / \boldsymbol{L}_{\mathrm{b}}\right)}\end{array}\right. $

(4)

显然

$ \boldsymbol{W}_{\mathrm{u}}=\boldsymbol{I}_{\mathrm{u}}-\boldsymbol{L}_{\mathrm{u}} \boldsymbol{E}, \boldsymbol{W}_{\mathrm{v}}=\boldsymbol{I}_{\mathrm{v}}-\boldsymbol{L}_{\mathrm{v}} \boldsymbol{E} $

(5)

式中，$\mathit{\pmb{E}}$表示所有元素均为1的矩阵。经过上述对数计算，可以降低图像亮度对光源颜色估计的影响(崔帅等，2018)，并替代了常规的图像归一化、gamma校正等预处理操作。同时，将图像$\mathit{\pmb{I}}$由(${\mathit{\pmb{I}}_{\rm{r}}}$，${\mathit{\pmb{I}}_{\rm{g}}}$，${\mathit{\pmb{I}}_{\rm{b}}}$)映射为(${\mathit{\pmb{I}}_{\rm{u}}}$，${\mathit{\pmb{I}}_{\rm{v}}}$)还可以减少1/3的网络输入数据量，提高后续的深度学习计算效率。

IEN用于估计对数色度图像块的光源颜色，本文基于残差网络框架(He等，2016)设计，如图 3(a)所示。其输入为64×64×2的对数色度图像块(${\mathit{\pmb{I}}_{\rm{u}}}$，${\mathit{\pmb{I}}_{\rm{v}}}$)，输出为图像块光源颜色估计值(${\mathit{\pmb{L}}_{\rm{u}}}$，${\mathit{\pmb{L}}_{\rm{v}}}$)。网络的主体结构由3组残差网络结构ResLayer 1、ResLayer 2、ResLayer 3依次组合而成。其中每一组网络结构均由若干相似的残差结构块Block $A$(如图 3(b)所示)堆叠构成，这些结构块的输入输出保持相同的高、宽和通道数，可以根据任务规模增减堆叠层数(本文采用8层)，用于逐层提取图像特征；此外，除第一组结构ResLayer 1外，每组网络结构的首层加入残差结构块Block $B$(如图 3(c)所示)，通过步长为2的卷积结构，将输出的特征图高宽减为输入的一半并将通道数加倍，用于压缩特征大小并增加特征数量。经过上述3组残差网络结构，可以提取出合适的图像特征规模和层次，然后通过全局均值池化层和全连接层，最终得到光源颜色估计。

将光源颜色的对数色度值(${\mathit{\pmb{L}}_{\rm{u}}}$，${\mathit{\pmb{L}}_{\rm{v}}}$)转换为RGB色度值(${\mathit{\pmb{L}}_{\rm{r}}}$，${\mathit{\pmb{L}}_{\rm{g}}}$，${\mathit{\pmb{L}}_{\rm{b}}}$，3者满足L2范数归一化)的计算为

$ \left\{\begin{array}{l}{\boldsymbol{L}_{\mathrm{r}}=\frac{\exp \left(-\boldsymbol{L}_{\mathrm{u}}\right)}{\sqrt{\left[\exp \left(-\boldsymbol{L}_{\mathrm{u}}\right)\right]^{2}+\left[\exp \left(-\boldsymbol{L}_{\mathrm{v}}\right)\right]^{2}+1}}} \\ {\boldsymbol{L}_{\mathrm{g}}=\frac{1}{\sqrt{\left[\exp \left(-\boldsymbol{L}_{\mathrm{u}}\right)\right]^{2}+\left[\exp \left(-\boldsymbol{L}_{\mathrm{v}}\right)\right]^{2}+1}}} \\ {\boldsymbol{L}_{\mathrm{b}}=\frac{\exp \left(-\boldsymbol{L}_{\mathrm{v}}\right)}{\sqrt{\left[\exp \left(-\boldsymbol{L}_{\mathrm{u}}\right)\right]^{2}+\left[\exp \left(-\boldsymbol{L}_{\mathrm{v}}\right)\right]^{2}+1}}}\end{array}\right. $

(6)

根据Lambertian反射模型，图像中每个像素的颜色均可对应无数种光源颜色和物体表面反射的组合，部分场景由于所含信息不充分而产生颜色歧义，因而无法准确估计光源颜色。因此，本文设计PSN用于去除估计误差较大的图像块，进一步提高整幅图像的光源颜色估计精度。

PSN采用与IEN相同的残差网络结构，如图 3(a)所示。PSN的输入同样为64×64×2的对数色度图像块(${\mathit{\pmb{I}}_{\rm{u}}}$，${\mathit{\pmb{I}}_{\rm{v}}}$)。此外，PSN需要将输入图像块按照其光源颜色估计误差大小分类，本文在网络的最后一层设置Softmax层作为分类器，完成归一化的分类结果输出，将卷积网络的线性预测结果转化为类别概率结果。对于输入$\mathit{\pmb{Z}}$($z$₁, $z$₂, …, ${z_m}$)，softmax函数$\sigma $($\mathit{\pmb{Z}}$)=[$\sigma $₁($\mathit{\pmb{Z}}$), $\sigma $₂($\mathit{\pmb{Z}}$), …, ${\sigma _m}$($\mathit{\pmb{Z}}$)]定义为

$ {\sigma _i}(\mathit{\pmb{Z}}) = \frac{{\exp \left({{z_i}} \right)}}{{\sum\limits_{j = 1}^m {\exp } \left({{z_j}} \right)}}, i = 1, \cdots, m $

(7)

式中，${\sigma _i}$($\mathit{\pmb{Z}}$)即为分类为$i$的概率。

由于图像的光源颜色估计值${\mathit{\pmb{L}}_{\rm{e}}}$与真实值${\mathit{\pmb{L}}_{\rm{t}}}$均为3维向量，通常采用角度误差作为误差度量方式，其计算方式为

$ \varepsilon\left(\boldsymbol{L}_{\mathrm{t}}, \boldsymbol{L}_{\mathrm{e}}\right)=\arccos \left(\frac{\boldsymbol{L}_{\mathrm{t}} \cdot \boldsymbol{L}_{\mathrm{e}}}{\left\|\boldsymbol{L}_{\mathrm{t}}\right\| \cdot\left\|\boldsymbol{L}_{\mathrm{e}}\right\|}\right) $

(8)

PSN的训练在IEN训练完成后进行。首先根据训练完成的IEN，将训练集图像块输入得到光源颜色估计值；然后结合训练集图像的真实光源颜色计算估计误差，并按误差值大小分类(本文均分为10类，其中类别1表明误差值最小，类别10表明误差值最大)；最后根据训练集图像块及其误差类别训练残差网络作为PSN，如图 4所示。需要特别指出的是，分类过程对每幅训练图像是独立进行的，在分类时每次仅针对一幅训练图像进行，将这一训练图像分割得到的所有图像块按照误差值大小分类。由此确保分类结果是衡量图像块在其所处图像中的误差水平，而不是在整个训练集所有图像块中的误差水平。因此，图像块在划分类别时仅与其所在图像包含的其他图像块相比较，与训练集中的其他图像无关。

根据PSN的分类结果，选择输入图像中误差估计较小的图像块用于估计全局光源颜色，具体方法是：首先根据PSN计算图像块10个分类的概率值，将最大概率值对应的类别作为图像块的分类；然后对于每幅图像，从估计误差最小的类别1开始，逐个类别选取图像块并计数，直至选取了图像块总数的40%或者到达类别7结束；最后在3个颜色通道r、g、b上分别统计选中图像块的光源颜色估计值，计算中位数作为全局图像对应通道的光源颜色估计。记选中的图像块为$P$₁，$P$₂，…，${P_n}$，则整幅图像$G$的全局光源颜色估计$\mathit{\pmb{L}}$($G$)为

$ \boldsymbol{L}_{c}(G)=\operatorname{median}\left(\bigcup\limits_{k=1}^{n} \boldsymbol{L}_{c}\left(P_{k}\right)\right) $

(9)

式中，$c$表示3个颜色通道${\rm{r}}$、${\rm{g}}$、${\rm{b}}$，${\mathit{\pmb{L}}_c}$($P_k$)为图像块$P_k$的$c$通道光源颜色估计，$n$为保留的图像块数量。

实验在两组单光源数据集上进行，首先给出本文方法与主流光源颜色估计算法的误差对比，并重点分析其中较优的几种方法，然后逐个算法模块分析本文方法的有效性。

实验环境为2.7 GHz的英特尔i5 CPU，16 GB内存，GPU为Nvidia GeForce GTX 1080Ti，11 GB显存，操作系统为64位Ubuntu 16.04，本文IEN和PSN均基于Caffe(Jia等，2014)平台实现。

1) NUS-8(Cheng等，2014)数据集。该数据集包含1 736幅图像，由不同相机拍摄的8个子集构成，每个子集约200幅图像，分辨率基本均为2K以上。数据集包含室内和室外场景，数据集的光源颜色真实值由场景中放置的Macbeth ColorChecker计算得到，使用时该部分图像被遮住。

2) 重处理的ColorChecker(Shi等，2014)数据集。该数据集包含568幅图像，由Canon 1D和Canon 5D拍摄，但使用时并未分为2个子集，而是作为一个整体。数据集图像分辨率全部为2K以上，含室内和室外场景。本文选用重处理的ColorChecker数据集，为Shi等人(2014)在原始ColorChecker数据集(Gehler等，2008)RAW图像的基础上进行线性化处理得到。该数据集的光源颜色真实值同样根据场景中放置的Macbeth ColorChecker计算得到。

IEN为回归网络，训练时采用欧氏距离损失函数，并基于随机梯度下降方法(Sutskever等，2013)训练。其批大小(batch size)为128，初始学习率为0.001，同时每20个完整训练周期(epoch)学习率降低10%。此外，权重衰减(weight decay)和动量(momentum)取值为0.000 2和0.9。训练前IEN需对卷积层和全连接层进行参数初始化。本文统一采用高斯分布随机初始化方式，标准差取值0.01。

PSN采用与IEN相同的设置进行训练，但作为分类网络，其训练时采用Softmax损失函数，且初始学习率取值为0.01。

本文采用式(8)角度误差作为光源颜色估计误差度量方式，主要对比光源颜色估计误差的均值、中位数、三均值(trimean)、最优25%均值、最差25%均值和95th百分位数，其中均值用于估计算法的总体性能，中位数和三均值旨在消除离散值的影响，最差25%均值和95th百分位数衡量算法在较差情况下的误差，其值越小说明算法稳健性越好。

本文对比的算法包括基于统计、基于机器学习和基于深度学习的方法。其中，基于统计的方法包括：Grey-World(Buchsbaum等，1980)、White-Patch(Land等，1977)、Shades-of-Grey(Finlayson等，2004)、Grey-Edge(Van de Weijer等，2007)、Grey-Pixels(Yang等，2015)、Retinal-Mechanism(Zhang等，2016)、DOCC(Gao等，2013；Gao等，2015)、achroEI(Gao等，2014)、Bright-Pixels(Joze等，2012)和Cheng等人(2014)的方法。基于机器学习的方法包括：Gamut-Mapping(Gijsenij等，2010)、Bayesian(Gehler等，2008)、Spatio-Spectral(Chakrabarti等，2012)、Natural-Image-Statistics(Gijsenij等，2011)、Regression-Tree(Cheng等，2015)、Bilayer-Sparse-Coding(Li等，2013)、Multi-cue(Li等，2016)、Exemplar-Based(Joze等，2014)和Convolutional-CC(convolutional color constancy)(Barron等，2015)。基于深度学习的方法包括：Lou等人(2015)的方法、CNN(Bianco等，2015)、DS-Net(Shi等，2016)和FC⁴(Hu等，2017)。

在训练集和测试集的设置上，本文方法与其他基于学习的方法保持一致：在NUS-8(Cheng等，2014)数据集上分别对每个相机的图像子集采用3-fold交叉检验，得到各子集光源颜色估计误差的中值、均值等统计结果，然后将所有子集误差统计结果的几何平均作为最终的误差结果，如表 1所示。在重处理的ColorChecker(Shi等，2014)数据集上，采用数据集提供的3-fold交叉检验计算误差，结果如表 2所示。除了本文完整方法(IEN + PSN)的估计结果外，还给出了IEN的单独估计结果，即：通过IEN估计图像块光源，然后取图像中所有的图像块估计值的中位数作为全局光源颜色估计值。

表 1的实验结果表明，本文方法在所有方法中精度最高，稳健性也较好。其中，基于统计的方法采用唯一确定的场景光源假设，精度相对较差。基于机器学习的方法通过对已知场景的特征建立模型来估计未知场景，能够处理一些复杂场景问题，多数精度优于基于统计的方法。基于深度学习的方法能够提取图像不同层次的特征并融合，获得了最高的精度，尤其是本文方法，相比浅层卷积神经网络提取的特征层次更多，保证了最好的估计效果。

表 2的实验结果表明，包括本文方法在内的深度学习方法最优。此外，基于图像灰度的统计方法精度最差，但基于生物视觉机理的方法明显优于其他基于统计的方法，其中DOCC(Gao等，2015)和achroEI(Gao等，2014)方法甚至优于部分常规机器学习方法，取得了计算效率和精度的平衡。由于重处理的ColorChecker数据集(Shi等，2014)中存在少量多光源图像(Hu等，2018)(即在一幅图像中分布有多个不同的光源，但表 2列出的方法均视其为单光源数据集)，这对基于局部图像块进行光源颜色估计并进行全局融合的本文方法有一定影响，但对于直接基于全局图像进行光源颜色估计的Convolutional-CC(Barron等，2015)和FC⁴(Hu等，2017)方法，以及采用分支选择的DS-Net(Shi等，2016)影响稍小，因而在这一数据集上本文方法的结果比这3种方法差，但仍优于其他方法。

表 1和表 2结果显示，DS-Net(Shi等，2016)、FC⁴(Hu等，2017)与本文方法最优。其中DS-Net方法(Shi等，2016)与本文方法相同，采用分别估计局部图像块光源，然后全局中值池化的估计方式。理论上，通过卷积核不同通道的权重取值，卷积层同样可以自动实现对输入特征图通道进行选择，并进一步提取特征的功能。因此，合理优化的、具有更大规模和深度的单一卷积网络能够获得与DS-Net方法(Shi等，2016)双网络类似的结果。表 1给出了本文IEN的单独估计结果，即通过IEN估计图像块光源，然后取图像中所有的图像块估计值的中位数作为全局光源颜色估计值(与DS-Net方法(Shi等，2016)一致)。结果表明，单一深度残差网络IEN同样可以获得与DS-Net方法(Shi等，2016)相同的精度和稳健性。而在表 2中，DS-Net方法(Shi等，2016)的结果表明其在光源数据存在误差的数据集上(ColorChecker包含少量明显的多光照图像)具有一定优势。此外，本文的PSN在训练时结合全局误差信息，用于估计图像块在整幅图像中的误差等级，由此筛选出低误差的图像块用于全局估计，达到降低误差的目的。表 1中的实验结果表明，相比DS-Net方法(Shi等，2016)单纯计算所有图像块估计值的中位数，本文方法更有效。

FC⁴方法(Hu等，2017)直接构建一个卷积网络，估计图像各区域的光源颜色和光源颜色置信权重，同时其连续的置信权重取值能更好地度量各区域光源颜色的准确性。然而，通过实验发现，该方法的局限性在于必须采用较大的图像作为输入，其实际采用512×512像素或更大的输入图像。较小的图像无法同时满足下列要求：1)存在足够多的子区域可供网络学习并筛选误差较小子区域；2)子区域足够大，可以较为准确估计光照。为此，FC⁴方法(Hu等，2017)采用了以下输入策略：1)将数据集图像缩放为相同大小，这可能导致数据变形和误差；同时，较小的训练集无法保证网络训练，但数据扩充可能会引入额外的误差。2)在数据集图像上裁剪，但较大的裁剪块无法实现对原图像完全且不重复的覆盖，这将导致重复覆盖或者缺失覆盖问题，无法同时保证计算精度和效率。3)采用原始数据集图像并使用全卷积网络处理不同大小的输入，这需要取消批处理(即将批大小设置为1)，可能会影响网络的训练性能；同时，这也需要考虑数据扩充引入的误差问题。

与FC⁴方法(Hu等，2017)相比，本文采用均匀且无重复覆盖的分割方法获得小型图像块，并使用IEN和PSN分开训练的方式，虽然计算量较大，但优势在于：1)将原始图像分割为相同大小的图像块作为输入，可以处理大小和长宽比差异巨大的图像，并且不会引入额外的误差，通用性更好；2)将训练集分割为图像块，图像块的数量足以保证本文残差网络的训练，同时避免数据扩充引入额外的误差。

在重处理的ColorChecker数据集(Shi等，2014)上分别测试本文对数色度预处理、IEN和PSN的有效性，结果如表 3所示，分别对应不同配置下的本文方法误差结果。其中rgb表示输入为原始RGB图像(${\mathit{\pmb{I}}_{\rm{r}}}$，${\mathit{\pmb{I}}_{\rm{g}}}$，${\mathit{\pmb{I}}_{\rm{b}}}$)，uv表示输入为对数色度图像(${\mathit{\pmb{I}}_{\rm{u}}}$，${\mathit{\pmb{I}}_{\rm{v}}}$)；标注IEN的是仅基于IEN进行光源颜色估计的误差结果，标注IEN+PSN的是同时包含IEN和PSN的完整方法对应的误差结果。

从表 3可以看出，采用卷积网络直接估计光源颜色时，相较于采用网络深度较浅的卷积神经网络的Lou等人(2015)方法和CNN方法(Bianco等，2015；Bianco等，2017)(如表 2所示)，基于更深残差网络的IEN能够全面提高光源颜色估计精度和稳健性；此外，在相同的IEN结构下，对数色度图像作为输入要优于原始RGB图像，其估计误差降低了约10%~15%；与此同时，对于光源颜色估计误差较大的图像，本文通过引入PSN去除误差值较大的图像块，能够进一步将误差降低约5%，提高最终的光源颜色估计精度和算法稳健性，并且这一结论对于RGB图像和对数色度图像均成立。

本文方法的输出结果如图 5所示。图 5(b)(c)(d)分别为PSN选择的图像块、IEN估计的图像块光源颜色、PSN选择图像块的光源颜色。图 5(e)和图 5(f)的左半幅图为估计值，右半幅图为真实值，同时在图 5(e)中标注了估计误差。可以看出，一般室内场景中包含语义信息的图像块，如纹理信息丰富的人像、书籍等，IEN的估计误差通常较小，而PSN也会优先选择这些区域，可以有效提高全局光源估计精度。而相比物体和光照复杂的室内场景，室外场景的光照均匀，IEN的估计误差普遍较小，PSN则优先选择天空、草地、特定纹理的建筑和道路等，能够小幅提高全局估计精度。

图 6为光源估计误差较大的4个典型例子，以此分析本文方法的误差来源和局限性。图 6(b)(c)(d)分别为PSN选择的图像块、IEN估计的图像块光源颜色、PSN选择图像块的光源颜色。图 6(e)和图 6(f)的左半幅图为估计值，右半幅图为真实值，并且在图 6(e)中标注了估计误差。在图 6第1行场景中，整个场景纹理内容较为单一，信息不足，导致IEN和PSN均难以获得准确的结果。图 6第2行场景中，PSN正确排除了语义和纹理信息不足的图像区域，因此全局误差主要源于IEN的估计误差。可以看出，ColorChecker放置在窗边且距场景主体较远，根据ColorChecker计算的场景真实光源可能受到了室外光源的影响，这可能是IEN产生误差的重要原因。图 6第3行场景中，IEN相对准确地估计了近景人物的光源，PSN却未能选择语义信息明确的人物图像。这是由于场景远处多个光源导致远处墙面产生了复杂的阴影和颜色变化，因此PSN优先选取这些纹理相似但颜色不同的区域用于全局光照估计。此外，该场景的光源颜色真实值是在近景处计算得到的，因此该场景的光源颜色估计误差较大。图 6第4行是多光源场景，算法将其作为单光源场景处理，因此产生了较大的误差。

本文及各深度学习方法的网络连接和参数数量如表 4所示，将其用于衡量各方法理论上的训练时间复杂度和空间复杂度，并与本文方法对比。表 4表明，本文方法与FC⁴方法(采用SqueezeNet设置)(Hu等，2017)具有接近的时间复杂度和空间复杂度。

本文方法在NUS-8数据集(Cheng等，2014)和重处理的ColorChecker数据集(Shi等，2014)上平均每幅图像的实际测试时间如表 5所示。对于一幅2 K分辨率级别的图像，本文方法的计算时间平均为1.4 s以内，可以满足实际问题求解需要。

针对目前光源颜色估计中局部场景的颜色歧义问题，本文基于深度残差学习提出一种光源颜色估计方法。首先对图像进行对数色度预处理，降低了图像亮度对光源颜色估计的影响，并减小了数据量；基于残差结构设计IEN和PSN，大幅度提高了网络深度，增加特征提取层次并更细致地融合图像高中低层次的特征，有利于增强网络的分类和回归能力，提高光源颜色估计和光源颜色误差分类的准确性；采用PSN去除图像中光源颜色估计误差较大的图像块，能够进一步降低全局估计误差，提高算法精度和稳健性。实验结果表明，相较于其他方法，本文方法的估计精度和稳健性均处于先进水平；与网络深度较浅的卷积神经网络相比，更深的残差网络能够提高光源颜色估计精度，同时对数色度预处理和PSN能够进一步降低误差并增强算法稳健性，从而验证了本文方法设计的有效性和必要性。目前，随着深度学习的发展，在其他领域出现了一些新的网络模型并获得较好的结果，如生成式对抗网络等，下一步的工作将针对该方向以及多光源条件下的图像颜色校正(Gao等，2019)进行深入研究。