图像融合一直是光学图像处理领域的研究热点。研究目的是将多传感器采集到的同一场景的图像进行融合，从而信息互补。其中，红外和可见光传感器受到广泛关注。红外传感器具有良好的探测性能，可以获得低光条件下或者有障碍遮挡的物体的图像，但获得的红外图像纹理细节信息缺失、对比度低；而可见光传感器获得的可见光图像具有丰富的纹理细节信息和较高的对比度，有利于人眼对场景的认知，但在低光或有障碍物遮挡等条件下获取的图像效果较差。将红外图像与可见光图像有效融合，既能突出红外目标信息，又可以得到可见光图像的高分辨率细节信息，因此广泛应用于计算机视觉、航天学及军事等领域(齐海生等，2019)。

图像融合的方法有很多，在灰度空间中进行像素级图像融合是一种较为常用的方法。学者提出了多种像素级图像融合方法进行红外和可见光图像融合，多尺度融合方法是其中使用最为广泛的一种方法。早期的多尺度融合方法主要在拉普拉斯金字塔变换(Laplacian pyramid，LP)(Burt和Adelson，1987)和小波变换(wavelet transform，WT)(Pajares和de la Cruz，2004)的基础上进行，但是这两类方法均不具有平移不变性，前者会产生大量的冗余信息，后者的分解方向选择性少，容易导致目标边缘不清晰。为了解决此类问题，提出了NSCT(non-subsampled contourlet transform)(陈木生，2016)与NSST(non-subsampled shearlet transform)(Zhang等，2015)，这两种方法在分解时具有较好的方向选择性和平移不变性，可以提取更全面的细节信息，减少冗余量。但是在融合过程中没有充分考虑空间一致性，导致融合图像中可能会出现伪影，引入人工噪声，且运行时间相对较长。

为了克服上述缺陷，有学者提出基于边缘保持滤波的多尺度融合方法，主要是因为边缘保持滤波具有平移不变性和良好的边缘保持性能(赵程和黄永东，2019)。这类方法可以通过边缘保持滤波器如高斯滤波和双边滤波的组合(hybrid-MSD fusion，HMSD)、高斯滤波和滚动导向滤波器的组合(weighted least square optimization-based method，WLS)(Zhou等，2016；Ma等，2017)等，对源图像进行理想的分解，得到基层和连续的细节层，同时保留边缘信息，以达到理想的融合效果。然而，这类多尺度融合方法通常需要两个以上的分解层次才能充分提取源图像的特征，计算复杂度高，需要更多的内存，在计算上很昂贵。

对此，为了提高融合方法的融合效率，Li等人(2013)提出了一种基于引导滤波的图像融合方法(guided filtering fusion，GFF)，仅应用简单的均值滤波器对源图像进行两个尺度上的分解，得到包含图像低频信息的基层图像和包含图像高频信息的细节层图像，处理速度比多尺度分解快，但是在两个尺度图像融合过程中生成的视觉显著值图不能很好地表示图像的显著特征，导致没有达到预期的融合效果；Bavirisetti和Dhuli(2016)提出了一种利用显著性检测的可见光和红外图像双尺度融合方法(two-scale image fusion based on visual saliency，TSIFVS)，也是利用均值滤波处理源图像，但是由于细节层图像融合过程中没有充分考虑提取图像显著信息的空间一致性，导致融合图像中会出现伪影现象。

随着深度学习的发展，在图像融合方面的应用也越来越广泛。Li等人(2018)提出了一种基于深度学习框架的红外与可见光图像融合方法(deep learning framework-based method，DLF)，认为源图像的深度特征可以作为一种显著特征来重构融合图像，然而网络越深，信息损失越严重。同时，深度学习计算量大，模型设计复杂，对硬件要求极高。

基于上述分析，在传统融合方法的基础上，本文综合视觉显著性和空间一致性的优势，提出了一种新的双尺度图像融合方法，有效改善了图像融合中的目标信息减弱、背景细节不清晰和边缘模糊等现象。本文方法根据均值和中值滤波输出的差值能提取图像的显著信息来构造显著值图(Bavirisetti和Dhuli，2016)，尽可能保留来自源图像的细节；同时使用引导滤波进行优化(Li等，2013)，充分考虑了提取图像显著信息的空间一致性。实验结果图像的增强效果大幅提升，有效地保持了目标、背景细节及边缘等重要信息。

视觉显著性检测是一种重要的图像理解和分析方法，目的在于提取图像中引人注意的显著性点或显著性区域(Achanta等，2008)。因此，视觉显著值图可以反映图像中各像素点的显著性水平。构造源图像显著值图最关键的一步是获取源图像的高通图像。首先，在每个源图像上应用一个均值滤波器，这是一种线性滤波器，可以对整个图像进行平滑处理，减少像素与其周围像素之间的强度变化，但往往会忽略边缘信息。然后，在每个源图像上应用中值滤波器，这是一个非线性滤波器，能在对每个源图像进行平滑操作的同时保留边缘信息(Bavirisetti和Dhuli，2016)。也就是说，均值和中值滤波输出的差值可以突出边缘、线等比其周围更显著的信息。因此，可以通过对两幅源图像先进行均值滤波处理，后进行中值滤波处理，并计算两者输出的差值得到相应的高通图像。对红外源图像${\mathit{\boldsymbol{I}}_1} $和可见光源图像${\mathit{\boldsymbol{I}}_2} $，相应的高通图像分别为${\mathit{\boldsymbol{H}}_1} $和${\mathit{\boldsymbol{H}}_2} $，具体实现公式为

$ \begin{array}{c} {H_n}(x, y) = {\varphi _{{\mu _n}}}(x, y) - {\varphi _{{\rho _n}}}(x, y)\\ n = 1, 2 \end{array} $

(1)

式中，$(x, y) $表示图像对应位置的像素坐标，均值滤波和中值滤波的窗口大小分别为${\omega _\mu } $和${\omega _\rho } $、${\mathit{\boldsymbol{\varphi }}_{{\mu _1}}} $和${\mathit{\boldsymbol{\varphi }}_{{\mu _2}}} $、${\mathit{\boldsymbol{\varphi }}_{{\rho _1}}} $和${\mathit{\boldsymbol{\varphi }}_{{\rho _2}}} $依次是两幅源图像的均值滤波输出和中值滤波输出。

接下来，对得到的两幅高通图像$ {\mathit{\boldsymbol{H}}_1}$和${\mathit{\boldsymbol{H}}_2} $的绝对值进行高斯滤波平滑处理(Li等，2013)，就可以得到两幅源图像的显著值图${\mathit{\boldsymbol{S}}_1} $和${\mathit{\boldsymbol{S}}_2} $。选用高斯滤波处理的目的是去除获得显著值图过程中噪声的影响，具体实现公式为

$ {\mathit{\boldsymbol{S}}_n} = \left| {{\mathit{\boldsymbol{H}}_n}} \right| * {\mathit{\boldsymbol{g}}_{{r_g}, {\sigma _g}}} $

(2)

式中，$ * $表示图像卷积操作，${\mathit{\boldsymbol{g}}_{{r_g}, {\sigma _g}}}$是窗口大小为$(2{r_g} + 1)(2{r_g} + 1) $的高斯滤波器，${r_g} $是滤波半径，${\sigma _g} $是标准差，两者的值均设置为5(Li等，2013)。

众多边缘保持滤波中，图像引导滤波器(Li等，2013)在性能与效率方面表现较为优秀，是一种局部线性滤波器。与传统的滤波器相比，该滤波器在保持图像边缘梯度的同时，能够增强图像的细节信息，保留输入图像的整体特征，广泛应用于图像去噪、图像传输和图像融合(齐海生等，2019)。

假设引导滤波器的引导图像为$ \mathit{\boldsymbol{I}}$，输入图像为$\mathit{\boldsymbol{p}} $，输出图像为$\mathit{\boldsymbol{q}} $，则在以$k $为中心的窗口${\mathit{\boldsymbol{\omega }}_k} $中，输出图像$\mathit{\boldsymbol{q}} $与引导图像$\mathit{\boldsymbol{I}} $存在线性关系，具体为

$ {q_i} = {a_k}{I_k} + {b_k}, \forall i \in {\mathit{\boldsymbol{\omega }}_k} $

(3)

式中，$ i$和$ k$为像素点坐标，${\mathit{\boldsymbol{\omega }}_k} $是一个大小为$(2r + 1)(2r + 1) $的正方形窗口，$r $为滤波器的半径。${a_k} $和$ {b_k}$均为窗口${\mathit{\boldsymbol{\omega }}_k}$内的线性常系数。由式(3)可以看出，$\nabla \mathit{\boldsymbol{q}} = a\nabla \mathit{\boldsymbol{I}} $，保证了输出图像$\mathit{\boldsymbol{q}} $与引导图像$\mathit{\boldsymbol{I}} $的边缘一致性。

求解系数${a_k} $和${b_k} $，可以通过最小化输入图像$\mathit{\boldsymbol{p}} $和输出图像$\mathit{\boldsymbol{q}} $的平方差来估计，具体为

$ E({a_k}, {b_k}) = \sum\limits_{i \in {\mathit{\boldsymbol{\omega }}_k}}^{} {[{{({a_k}{I_k} + {b_k} - {p_i})}^2} + \varepsilon a_k^2]} $

(4)

式中，$\varepsilon $是为了防止系数过大而定义的正则化参数。

$ {a_k} = \frac{{\frac{1}{{\left| \omega \right|}}\sum\limits_{i \in {\mathit{\boldsymbol{\omega }}_k}}^n {{I_i}{p_i} - {\mu _k}{{\bar p}_k}} }}{{\sigma _{^k}^2 + \varepsilon }} $

(5)

$ {b_k} = {{\bar p}_k} - {a_k}{\mu _k} $

(6)

式中，${\mu _k} $和${{\bar p}_k} $分别是引导图像$\mathit{\boldsymbol{I}} $和输入图像$ \mathit{\boldsymbol{p}}$在窗口$ {\mathit{\boldsymbol{\omega }}_k}$中的均值，${\sigma _{^k}^2}$为$ \mathit{\boldsymbol{I}}$在窗口${\mathit{\boldsymbol{\omega }}_k} $中的方差，${\left| \omega \right|} $是窗口${\mathit{\boldsymbol{\omega }}_k}$中的像素数量。

通过式(3)可以得到输出图像$\mathit{\boldsymbol{q}} $，由于所有以$k $为中心的窗口${\mathit{\boldsymbol{\omega }}_i} $都会包含像素点$i $，故式(3)中${q_i} $的值会随着窗口${\mathit{\boldsymbol{\omega }}_k} $的变化而改变，因此将系数${a_k} $和$ {b_k}$所有可能的值进行平均，就可以得到最终的滤波输出，即

$ {q_i} = \frac{1}{{\left| \omega \right|}}\sum\limits_{i \in {\mathit{\boldsymbol{\omega }}_k}}^{} {({a_k}{I_k} + {b_k}_{})} = {{\bar a}_i}{I_i} + {{\bar b}_i} $

(7)

引导滤波器的输入输出关系表示为

$ \mathit{\boldsymbol{q}} = {G_{r, \varepsilon }}(\mathit{\boldsymbol{I, p}}) $

(8)

式中，$ {G_{r, \varepsilon }}$表示引导滤波操作算子，$ r$和$\varepsilon $分别表示滤波窗口与模糊图像程度的参数，$\mathit{\boldsymbol{p}} $、$\mathit{\boldsymbol{I}} $和$\mathit{\boldsymbol{q}} $分别表示输入图像、引导图像和输出图像。

本文提出基于显著性分析和空间一致性的双尺度图像融合方法，融合框架如图 1所示，具体步骤为：

1) 通过均值滤波器将源图像分解为基层图像和细节层图像；双尺度图像分解的目的是将每个源图像分解成包含大尺度强度变化的基层和包含小尺度细节的细节层。

2) 基于人类视觉系统对图像的基层信息与对细节层信息的敏感程度不同，对基层图像利用简单的加权平均规则融合；然后对细节层图像先基于显著性分析得到初始权重图，再利用引导滤波优化得到的最终权重图指导进行加权融合。

3) 最后通过融合基层与细节层的双尺度重建，得到最终的融合图像。

对红外源图像${\mathit{\boldsymbol{I}}_1} $和可见光源图像${\mathit{\boldsymbol{I}}_2} $，基于图像分解理论，先使用均值滤波对红外和可见光源图像分别进行滤波处理，得到对应的基层图像信息${\mathit{\boldsymbol{I}}_{1,1}} $和${\mathit{\boldsymbol{I}}_{2,1}} $，具体实现公式为

$ \begin{array}{c} {\mathit{\boldsymbol{I}}_{n, 1}} = {\mathit{\boldsymbol{I}}_n} * \mathit{\boldsymbol{\mu }}\\ n = 1, 2 \end{array} $

(9)

式中，$\mathit{\boldsymbol{\mu }} $是窗口大小为${\omega _\mu } $的正方形均值滤波。

然后将滤波处理得到的基层图像${\mathit{\boldsymbol{I}}_{1, 1}} $和$ {\mathit{\boldsymbol{I}}_{2, 1}}$分别与源图像进行求差运算，得到对应的细节层图像信息$ {\mathit{\boldsymbol{I}}_{1, 2}}$和${\mathit{\boldsymbol{I}}_{2, 2}} $，具体实现公式为

$ {\mathit{\boldsymbol{I}}_{n, 2}} = {\mathit{\boldsymbol{I}}_n} - {\mathit{\boldsymbol{I}}_{n, 1}} $

(10)

基层图像包含图像的低频信息，使用双尺度分解的融合方法从源图像中提取的基层信息包含了图像的共同特征和冗余信息(Li等，2018)。记融合的基层图像信息为$\mathit{\boldsymbol{F_1}} $，本文采用常用的基层图像融合规则，即简单的加权平均融合法对两幅基层图像进行融合，具体实现公式为

$ {\mathit{\boldsymbol{F}}_1} = \alpha {\mathit{\boldsymbol{I}}_{1, 1}} + \beta {\mathit{\boldsymbol{I}}_{2, 1}} $

(11)

式中，$\alpha $和$\beta $分别表示红外源图像和可见光源图像中像素的权重。$ \alpha + \beta = 1, \alpha, \beta \in (0, 1)$。根据Li等人(2018)的分析，当$\alpha $和$\beta $的值都为0.5时，可以保留源图像的共同特征，减少融合基层图像的冗余信息，因此本文引用其中$\alpha $和$\beta $的建议值对基层进行融合。

红外图像的细节层图像主要包含目标信息，可见光图像的细节层图像包含精细纹理信息。两幅源图像细节层图像的组合可以将互补信息转化为新的图像(Ma等，2018)，本文采用基于显著性分析和空间一致性的融合权重图构造方法将两幅源图像的细节层信息集成到融合图像中。

基于视觉显著性对于指导细节层图像融合的优越性，首先根据1.1节视觉显著值图的构造方法得到两幅源图像的显著值图，分别记为${{\mathit{\boldsymbol{S}}_1}} $和${{\mathit{\boldsymbol{S}}_2}} $，然后通过比较红外源图像和可见光源图像的显著值的大小获得相应的初始权重图${\mathit{\boldsymbol{P}}_1} $和${\mathit{\boldsymbol{P}}_2}$，具体实现公式为

$ \begin{array}{c} {{\boldsymbol{\rm P}}_n}(x, y) = \\ \left\{ {\begin{array}{*{20}{l}} {1\;\;{\mathit{\boldsymbol{\rm S}}_n}(x, y) = \max ({\mathit{\boldsymbol{\rm S}}_1}(x, y), {\mathit{\boldsymbol{\rm S}}_2}(x, y))}\\ {0\;\;\;其他} \end{array}} \right.\\ n{\rm{ = 1, 2}} \end{array} $

(12)

图像中的噪声主要集中在高频部分，导致传统的初始权重图通常是不够平滑的，并且不与物体边界对齐，因此直接采用初始权重图融合细节层图像会在结果中引入伪影。空间一致性意味着如果两个相邻的像素具有相似的亮度或颜色，它们的权重也会趋于相似(Li等，2013)，可以有效解决伪影问题。因此，本文考虑引入空间一致性，利用引导滤波优化初始权重图，使得亮度相近的相邻像素值也具有相近的权重。以初始权重图对应的源图像作为引导图像，得到细节层最终的权重图${{\mathit{\boldsymbol{W}}_1}} $和${{\mathit{\boldsymbol{W}}_2}} $，具体实现公式为

$ {\mathit{\boldsymbol{W}}_n} = {G_{r, \varepsilon }}({\mathit{\boldsymbol{P}}_n}, {\mathit{\boldsymbol{I}}_{ n}}) $

(13)

进一步，记融合的细节层图像为${\mathit{\boldsymbol{F}}_2} $，通过将权重图${{\mathit{\boldsymbol{W}}_1}} $和${{\mathit{\boldsymbol{W}}_2}} $分别与细节层图像${\mathit{\boldsymbol{I}}_{1, 2}} $和${\mathit{\boldsymbol{I}}_{2, 2}} $相乘来将细节层的重要信息集成到单幅图像中，具体实现公式为

$ {\mathit{\boldsymbol{F}}_2} = {\mathit{\boldsymbol{W}}_1}{\mathit{\boldsymbol{I}}_{1, 2}} + {\mathit{\boldsymbol{W}}_2}{\mathit{\boldsymbol{I}}_{2, 2}} $

(14)

细节层图像的融合方法在保持传统显著值图像视觉显著性优势的同时，也考虑到了图像的噪声影响，通过引入引导滤波来优化含噪声并且不与边界对齐的初始权重图，降低噪声影响，去除伪影，从而满足了空间一致性。如此，将视觉显著性和空间一致性的优势结合，降低了图像噪声对融合结果的影响，增强了融合图像中的目标、背景细节和边缘等重要信息。

按图 1所示的图像融合框图，记最终的融合图像为$\mathit{\boldsymbol{F}} $，通过对融合基层图像与细节层图像进行双尺度重建(即两者相加)，得到最终的融合图像。具体实现公式为

$ \mathit{\boldsymbol{F}} = {\mathit{\boldsymbol{F}}_1} + {\mathit{\boldsymbol{F}}_2} $

(15)

实验平台为MATLAB R2018a，计算机配置为Intel(R)处理器，CPU主频2.4 GHz，内存4 GB。本文根据传统方法与深度学习的特点不同，从广泛用于图像融合的数据集和开源数据集TNO(Li等，2018)中选取两组不同的实验图像。第1组实验图像为Zhang等人(2017)方法中的14对图像，其中的5对样本图像camp、dune、T2、octec和kayak如图 2所示。第2组实验图像为Li等人(2018)方法中的21对图像，其中的4对样本图像quad、house、bus和tree如图 3所示。

好的融合方法关键是有效的图像信息提取和适当的融合原则，允许从源图像中提取有用的信息并进行集成，在融合图像处理中不引入任何伪影(Ma等，2019)。为了验证本文方法的有效性和优越性，在两组灰度图像上进行对比实验。1)在第1组实验图像上与GFF和TSIFVS方法进行比较。2)在第1组实验图像上与经典及当前先进的多尺度融合方法进行对比；在第2组实验图像上与基于深度学习框架的融合方法进行对比。

对比方法的参数均采用相应文献的参数设置。从主观分析和客观评价两方面进行对比：主观上，比较融合结果的视觉效果；客观上，选择熵(entropy，EN)(Roberts等，2008)、平均梯度(average gradient，AG)(Cui等，2015)、边缘强度(edge intensity，EIN)、空间频率(spatial frequency，SF)(Eskicioglu和Fisher，1995)、特征互信息(feature mutual information，FMI)和交叉熵(cross entropy，CE)(Haghighat等，2011)等作为评价指标对融合图像进行评价。EN、AG、EIN和SF直接对融合图像进行评价，这4个融合评价指标值越高，说明融合图像的质量越高。FMI和CE是联合源图像和融合图像进行质量评价，FMI值越高，CE值越低，说明融合质量越高。

基于GFF、TSIFVS及本文方法分别进行红外和可见光图像融合。GFF方法中的均值滤波器、拉普拉斯滤波器和高斯滤波器的窗口大小分别为31、3和11；引导滤波器的参数为${r_1} $=45，${\varepsilon _1} $=0.3；${r_2} $=7，${\varepsilon _2} $=10^-6。TSIFVS和本文方法中的均值滤波器均采用MATLAB R2018a中imfilter函数进行滤波处理，并且都引用TSIFVS方法中的均值滤波器和中值滤波器的参数设置，窗口大小${\omega _\mu } $=35，${\omega _\rho } $=3。另外，本文采用常用的引导滤波器的参数，即$r $=2，$ \varepsilon $=0.01。

图 4为GFF、TSIFVS及本文方法对camp图像对的结果比较。可以看出，由于GFF方法融合过程中生成的显著值图(图 4(a))不能很好地表示图像的显著特征，导致融合图像中部分细节丢失，边缘模糊。TSIFVS方法得到的图像对比度低且目标不清晰，这是由于在细节层信息融合过程中没有充分考虑提取图像显著信息的空间一致性；相比之下，本文方法结合了视觉显著性和空间一致性的优势，可以保留更多来自源图像的细节信息，融合结果中目标和背景清晰可见，区域特征明显，对比度高，更符合人眼视觉观察。从客观性能比较柱形图(图 4(d))可以看出，本文方法的6项指标均值明显优于TSIFVS方法，AG、EIN和SF指标均值优于GFF方法，EN、FMI、CE指标均值与GFF方法相差不大，说明本文方法有效提升了融合图像的质量。

针对目标信息减弱、背景细节不清晰和边缘模糊等问题，选择小波融合(Pajares和de la Curz，2004)、HMSD-Fusion(Zhou等，2016)、WLS-Fusion(Ma等，2017)等多尺度融合方法和本文方法对第1组实验图像中的camp、dune、T2、octec和kayak等5对实验图像分别进行红外和可见光图像融合，并对融合结果进行对比。其中，小波变换选择Db4小波，分解层数为3；HMSD的分解层数为4，空间和范围高斯分布标准差的初始值为2和0.1，正则化参数默认初始迭代值设置为30；WLS的分解层数为4，高斯滤波标准差的初始值为2，全局控制参数设置为0.01。

为了针对性地验证本文方法和对比方法的性能，将5对实验图像分成4种不同场景的源图像。camp和dune细节特征丰富，用于验证方法保持细节信息的能力；T2用于验证低光条件下融合图像中目标信息是否减弱；octec中的红外目标遮挡，用于验证方法能否合理地分配红外与可见光光谱信息(朱浩然等，2019)；kayak用于验证方法是否具有边缘保持能力。

1) 融合结果主观分析。图 5为小波、HMSD、WLS融合方法及本文方法在camp、dune、T2、octec和kayak图像上的融合结果。

第1行和第2行分别是4种融合方法以camp和dune为输入图像得到的融合结果。可以看出，本文方法有效保留了红外与可见光图像的互补信息，尤其是第1行中的路、草地和房顶以及第2行中的瀑布和岩石部分均很清晰，然而这些在小波、HMSD、WLS的融合结果中均不清晰，对红外图像的融合结果引入了大量人工伪影。另外，本文方法得到的融合图像对比度更高，更符合人眼视觉观察。

第3行是T2的红外与可见光图像融合结果，小波、HMSD、WLS这3种方法的融合结果中不能够清晰看出路灯、车头部分以及烟囱周围，而且更多保持了红外目标信息。HMSD方法虽然路灯和车头部分较清晰，但是烟囱周围不够清晰，得到的图像对比度低。相比之下，本文方法得到的融合结果自然清晰，避免了低光条件下目标信息被减弱，更接近理想的融合图像。

第4行是octec的红外与可见光图像融合结果，源图像octec中人物被烟雾遮挡。小波、HMSD、WLS这3种方法的融合效果不佳，部分细节丢失，不利于人眼长时间观察。WT方法存在大量伪影，人物目标不突出，路痕等部分不清晰。HMSD方法树枝与天空接壤的区域不够自然。WLS方法整体清晰度不高。相比之下，本文方法融合结果整体自然，人物、房子、路痕以及树枝与天空接壤的区域部分清晰可辨，几乎无伪影，说明本文方法可以合理分配红外与可见光光谱信息。

第5行是kayak图像对的融合结果。可以看出，本文方法与其他方法相比表现出更好的边缘保持能力。WT方法不仅没有有效利用红外与可见光图像的互补信息，反而引入了人工噪声，船只等目标明显不够清晰。HMSD方法图像的全局对比度不高。本文方法得到的图像整体更加自然，沙滩与海面交界自然，行人与船只亮度对比度适中。

综合图 5的结果可以得出，本文方法可以全面准确地提取红外和可见光源图像中的信息，并将其传输到融合图像中，有效解决了图像融合中目标信息减弱、背景细节不清晰和边缘模糊等问题。

2) 融合结果客观评价。为了更加准确地说明本文方法的优势，对融合结果进行客观评价。上述4种融合方法在14对图像下不同结果的6项评价指标值如图 6所示，为了准确地进行数据间的比较分析，避免极端数据干扰，采取先去最大值和最小值后求均值的方法得到各融合方法的客观评价均值，如表 1所示。

从图 6可以看出，本文方法结果除少数指标值不是最优外，整体上优势突出。从表 1可以看出，本文融合结果的评价指标整体上优于其他多尺度融合方法，在平均梯度、边缘强度、空间频率、特征互信息和交叉熵上的平均精度均为最优，仅EN均值没有达到最优。这是由于图像中噪声越多，EN值越大(Haghighat等，2011)，如图 5中WT方法对应的融合结果所示，HMSD方法融合图像中也引入了一定的人工噪声。总体来说，本文方法在6项评价指标上相较现有的多尺度方法具有明显优势。

另外，对于不同图像融合方法的客观评价，融合效率通常是不能被忽略的。本文对14对图像在4种方法下的运行时间进行了比较。为了保证数据的准确性，首先记录4种方法连续运行3次的时间，其中每次时间为某种方法连续处理完14对图像时每对图像需要的运行时间，并且使用散点图直观可见，如图 7所示。然后对每种方法连续处理14对图像得到的14次不同运行时间求均值，为了减小误差，求3次分别得到均值1、均值2、均值3，再对得到的3次平均运行时间均值求均值，即为每种方法的运行时间均值，具体如表 2所示。

通过图 7和表 2可知，相较于HMSD和WLS方法，本文方法的运行时间大大减少，效率分别快了约23倍和10倍, 但是与WT方法相比，本文方法略慢，运行时间均值相差约0.1 s，这可能是由于本文使用了引导滤波处理，在计算时需要进行迭代运算导致耗时稍长。但本文方法在保持细节信息与抑制伪影等方面均更优，为了改善图像融合效果和提高方法的应用价值，增加0.1 s的运行时间代价是值得的。据此可以说明本文方法能在保持良好融合效果的同时极大提高了融合效率。综上，本文方法优于现有的经典和先进的尺度图像融合方法，不仅能够有效实现图像的高质量融合，在融合效率方面也具有一定优势。

为了充分利用源图像的有用特征，Li等人(2018)提出基于深度学习框架的红外和可见光图像融合方法DLF，利用VGG-19(visual geometry group 19-layer net)网络对源图像细节部分进行多层特征提取与融合。而本文联合显著性分析和空间一致性实现了对源图像特征的提取与融合。为进一步验证本文提出方法的性能，对第2组实验图像中的21对实验图像分别按DLF和本文方法进行融合，得到相应的融合结果，并计算融合结果的客观评价指标值。

图 8为第2组实验图像中的4对样本图像(quad、house、bus和tree)的融合结果图像。可以看出，quad的可见光图像由于受到夜视的影响对比度较低，行人和车辆等细节难以分辨，但广告牌显示较清晰，而这在红外图像中不够清晰，但该图像的对比度稍高，行人和路灯等细节清晰可见。house的可见光图像中场景信息全面清晰，但缺失人物目标信息部分，而这在红外图像中易于识别。bus的可见光图像受距离、遮挡和光照影响丢失了部分目标信息和场景细节信息，如云朵、远处的墙面和地面纹理。tree的红外图像中飞机目标清晰，场景比较模糊，而另一图像中场景清晰，但是飞机目标难以被看出。

对比图 8中DLF与本文方法的融合结果可以得出，二者都实现了红外与可见光图像的融合，但是本文方法在提取和利用源图像的有用特征方面的优势更加突出。在quad图像中，本文方法得到的融合图像对比度更高，且行人、车辆、路灯及广告牌等细节清晰可辨。在house图像中，本文方法更好地保持了人物目标信息，同时树木等场景细节信息也都自然清晰。在bus图像中，本文方法能够将红外信息准确地注入到可见光图像的相应位置处，得到信息更全面准确的融合图像。在tree图像中，本文方法融合结果的飞机目标突出，而且有效地保留了场景细节信息，融合图像对比度适中，更符合人眼视觉观察。

第2组实验图像中的21对实验图像的客观分析如图 9和表 3所示。图 9为DLF和本文方法在21对实验图像上评价指标。表 3为两种方法对应的评价指标均值(去最值后求均值)。可以看出，在EN、AG、EIN、SF和CE指标上，本文方法指标值均为最优，较DLF方法分别平均提高了6.87 %、91.28 %、91.45 %、85.10 %和45.45 %，说明本文方法在这5项指标上具有非常明显的优势。在FMI指标上，虽然有少数结果的FMI值没有达到最优，但本文方法的FMI指标均值(表 3)较DLF方法提高了0.18 %，说明本文方法在FMI指标值上优于DLF方法。因此，本文方法在客观评价指标上明显优于DLF方法。

整体来看，本文方法实现了更好的融合结果，通过充分有效地提取和融合源图像的有用特征，不仅能突出红外目标信息，而且保留了更多可见光图像的高分辨率细节信息，使得融合图像更符合人眼视觉观察，并且融合性能更佳，6项客观指标的平均精度均为最优，表明了本文方法的优势。

同一场景下的红外和可见光图像信息通常是互补的，对其进行有效融合更适合人类感知和计算机处理。本文结合双尺度分解与基于显著性的融合权重的思想，提出了一种基于显著性分析和空间一致性的双尺度图像融合方法，并通过实验验证了方法的有效性和优越性。1)红外图像和可见光图像在大尺度上信息相差较大，对源图像进行双尺度分解，利用均值滤波对源图像的低、高频信息进行有效分离，不仅有利于后续融合过程的开展，还降低了已有方法的算法复杂度；2)根据均值和中值滤波输出的差值提取源图像的显著信息，并使用高斯滤波降低过程中噪声的影响，可解决融合图像中细节较模糊等现象，推动融合效果的提升；3)利用引导滤波对初始权重图进行优化处理，改善了融合过程中易造成伪影，导致边界不对齐以及边缘模糊等不足。

与现有的多尺度融合方法相比，本文方法能在保证较高融合质量的同时极大提升融合速率，为红外和可见光图像的实时融合提供可能性。同时，与基于深度学习框架的融合方法进行比较，本文方法的实际效果更好，表明在图像融合领域，传统方法仍能够占据优势地位，并且因为本方法效率更高，更容易在实际生活中得到应用。总体来说，本文提出的融合方法在一些方面取得了显著效果，有助于图像融合技术的发展。

目前，实验的数据集仅限于红外和可见光图像，下一步的工作是使方法更具有普适性，可用于融合多源同模态图像和其他的多源多模态图像。