0引言红外和可见光图像传感器成像机理不同,在同一场景的红外和可见光图像之间存在良好的互补特性。红外图像反映物体的热辐射情况,不易受气候等环境影响,抗干扰能力强,可全天候工作,但分辨率较低。可见光图像反映物体表面的反射特性,获得的图像具有丰富的背景信息,但成像效果对外界环境光照条件依赖性大,在低照度下成像效果会下降。因此,将红外图像中的目标信息与可见光图像中的背景细节信息进行有效融合,可以对目标或场景进行更全面、准确地描述。在红外与可见光图像融合领域中应用较广泛的方法包括基于多尺度变换(multiscale transform methods,MST)(杨航等,2015)、基于稀疏表示(sparse representation methods,SR)(Liu等,2017)、基于子空间(subspace methods)(Li等,2016)、基于显著性(saliency-based methods)(Li等,2013)和基于卷积神经网络(convolutional neural network,CNN)(Liu等,2018)等。目前,研究和应用最多的方法是基于多尺度变换的融合方法,包括双树复小波变换(dual-tree complex wavelet transform,DTCWT)(Lewis等,2007)、拉普拉斯金字塔变换(Bulanon等,2009)、非下采样轮廓波变换(nonsubsampled contourlet transformation,NSCT)(Adu等,2012)等。该类方法将源图像进行多尺度分解,得到一系列不同尺度的子图像,再将其按照一定融合规则融合,最后通过逆变换得到融合结果,能够捕捉多源图像的多尺度特征信息,可有效提取图像中的显著信息,融合质量一般较高,但是在融合结果中可能出现颜色或亮度失真,因为传统的基于MST的方法常忽略了空间一致性(赵程和黄永东,2019),且传统多尺度变换多采用线性滤波进行分解,在物体或目标边缘周围易产生光晕伪影。因此,改进传统多尺度变换成为近年来的研究热点,基于边缘保持滤波的图像融合方法受到了更多的关注。边缘保持滤波在较好保留图像轮廓边缘信息的同时能有效减少融合结果中边缘周围的光晕伪影,具有较良好的视觉效果。大部分边缘保持滤波器根据对比度平滑细节信息,如均值滤波(Li等,2013)等。双边滤波(Hu和Li,2012)、联合双边滤波以及导向滤波(guided filtering,GF)(He等,2013)等滤波方法根据图像的空间结构完成多尺度分解,实现空间一致性,从而达到平滑纹理、保留边缘细节信息的目的。其中,导向滤波是一种简单快速的边缘保持滤波器,在图像融合中取得了较好效果。Li等人(2013)首次提出在权值图优化中使用GF,解决了初始权重图存在噪声和目标边缘无法对齐的现象,有效抑制了结果中的光晕伪影。Toet和Hogervorst(2016)提出基于迭代导向滤波器的多尺度分解框架,迭代导向滤波考虑了空间尺度,实现了图像特征的尺度分离,解决了联合双边滤波器存在的梯度反转问题。朱浩然等人(2018)提出基于导向滤波的自适应图像增强算法,有效提高了可见光图像的细节可视性,在弱光或非均匀等光照条件下有较好的融合结果。Zhang等人(2019)基于导向滤波器设计了一个梯度滤波器计算显著图,获取了更多的细节特征。李喆等人(2019)改进了原始导向滤波,提出了基于自适应加权导向滤波的算法,自适应权重因子根据梯度值确定,可以更好地保护边缘细节信息。以上基于导向滤波的融合算法保持了空间一致性,有效改善了融合图像失真或伪影的现象,但存在一定局限性:1)导向滤波处理图像时在边缘处会引入细节“光晕”;2)处理输入图像和引导图像不一致时会出现滤波不灵敏甚至失灵。针对这一问题,Ochotorena和Yamashita(2020)提出了各向异性导向滤波(anisotropic guided filtering,AnisGF),基于局部邻域方差进行权重优化,实现了强各向异性,解决了原始导向滤波出现的细节“光晕”和伪影现象,取得了良好的滤波结果。为了解决导向滤波算法在强滤波下导致的细节“光晕”,进一步提升融合质量,本文提出一种基于AnisGF的多尺度分解和相位一致性(phase congruency,PC)的新型图像融合方法。首先,采用AnisGF对源图像进行多尺度分解,尽可能保留源图像的细节特征,同时有效避免边缘的光晕伪影现象。其次,采用PC算子和高斯滤波计算显著图,对比像素显著性得到初始权重图,再利用不同尺度参数的AnisGF优化权重图,基于AnisGF的权重优化实现了空间一致性并克服了噪声。最后,通过图像重构得到融合结果。1相关算法导向滤波在图像融合中具有良好的噪声平滑、边缘保留等特性,运算复杂度较低,有效解决了双边滤波、联合双边滤波等滤波器存在的梯度反转问题(谢伟等,2016),但无法避免细节“光晕”的引入。对此,出现了一些针对导向滤波的改进算法和结合导向滤波的应用算法。1.1导向滤波导向滤波是一种基于局部线性模型的快速边缘保持滤波器(Li等,2013),利用导向图指导滤波过程,可以实现图像的边缘保持和结构传递功能。给定输入图像${\mathit{\boldsymbol{P}}}$,导向滤波将输出图像${\mathit{\boldsymbol{O}}}$假定为导向图像${\mathit{\boldsymbol{I}}}$的线性变换,即 1 $\boldsymbol{O}_{j}=a_{i} \boldsymbol{I}_{j}+b_{i}, \forall j \in \boldsymbol{N}(i)$ 式中,${\mathit{\boldsymbol{N}}}(i)$是以像素$i$为中心的邻域,在${\mathit{\boldsymbol{N}}}(i)$内线性系数$a_{ i}$和$b_{ i}$为常数,由岭回归计算得到。像素点$i$包含在相邻不同的窗口${\mathit{\boldsymbol{N}}}(i)$内,故式(1)中滤波输出${\mathit{\boldsymbol{O}}}_{ j}$的值会根据窗口${\mathit{\boldsymbol{N}}}(i)$的变化而改变。为解决这一问题,通过平均所有可能的线性系数$a_{ i}$和$b_{ i}$值,得到输出${\mathit{\boldsymbol{O}}}_{ j}$,即 2 $\boldsymbol{O}_{j}=\overline{a_{i}} \boldsymbol{I}_{j}+\overline{b_{i}}$ 式中,$\bar a_{i} $和$\bar b_{i} $为平均系数。导向滤波具有边缘保持和结构转移的功能,当输入图像${\mathit{\boldsymbol{P}}}$和导向图像${\mathit{\boldsymbol{I}}}$相同时,导向滤波表现出与双边滤波相似的保边特性(朱浩然等,2018)。1.2各向异性导向滤波传统导向滤波的两个局限性均因缺乏各向异性导向,从而出现细节“光晕”,说明其仅具有弱各向异性(Ochotorena和Yamashita,2020)。因此,通过对平均步骤进行正则化代替对$a_{ i}$正则化,可以获得更好的各向异性,加权平均方案为 3 $\tilde{a}_{i}=\sum\limits_{j \in \boldsymbol{N}(i)} w_{i j} a_{j}, \tilde{b}_{j}=\sum\limits_{j \in \boldsymbol{N}(i)} w_{i j} b_{j}$ 式中,$ \tilde a_{ i}$和$ \tilde b_{ i}$表示线性系数$a_{\rm i}$和$b_{i}$加权平均的结果,$w_{\rm ij}$表示分配给中心像素点$i$的邻域像素点$j$的权重,设计这些权重的目标是为了实现最大平滑的同时保留强边缘边界。当$a_{i}→0$有最大平滑,得到的近似目标为 4 $\operatorname{argmin} \sum\limits_{w_{i j} \in \boldsymbol{N}(i)}\left(w_{i j} \delta_{i j}^{\alpha}\right)^{2}+\varepsilon \sum\limits_{j \in \boldsymbol{N}(i)}\left(1-w_{i j}\right)^{2}$ 式中,$δ^{α}_{ij}$表示导向图像${\mathit{\boldsymbol{I}}}$在窗口${\mathit{\boldsymbol{N}}}(i)$的加权标准偏差,$ε$为正则化参数,防止$ \tilde α_{ i}$过大。式(4)定义了AnisGF加权系统,该权值基于局部邻域方差进行优化,其值不会随中心像素的变化而变化。当用较大的滤波窗口时,GF的滤波性能会下降,出现细节“光晕”。AnisGF由于强各向异性,有效避免了细节“光晕”的现象。导向滤波和各向异性导向滤波的自然图像平滑结果如图 1所示,其中,滤波尺寸均设置为|${\mathit{\boldsymbol{N}}}$|=30×30,正则化参数$ε$=0.01,AnisGF的各向异性程度$α=1$。可以看出,GF结果(图 1(b))中目标塔和天空周围存在光晕伪影,而AnisGF结果(图 1(c))中光晕伪影得到了有效抑制。同时,GF由于弱各向异性导致对比度较低,AnisGF的滤波结果有更高的对比度和清晰度。 图1 导向滤波和各向异性导向滤波的细节“光晕”对比 Comparison of detail haloing in images between the guided filter and the AnisGFFig 1((a) input image; (b) guided filter output; (c) anisotropic guided filter output) 基于上述分析,AnisGF通过增强各向异性实现最大平滑的同时保持了边缘清晰,并且可有效抑制强滤波条件下产生的细节“光晕”现象。1.3相位一致性相位一致性是一种用于图像边界线条和空间结构检测的算法,与传统的拉普拉斯算子等方法相比,具有两点优势:1)对图像的亮度和对比度的变化并不敏感(Zhang等,2011),可以很好地克服光线明暗带来的纹理结构影响;2)在一幅图像中,与傅里叶振幅相比,傅里叶相位包含更多的感知信息,不仅可以提取图像的细节纹理特征,还能很好地保留边缘特征,可以提取更多视觉上可辨别的特征。在PC算法中,log-Gabor滤波器用于相位信息的提取和检测,各个像素点对应的相位值表示为 5 $P C(x)=\frac{\sum\limits_{o} E_{o}(x)}{\sum\limits_{o} A_{n o}(x)+\varepsilon}$ 式中,$o$和$n$分别表示滤波器的方向和通道,$A_{no}(x)$为幅度和,$E_{o}(x)$为局部能量函数,$ε$为常数。拉普拉斯算子与PC算子获取显著图的对比实验结果如图 2所示。可以看出,由PC提取的显著图包含了更多的细节特征和边界信息。 图2 相位一致性和拉普拉斯算子生成的显著图比较 Comparison of saliency maps generated by PC and Laplace operatorFig 2((a) input image; (b) saliency map with Laplace operator; (c) saliency map with PC) 2本文算法本文融合算法框架如图 3所示,基于AnisGF的图像融合模型可以通过调控参数达到平滑纹理、保留边缘的目的。采用AnisGF对源图像进行多尺度分解和权重图优化,引入PC算子提取显著图,对基础层和细节层进行加权平均融合,最后对各层融合图像重构获得融合图像。 图3 整体算法流程图 Algorithm flow chartFig 32.1基于各向异性导向滤波的多尺度分解传统多尺度分解容易在图像边缘处产生光晕伪影,可以通过非线性边缘保持滤波器减少这些伪影。AnisGF具有边缘保持与尺度感知特性,使用该滤波器可以实现两个目标:1)减轻滤波输出图像的伪影;2)充分实现图像特征的尺度分离。因此本文提出了基于AnisGF的多尺度分解,主要思想是将源图像分解为一系列细节图和一幅基础图,工作原理如图 4所示。其中,${\mathit{\boldsymbol{u}}}^{i}(i=1, $…$, n)$表示基础层图像,${\mathit{\boldsymbol{D}}}^{i}(i=1, $…$, n)$表示细节层图像。 图4 基于各向异性导向滤波器的多尺度分解流程 Flow chart of multi-scale decomposition with anisotropic guided filterFig 4对某一组平滑参数$(r, ε, α)$可以得到输入图像${\mathit{\boldsymbol{I}}}$对应的平滑图像${\mathit{\boldsymbol{I}}}_{\rm out}$,具体为 6 $\boldsymbol{I}_{\mathrm{out}}={anisgf}(\boldsymbol{I}, \boldsymbol{G}, r, \varepsilon, \alpha)$ 式中,$anisgf$(·)表示各向异性导向滤波算子。${\mathit{\boldsymbol{I}}}$为输入图像,${\mathit{\boldsymbol{G}}}$为导向图像,$r$为滤波半径,$ε$为正则化参数,$α$代表各向异性程度,$α∈(0, 1),$当$α=0$时滤波效果与原始导向滤波一致,增大$α$,可增加滤波器的各向异性。为了获取源图像的不同尺度特征,对给定的输入图像${\mathit{\boldsymbol{u}}}^{0}$,在其第$L$级分解中,基础图像计算为 7 $\begin{gathered}\boldsymbol{u}^{i}={anisgf}\left(\boldsymbol{u}^{i-1}, \boldsymbol{u}^{0}, r_{i}, \varepsilon_{i}, \alpha\right) \\\quad i=1,2, \cdots, L-1\end{gathered}$ 式中,${\mathit{\boldsymbol{u}}}^{0}={\mathit{\boldsymbol{I}}}_{\rm in}$, ${\mathit{\boldsymbol{u}}}^{i}(i=1, $…$, L-1)$表示图像${\mathit{\boldsymbol{I}}}$中较粗糙的尺度部分,将其作为下一级分解的输入图像,同时,输入图像${\mathit{\boldsymbol{I}}}$作为每一次分解过程中的导向图像。输入图像的$L-1$个细节图像为 8 $\boldsymbol{d}^{i}=\boldsymbol{u}^{i-1}-\boldsymbol{u}^{i}, i=1,2, \cdots, L-1$ 输入图像${\mathit{\boldsymbol{I}}}$由细节图像${\mathit{\boldsymbol{d}}}^{i}(i=1, $…, $L-1)$和图像${\mathit{\boldsymbol{u}}}^{L-1}$求和完成重构,即 9 $\boldsymbol{I}_{\mathrm{in}}=\boldsymbol{u}^{L-1}+\sum\limits_{i=1}^{L-1} \boldsymbol{d}^{i}$ 图 5和图 6为红外图像的多尺度分解结果,分解级数$L=3$,滤波窗口尺寸随分解级数的增加而增大,为了进行更清晰的比较,框出并放大了相应细节,置于子图的右下角和左下角。 图5 AnisGF多尺度分解获得的基础层(分解级数$L$=3) Base layers obtained by anisotropic guided filter(decomposition levels$ L$=3) Fig 5((a) source image; (b) base layer 1; (c) base layer 2; (d) base layer 3) 图6 AnisGF多尺度分解得到的细节层(分解级数$L $= 3) Detail layers obtained by anisotropic guided filter(decomposition levels $L $= 3) Fig 6((a) source image; (b) detail layer 1; (c) detail layer 2; (d) detail layer 3) 由图 5可知,随着滤波窗口尺寸的增加,图像逐步平滑,在天空和树枝周围没有光晕伪影出现,实现了较好的边缘保持效果。由图 6可知,AnisGF根据尺度保留细节信息,每幅细节层仅包含当前尺度内容,如背景中的大门结构仅包含在第1幅细节层,其他层几乎没有。基于AnisGF的多尺度分解能够抑制光晕并且保留特定尺度信息,完成尺度分离。2.2基于相位一致性的初始权重图构造通过相位一致性的边缘提取算法生成的显著图反映了人眼视觉最感兴趣的区域,将其引入图像融合框架,有助于得到具有较好视觉效果的融合图像。进一步比较源图像每个像素点值与其显著图值大小,可得到每个源图像的粗略权重图。首先,对每一幅源图像进行相位一致性计算,得到高通图像,具体为 10 $\boldsymbol{H}_{k}=P\left(\boldsymbol{I}_{k}\right), k=1, \cdots, N$ 式中,${\mathit{\boldsymbol{H}}}_{k}$表示第$k$幅图像的高通图像,${\mathit{\boldsymbol{I}}}_{k}$为输入图像,$P$(·)为相位一致性算子。其次,对${\mathit{\boldsymbol{H}}}_{k}$的绝对值取局部平均,构造能量显著映射,具体为 11 $S_{k}=\left|\boldsymbol{H}_{k} * \boldsymbol{g}_{r_{g}, \sigma_{g}}\right|$ 式中,${\mathit{\boldsymbol{g}}}_{r_{g}, σ_{g}}$为高斯低通滤波器,滤波尺寸为$(2r_{ g}+1)× (2r_{g}+1)$,参数$r_{g}$和$σ_{g}$设置为5。通过高斯低通滤波可以消除PC过程中引入的噪声,进一步保留源图像中良好的细节信息。最后,利用得到的显著图构造初始的粗略权重图${\mathit{\boldsymbol{P}}}_{k}$,具体过程为 12 $P_{k}^{n}= \begin{cases}1 & S_{k}^{n}=\max \left(S_{1}^{n}, S_{2}^{n}, \cdots, S_{N}^{n}\right) \\ 0 & \text { 其他 }\end{cases}$ 式中,$S^{n}_{k}$表示第$k$幅图像中像素$n$的显著值映射。2.3基于各向异性导向滤波的权重图优化初始权重图可能具有噪声或出现与图像边界无法对齐的现象,直接进行融合会在结果中产生亮度失真和光晕伪影现象。这类问题常用空间一致性解决。传统的方法通过基于全局优化的方式构造能量函数,可有效抑制伪影的产生,但计算代价较高。为了更好地解决这个问题,Li等人(2013)首次将导向滤波应用于初始权重图的优化,保持了空间一致性,且计算成本低,方便快速。但是当滤波尺寸较大时,导向滤波无法避免细节“光晕”的出现,并会导致平滑过度,丢失细节信息。因此采用AnisGF进行优化,既保持了空间连续性,又避免了细节“光晕”,具有更好的边缘保持特性。将源图像作为引导图像,${\mathit{\boldsymbol{P}}}_{k}$作为输入图像,可以得到 13 $W_{k}^{B}={anisgf}\left(\boldsymbol{P}_{k}, \boldsymbol{I}_{k}, r_{0}, \varepsilon_{0}, \alpha\right)$ 式中,$W^{B}_{k}$为基础层的最终权重映射,$r_0、ε_0$、$α$为优化基础层权重图的滤波参数。 14 $\begin{gathered}W_{k}^{D(i)}={anisg} f\left(\boldsymbol{P}_{k}, \boldsymbol{I}_{k}, r_{i}, \varepsilon_{i}, \alpha\right) \\i=1, \cdots, L-1, k=1, \cdots, N\end{gathered}$ 式中,$W^{D(i)}_{k}$为细节层的最终权重映射,$r_{i}、ε_{i}、α$为优化细节层权重图的滤波参数。最后将$N$个加权映射进行归一化,得到最终的基础层加权映射$\overline{W_{k}^{B}}(k=1, \cdots, N)$)和细节层加权映射$\overline {W_k^{D(i)}} \left({i = 1, \cdots, L - 1} \right)$。权重图常与其对应的源图像一致,故对于包含大尺度变换的基础图像,采用较小的滤波半径和正则化参数,可以更大程度地保留图像细节信息,避免过度平滑。对包含小尺度边缘轮廓信息的细节层,采用较大的滤波半径和正则化参数,避免在边缘处产生光晕伪影。2.4重建融合图像最终的融合结果由基础层和各细节层融合图像加权累加重建得到,由加权映射计算得到的融合基础层和融合细节层为 15 $\overline{\boldsymbol{B}}=\sum\limits_{k=1}^{N} \overline{W_{k}^{B}} \boldsymbol{u}_{k}^{L-1}$ 式中,$\overline{W_{k}^{B}}(k=1, \cdots, N)$为基础层的最终加权映射, ${\mathit{\boldsymbol{u}}}^{L-1}_{k}$表示基础层图像,${\mathit{\boldsymbol{\bar B}}} $为基础层的融合结果。 16 $\overline{\boldsymbol{D}}^{i}=\sum\limits_{k=1}^{N} \overline{W_{k}^{D(i)}} \boldsymbol{D}(i)_{k}^{i}$ 式中,$\overline {W_k^{D(i)}} \left({i = 1, \cdots, L - 1} \right)$为细节层的最终加权映射,${\mathit{\boldsymbol{d}}}^{i}_{k}$表示细节层图像,$\overline{\boldsymbol{D}^{i}}(i=1, \cdots, L-1)$为细节层的融合结果。最后,将融合后的基础层${\mathit{\boldsymbol{\bar B}}} $与融合后的细节层$\overline {{\mathit{\boldsymbol{D}}^i}} $相结合,得到融合后的图像${\mathit{\boldsymbol{F}}}$,即 17 $\boldsymbol{F}=\overline{\boldsymbol{B}}+\overline{\boldsymbol{D}^{i}}$ 3实验结果与分析为验证各项异性导向滤波有效性,将本文算法与基于导向滤波(guided filtering,GFF)(Li等,2013)算法在4对红外与可见光图像上进行对比。同时,为了验证本文算法的优势,从TNO公开数据集中选取15对红外与可见光图像进行实验,并与基于CNN、基于DTCWT、基于GFF和基于各项异性扩散(anisotropic diffusion,ADF)(Bavirisetti和Dhuli,2016)的4种经典红外与可见光图像融合算法进行主客观对比实验。CNN为基于深度学习的方法,可以提取图像中的深度语义特征;DTCWT为基于多尺度变换类方法,具有平移不变性和方向选择性,优于传统小波类变换方法;GFF和ADF为基于边缘保持滤波的方法。各比较方法的参数设置均与原文献保持一致。3.1数据集和参数设置实验所用可见光与红外图像均选自TNO图像融合数据集(Toet,2014)。该数据集包含Athena、DHV、FEL和TRICLOBS等不同多波段摄像机系统捕获的不同军事场景的多光谱图像。实验涉及的参数设置包括分解图层数、多尺度分解中各个图层平滑参数和权值优化参数。本文算法仅采用3个细节层图像分解已经能取得较好的实验结果,因此多尺度分解级数$L$=3。多尺度分解$r_{i}∈\{5, 7, 15\},i∈\{1, 2, 3\}$,$ε_{i}∈\{0.003,0.03,0.3\}$, $i∈\{1,2,3\}$,$α$=1;权值优化$r_{i}∈\{45, 15, 7, 3\}$,$i∈\{1,2,3\}$,$ε_{i}∈\{0.3, 0.03, 0.003, 0.000 3\}$,$i=\{0, 1, 2, 3\}$,$α$=1。3.2对比实验3.2.1AnisGF与GFF融合算法对比为了证明各项异性导向滤波能够抑制导向滤波算法造成的光晕伪影和细节丢失,同时验证本文算法的优越性,选取Movie_18、Kaptein_1123、barbed_ wire_2和Nato_camp等4对红外与可见光图像将AnisGF与GFF融合算法进行对比,结果如图 7所示。为进行更清晰地比较,框出了一些细节并放大置于子图的右上角或右下角。 图7 本文算法和GFF算法的定性融合结果比较 Qualitative comparisons of the fused images between GFF and oursFig 7((a) infrared images; (b) visible images; (c) GFF; (d) ours) 由图 7可知,GFF结果在边缘区域有明显光晕伪影,Movie_18的目标人物边缘不清晰,融合的红外信息过多,天空较暗;Kaptein_1123在树与天空周围存在光晕伪影。此外,GFF未充分考虑多尺度分解,导致丢失细节纹理特征,图像对比度和清晰度较低,barbed_wire_2的目标人物信息丢失、铁圈信息不清晰,且图像整体较暗;Nato_camp附近树木和远处山体细节纹理不完整。相比之下,本文融合结果边缘附近没有出现光晕伪像,同时目标突出、轮廓清晰,很好地保留了可见光图像的场景和细节信息。3.2.2融合结果定性分析为了验证本文算法的性能,在TNO数据集中选取了15对红外与可见光图像与CNN、DTCWT、GFF和ADF等方法进行对比,图 8展示了其中7对红外与可见光图像的融合结果。为了更清晰地比较,框出了一些细节并将其放大置于子图的右下角或左上角。 图8 不同算法在TNO数据集上的7对图像融合结果定性比较 Qualitative comparison of fusion results of seven infrared and visible image pairs from TNO dataset among different methodsFig 8((a) infrared images; (b) visible images; (c) CNN; (d) DTCWT; (e) GFF; (f) ADF; (g) ours) 从图 8可以看出,所有方法均成功融合了红外与可见光图像的特征,但是各结果的红外目标信息提取、图像细节保持、整体清晰度以及对比度各有差异。从红外目标信息提取来看,DTCWT、GFF和ADF方法的目标边缘轮廓不清晰且场景对比度较低,在Marne_04、Marne_07和barbed_wire_2中,DTCWT、GFF和ADF方法的整体对比度和清晰度较低,图像框中目标的轮廓边缘不清晰,且存在光晕伪影。从背景信息及图像细节保持来看,DTCWT和ADF方法包含了丰富的细节特征,但图像亮度信息不足,对噪声抑制和整体视觉效果不佳,如Marne_04、barbed_wire_2和Movie_18的整体图像清晰度差、视觉不自然。CNN方法的目标人物虽然清晰,但背景中的细节信息不够丰富,在Nato_camp结果中,方框部分树枝较模糊,且引入了光晕,说明融入了过多的红外信息;GFF方法在部分结果中融入的可见光信息过多,红外特征较少,如Kaptein_1123和barbed_wire_2中的目标人物信息不清晰。与上述4种方法相比,本文算法在红外目标特征和背景细节纹理保留之间取得了较好的平衡,既保留了红外目标信息的显著性,又保留了背景中的丰富细节纹理,得到的融合图像信息更丰富。如Sandpath、Marne_04、Marne_07和Nato_camp中的树木、车辆、栅栏以及房屋等细节纹理清晰,边缘突出;Marne_04、Marne_07、Movie_18和barbed_wire_2中的目标人物轮廓清晰、图像整体亮度和对比度更显著且自然,图像视觉效果较好。3.2.3融合结果定量分析由于客观评价能够减少主观评价中的人为意识干扰,因此主客观评价结合是图像融合领域中的常用方法。本文选用互信息(mutual information,MI),边缘信息保持度(degree of edge information,$Q^{AB/F}$)、熵(entropy,EN)和基于梯度的特征互信息(gradient based feature mutual information,FMI_gradient)等4项常用指标对融合结果性能进行评估。MI反映融合图像从源图像中获得信息量的多少,$Q^{AB/F}$ 表示边缘信息保持量,EN是衡量图像信息丰富度的重要标准,FMI_gradient用来度量细节信息和区域特征,如梯度特征。在TNO数据集中选取的15对图像的4种指标如图 9所示,图例中指标值为15对图像相应评价指标的平均值。 图9 TNO数据集15对图像的4个指标定量比较 Quantitative comparisons of four metrics on fifteen image pairs from the TNO datasetFig 9((a) mutual information value; (b) entropy value; (c) the degree of edge information value; (d) FMI_gradient value) 由图 9可见,本文算法在4个指标上均优于其他方法,在MI和$Q^{AB/F}$上提高较明显,在EN和FMI_gradient上的结果也有较大提高,这与主观视觉效果相一致。MI指标的提高说明基于AnisGF的多尺度分解能够从源图像中获取更多信息量,实现了较高的图像保真度。$Q^{AB/F}$指标说明本文算法对边缘和细节的保留有所提高,这是由于采用了边缘保持滤波,使边缘结构更加清晰和完整,同时克服了边缘处光晕伪影的产生。EN指标优于其他方法,主要是由于本文算法使用PC算子提取显著图,获得了源图像丰富的背景和目标信息,保留了可见光图像的大量纹理信息。FMI_gradient指标的提高意味着本文方法保留了较多的细节信息和梯度特征,说明基于AnisGF的权重优化较好地将源图像的结构、梯度特征分配到融合结果中。综合量化评价指标分析,本文算法既获得了对比度和清晰度较高的融合图像,又在边缘保持度、信息量和对多源图像重要特征的提取上有显著提高,同时有效克服了融合结果的光晕伪像。4结论针对传统导向滤波算法融合结果存在的噪声、光晕伪影和边缘细节信息丢失等问题,提出一种多尺度各向异性导向滤波和相位一致性的红外与可见光图像融合算法,并通过实验验证了算法的可行性。实验结果表明:1)本文算法利用AnisGF这种新型边缘保持滤波器完成多尺度分解,既提取到多源图像的有效信息,又抑制了传统边缘保持滤波存在的光晕伪影现象,相较于传统的多尺度变换方法有更好的鲁棒性和适用性。2)采用AnisGF进行初始权重图的优化,充分利用了邻域像素之间的相关性,保持了空间一致性,使图像的融合质量进一步得到提升。3)利用相位一致性计算显著图,可以进一步有效获得源图像的细节特征,提高了图像的对比度和清晰度。4)融合结果与CNN、DTCWT、GFF和ADF等经典算法相比,图像中的边缘信息更加完整和清晰,场景中细节信息更丰富,目标区域更显著,图像融合质量更高。在TNO公开数据集上的测试结果表明,本文算法的MI和$Q^{AB/F}$值有较大幅度提高,EN和FMI_gradient值也有一定程度提高,证明了本文算法的有效性。表明AnisGF算法在图像融合、图像增强、图像去雾和人工智能等领域具有广泛的研究前景。但是,由于涉及参数较多,本文算法的多尺度分解和权重优化参数依照经验设置,缺乏相关理论依据,存在一定不足。今后将进一步加强参数对融合结果影响的研究。在下一步工作中,将考虑研究AnisGF与深度学习方法相结合,进一步提升对图像细节信息的获取能力。

使用Chrome浏览器效果最佳,继续浏览,你可能不会看到最佳的展示效果,

确定继续浏览么?

复制成功,请在其他浏览器进行阅读