图像融合是计算机视觉领域一种重要的图像处理技术，旨在将多幅输入图像的显著特征集成到一幅图像上以增强其感知性(Piella，2003)。图像融合方法广泛用于实际应用，如视频分析和医学分析(Xu等，2019a；周涛等，2021)。大体上，现存的图像融合方法可以分为两种：传统方法(Nunez等，1999；殷明等，2016；Li等，2020c)和基于深度学习的方法(Xu等，2019b, c；Xu等，2020a；Li等，2018；Li和Wu，2019)。

大多数传统方法通过将信号处理方法引入图像融合领域完成融合任务。Yang和Li(2010)使用稀疏表示处理多聚焦图像融合。Li等人(2020b)将多尺度分解和潜在低秩表示相结合来更好地提取图像中的显著特征。但是在这些融合方法中，都必须手动设计特征提取方式和融合策略。而为了取得更好的融合结果，特征提取方式和融合策略也设计得越来越复杂。同时，在数据量较大的情况下，传统图像融合方法的效率较低。

随着深度学习的快速发展，涌现了许多基于深度学习的图像融合方法。Liu等人(2017)提出了一种使用卷积神经网络(convolutional neural network, CNN)进行多聚焦图像融合的方法。Li等人(2018)针对红外和可见光图像融合任务提出了一种基于稠密块(dense block)的网络结构。除此以外，Ma等人(2019)还将生成对抗网络(generative adversarial network，GAN)(Goodfellow等，2014)也引入到图像融合领域之中，通过无监督的生成对抗网络完成红外和可见光图像的融合任务。这些基于深度学习的融合方法一定程度上缓解了传统方法的不足，但在不同尺度下，深度特征的侧重点不同，而以上这些基于深度学习的方法并没有考虑到多尺度信息。基于这一点，Li等人(2020a)又提出一种基于鸟巢(nest)连接的融合方法。这种方法提取了源图像的多尺度深度特征，并将提取到的特征在对应的尺度上融合，再由融合后的特征重构出信息丰富的最终融合图像。该方法针对红外与可见光图像的融合任务完成得十分出色。从融合结果上看，将特征在多尺度上分别进行融合是十分有效的，但是该方法仅保持在4个尺度上分别进行融合，没有探索对特征更细致的分解是否可以进一步提升网络的融合性能。

针对上述问题，本文提出了一种基于八度(octave)卷积(Chen等，2019)的深度融合算法OctaveFuse。算法的主要改进如下：

1) 为了对特征进行更细致的分解，提出的方法将八度卷积结构应用于深度融合框架之中。在提取源图像多尺度深度特征的基础上，每个尺度依据频率对深度特征进一步划分。同时所提算法也没有拘泥于原始的八度卷积结构，实验探索出了更适合图像融合任务的三分支八度卷积结构，通过一个卷积块提取出单个尺度下的高频特征、次低频特征和低频特征，用于后续针对性处理。

2) 本文方法使用高层特征对低层特征进行增强，使编码器提取到的多尺度特征在层之间也进行交互。同时针对每个尺度上不同频率特征所包含信息的区别，对增强方式进行了改进。本文方法认为高层的高频特征比低层的高频特征更接近于低层的次低频与低频特征，使用相近的特征进行增强可能会比简单的对应相加产生更好的结果。通过实验确立了使用高层高频特征增强低层次低频特征，并使用高层次低频特征增强低层低频特征这种特征增强方式。

3) 源图像的细节更多地被保留在高频特征中，因此对所有提取到的特征都采用相同的融合方式是不合适的。为了平衡不同频率特征所包含的不同信息，同时考虑到基于空间注意力与基于通道注意力两种融合方式的区别，本文方法对融合策略进行改进，不同频率的特征采用更加适宜的融合方法。

4) 实验结果表明，所提出的融合算法无论是主观评价还是客观指标方面都十分具有竞争性。

Chen等人(2019)所提出的八度卷积结构如图 1所示。图中，$H$和$W$分别是输入特征图原始的高和宽。$C_\text{in}$和$C_\text{out}$则分别是输入的通道数以及输出的通道数。$α_\text{in}$是八度卷积模块的输入特征图中，缩小了尺寸的低频特征图(即图 1中第2行分支的输入特征图)通道数在输入特征图的总通道数($C_\text{in}$)中所占的比例。在所提算法的网络结构中，$α_\text{in}$的取值范围是0~1。$α_\text{out}$是八度卷积模块输出特征图中，低频特征图(即图 1中第2行分支的输出特征图)通道数在输出特征图的总通道数($C_\text{out}$)中所占的比例，取值范围与$α_\text{in}$相同。当$α_\text{in}$和$α_\text{out}$均为0时，八度卷积就变成了传统卷积形式。“conv”表示传统卷积操作，“pooling”表示自适应均值池化，“upsampling”表示上采样操作。

该结构在普通的卷积基础上添加了一条新的分支来处理低频信息，低频特征图宽和高均为高频特征图的一半，通道数占总特征图的比例根据实际情况进行选择。进行卷积时，高频特征图和低频特征图分别进行卷积，然后输入的高频特征图在池化后进行卷积并加到卷积后的低频特征图上作为八度卷积模块的低频输出，输入的低频特征图在上采样后进行卷积并加到卷积后的高频特征上作为八度卷积模块的高频输出。

这种卷积方式内存消耗较低，而且可以直接应用到许多基于深度学习的算法中，直接替换普通卷积方式，并不会破坏原先的网络结构。同时，低频特征图因其更小的尺寸，卷积时会具有更大的感受野，所提取到的特征信息相对普通卷积得到的特征更加丰富。因此，这种卷积方式很适合运用到特征提取模块之中，使同一个卷积块提取到两种不同频率的信息，也可以根据信息的特点对融合策略进行更细致的选择。

所提网络模型结构如图 2所示，网络由编码器、特征增强、融合层和解码器4个部分组成。$\boldsymbol{I}_\text{1}$和$\boldsymbol{I}_\text{2}$分别代表一对配准好的红外图像和可见光图像。$\boldsymbol{O}$代表融合后的图像。

“OctaveConv”表示一层八度卷积层。“EOCB”和“DOCB”分别是编码器和解码器里的八度卷积块，每个八度卷积块包含两个八度卷积层。“Pooling”代表最大池化操作，最大池化算子的尺寸设置为2×2。“up”表示上采样操作。“p1”, “p2”和“p3”是本文方法提出的特征增强方法。“FS”是所提方法的融合策略。

在所提算法中，对原始的八度卷积结构进行了改进，使它对图像融合的特征提取任务有更好的表现。算法中使用的三分支八度卷积结构如图 3所示。结构的选择将在3.2.2节进行讨论。

如图 3所示，本文在Chen等人(2019)提出的八度卷积结构上进行改进，在高频分支和低频分支间增加了一条分支用于提取图像的次低频特征。该模块输入并非是一组尺寸相同的特征图，而是具有3种不同尺寸的特征图的组合，它的输出也同样是3种不同尺寸的特征图组合。

图 3中各个符号和参数含义与图 1中相同，不再赘述。因为新增加了一条分支，$α_\text{in}$和$α_\text{out}$的取值范围变化为0~0.5。

在本实验中，编码器的“OctaveConv”模块里，$α_\text{in}$设置为0；解码器的“OctaveConv”模块里，$α_\text{out}$被设置为0。其余所有地方的$α_\text{in}$和$α_\text{out}$均设置为0.125，值的选择将在3.2.2节进行讨论。使用八度卷积这种方式，使得网络每一次卷积都可以得到原尺寸的高频特征、较小尺寸的次低频特征以及更小尺寸的低频特征。而在卷积过程中，不同频率的信息也会进行交互。

所提方法中，特征增强的结构如图 4所示。图 4是图 1中的特征增强模块“p1”的内部结构，“p2”和“p3”与其结构相同。

具体来说，编码器从源图像提取出多尺度特征以后，本文方法使用高层的特征去增强低层的特征。而八度卷积在每一层上提取到的特征图实际上是3个不同频率特征图的组合。本文方法认为高层的高频特征比低层的高频特征更接近于低层的次低频与低频特征，所以在进行增强时尝试了多种组合，这将在3.2.3节进行讨论。最终本文方法选择将高层的高频特征加到低层的次低频特征上，将高层的次低频特征加到低层的低频特征上来增强低层特征。以此类推，除了最高层外，每一尺度上的次低频特征与低频特征都得到了增强。

综上所述，本文方法首先使用深度神经网络分别提取红外图像与可见光图像的多尺度特征，每个尺度上的特征都是一个包含3个频率特征图的组合。然后，提取到的特征通过特征增强模块从高层到低层进行层层递进的增强，使得每一层特征都具有丰富的语义信息。接着这些增强后的特征作为融合层的输入，使用合适的融合策略进行融合。融合策略将在2.2节介绍。最后，解码器将这些融合后的特征重构生成一幅融合图像。

图像融合方法中有许多效果较好的图像融合策略。但是，这些融合策略大多数只是将提取到的特征级联起来或者是仅计算图像的空间信息来进行融合。针对这种情况，Li等人(2020a)提出了一种基于通道注意力机制的特征融合方法进行补充，完成了一种基于空间和通道注意力机制的融合策略，其结构如图 5所示。

图 5中，$m$表示参与融合的深度特征属于编码器提取出的第几层特征，在本文网络中，$m$的最大值是4。$\boldsymbol{\phi}^{m}_{1}$和$\boldsymbol{\phi}^{m}_{2}$分别表示从红外图像和可见光图像上提取到的特征信息。$\hat{\boldsymbol{\phi}}_{\mathrm{f}}^m$表示由空间注意力模块得到的融合特征，$\widetilde{\boldsymbol{\phi}}_{\mathrm{f}}^m$则表示由通道注意力模块获取的融合特征。$\boldsymbol{\phi}^{m}_\text{f}$是第$m$层最终的融合结果，作为该层融合层的输出。其中，由$\hat{\boldsymbol{\phi}}_{\mathrm{f}}^m \text {和} \widetilde{\boldsymbol{\phi}}_{\mathrm{f}}^m$计算$\boldsymbol{\phi}^{m}_\text{f}$的表达式为

$ \boldsymbol{\phi}_{\mathrm{f}}^m=\left(\hat{\boldsymbol{\phi}}_{\mathrm{f}}^m+\widetilde{\boldsymbol{\phi}}_{\mathrm{f}}^m\right) \times 0.5 $

(1)

空间注意力模型为很多融合方法所采用(Li和Wu，2019)，基于它的融合策略结构如图 6所示。

本文方法对深度特征$\boldsymbol{\phi}^{m}_{1}$和$\boldsymbol{\phi}^{m}_{2}$使用$\text{L}_{1}$范数和softmax算子来生成权重图$\boldsymbol{\beta}^{m}_{1}$和$\boldsymbol{\beta}^{m}_{2}$，计算为

$ \boldsymbol{\beta}_m^k(x, y)=\frac{\exp \left[\left\|\boldsymbol{\phi}_k^m(x, y)\right\|_1\right]}{\sum\limits_{i=1}^K \exp \left[\left\|\boldsymbol{\phi}_i^m(x, y)\right\|_1\right]} $

(2)

式中，$‖·‖_{1}$表示$\text{L}_{1}$范数，$k$表示该特征图来源图像。本文方法中，$k$的最大值($K$)是2。$W、H$和$C$分别表示深度特征的宽度、高度和通道数。使用($x$, $y$)来表示深度特征$\boldsymbol{\phi}^{m}_{1}$和$\boldsymbol{\phi}^{m}_{2}$与权重图$\boldsymbol{\beta}^{m}_{1}$和$\boldsymbol{\beta}^{m}_{2}$的对应位置。$\boldsymbol{\phi}^{m}_{k}(x, y)$是一个$C$维的向量。

基于空间注意力模块生成的融合特征计算为

$ \hat{\boldsymbol{\phi}}_{\mathrm{f}}^m(x, y)=\sum\limits_{i=1}^K \boldsymbol{\beta}_i^m(x, y) \times \boldsymbol{\phi}_i^m(x, y) $

(3)

提取出的特征图是3维的，仅考虑空间信息进行融合会使得部分信息丢失。Li等人(2020a)提出的基于通道注意力模块的融合策略对其进行了补足，其结构如图 7所示。

与图 6中相同，$\boldsymbol{\phi}^{m}_{1}$和$\boldsymbol{\phi}^{m}_{2}$分别表示从红外图像和可见光图像上提取到的特征信息。$\boldsymbol{\alpha}^{m}_{1}$和$\boldsymbol{\alpha}^{m}_{2}$分别是从特征图$\boldsymbol{\phi}^{m}_{1}$和$\boldsymbol{\phi}^{m}_{2}$生成的权重向量，均为$C$维，计算为

$ \boldsymbol{\alpha}_k^m(n)=\frac{\exp \left\{P\left[\boldsymbol{\phi}_k^m(n)\right]\right\}}{\sum\limits_{i=1}^K \exp \left\{P\left[\boldsymbol{\phi}_i^m(n)\right]\right\}} $

(4)

式中，$k$的含义与式(2)中相同，表示特征图来源于哪一幅源图像，并且最大值($K$)也为2。$n$用来表示特征图$\boldsymbol{\phi}^{m}_{1}$和$\boldsymbol{\phi}^{m}_{2}$与权重向量$\boldsymbol{\alpha}^{m}_{1}$和$\boldsymbol{\alpha}^{m}_{2}$的对应通道。$P(·)$表示全局池化操作。

Li等人(2020a)提出的融合策略中，选择了3种全局池化方式：平均池化、最大池化以及核范数池化。平均池化和最大池化操作分别计算每个通道上特征图的平均值与最大值。核范数池化计算每个通道上各自的奇异值之和。根据Li等人(2020a)的实验结果，在所提方法中采取平均池化的全局池化方式。

基于通道注意力模块生成的融合特征计算为

$ \widetilde{\boldsymbol{\phi}}_{\mathrm{f}}^m(n)=\sum\limits_{i=1}^K \boldsymbol{\alpha}_i^m(n) \times \boldsymbol{\phi}_i^m(n) $

(5)

在Li等人(2020a)的方法中，每一层都采用相同的融合策略，融合特征都由式(1)得到。但在本文方法中，每一层提取到的特征又被更细致地划分出高频特征、次低频特征和低频特征。Li等人(2020a)提出对不同频率的特征应采用适当的融合方法。最终，本文方法对高频特征使用基于空间与通道注意力机制的融合策略，对次低频和低频特征使用基于空间注意力机制的融合策略。融合策略的选择将在3.2.4节进行介绍。

本文方法想要训练一个自编码网络，所以训练时从整体网络中移除了融合层。由编码器提取到的深度特征在进行特征增强以后直接作为解码器的输入去重构图像。这种训练方法的优势在于对于训练好的网络，融合策略可以根据不同的融合任务进行更换。训练阶段的网络结构如图 8所示，网络的一些参数设置见表 1，$C_\text{in}$和$C_\text{out}$随层数变化而变化。

图 8中，$\boldsymbol{I}$是一幅用于训练的源图像，而$\boldsymbol{O}$是在编码器提取到的深度特征被增强以后，由解码器这些增强后的特征重构出的图像。

为了使网络重构出的图像$\boldsymbol{O}$更接近于源图像$\boldsymbol{I}$，本文方法使用损失函数$L_\text{total}$来训练所提出的网络，$L_\text{total}$计算为

$ L_{\text {total }}=L_{\text {pixel }}+\lambda L_{\text {ssim }} $

(6)

$L_\text{total}$由两部分组成：重构图像$\boldsymbol{O}$与源图像$\boldsymbol{I}$之间的像素损失($L_{pixel}$)和结构相似度损失($L_\text{ssim}$)(Zhou等，2004)。$λ$用来平衡像素损失和结构相似度损失，$λ$的值分别设置为1、10、100和1 000来进行实验，并在3.2.1节分析比较。计算像素损失

$ L_{\text {pixel }}=\|\boldsymbol{O}-\boldsymbol{I}\|_{\mathrm{F}}^2 $

(7)

式中，$\boldsymbol{O}$和$\boldsymbol{I}$分别是重构图像和源图像，$||·||_\text{F}$表示Frobenius范数。像素损失可以使重构图像$\boldsymbol{O}$在像素上更接近于源图像$\boldsymbol{I}$。

但是仅使用像素损失约束可能会产生模糊的视觉结果，所以又引入了结构相似度损失进行补充。结构相似度损失计算为

$ L_{\mathrm{ssim}}=1-f_{\mathrm{ssim}}(\boldsymbol{O}, \boldsymbol{I}) $

(8)

式中，$f_\text{ssim}(·)$表示计算两幅图像的结构相似度(structural similarity, SSIM)。SSIM从光照、对比度和结构方面衡量两幅图像的相似度。使用结构相似度进行约束可以使重构图像$\boldsymbol{O}$在结构上更接近于源图像$\boldsymbol{I}$。

在训练阶段，本文方法仅使用编码器提取深度特征，增强所提取特征后再交由解码器重构图像，所以并不需要成对的红外与可见光图像进行训练。本文方法从微软广泛场景下的物体(Microsoft common objects in context, MS COCO)(Lin等，2014)数据集中选择了80 000幅图像来训练所提网络，这些训练图像被转化成了灰度图像，并且尺寸也被设置为256×256像素。网络优化器为Adam，学习率设置为1×10^-4。网络共训练2个周期，批量池大小为1。

实验在操作系统Ubuntu 16.04上进行，编程语言为Python 3.6，深度学习框架为Pytorch，CPU为Intel i7-6850K，GPU为NVIDIA GTX 1080Ti。

从TOET(2014)和Ma等人(2017)的方法中选择了21对红外与可见光图像作为实验的测试集，称为TNO数据集。该测试集均为真实的红外与可见光图像，同时也被许多现有的红外与可见光图像融合算法作为测试集，具有代表性。除此以外，本文方法还从Xu等人(2020b)的方法中选择了50对红外与可见光图像作为实验补充。该测试集为真实的道路场景图像。

对融合结果从主观评价和客观指标两个方面进行评价，本文选择了9种现有的经典图像融合算法进行比较，包括基于离散余弦波的小波变换算法(discrete cosine harmonic wavelet transform, DCHWT)(Kumar，2013)、基于视觉显著性图和加权最小二乘优化的算法(weighted least square, WLS)(Ma等，2017)、基于卷积稀疏表示的算法(convolutional sparse representation, ConvSR)(Liu等，2016)、基于VGG(Visual Geometry Group)网络多层深度特征融合的算法(VGG multi-layers, VGGML)(Li等，2018)、基于密集连接的自编码网络融合算法(DenseFuse)(Li和Wu，2019)、基于生成对抗网络的算法(FusionGAN)(Goodfellow等，2014)、基于通用融合网络的融合算法(image fusion framework based on convolutional neural network, IFCNN)(Zhang等，2020)、基于巢连接的融合算法(NestFuse)(Li等，2020a)、基于残差结构的端对端图像融合算法(RFN-Nest)(Li等，2021)。这些方法的代码均可以从原论文中获取。

为了客观地比较不同方法，本文选择了6个评价指标来衡量融合结果，包括：信息熵(entropy, En)(Roberts等，2008)、标准差(standard deviation, SD)(Rao，1997)、改进的结构相似度(structural similarity, SSIM_{a})(Zhou等，2004)、视觉信息保真度(visual information fidelity, VIF)(Han等，2013)、互信息(mutual information, MI)(Sulaiman和Labadin，2015)、基于小波变换提取局部特征的特征互信息(feature mutual information based on wavelet transform, FMI_w)(Haghighat和Razian，2014)。

在本次实验中，改进的结构相似度($\text{SSIM}_\text{a}$)计算为

$ \;\;\;\;\;\;\;\;\;\;f_{\sin _a}(\boldsymbol{F})= \\ \left(f_{\mathrm{ssim}}\left(\boldsymbol{F}, \boldsymbol{I}_1\right)+f_{\mathrm{ssim}}\left(\boldsymbol{F}, \boldsymbol{I}_2\right)\right) \times 0.5 $

(9)

式中，$\boldsymbol{F}$、$\boldsymbol{I}_\text{1}$和$\boldsymbol{I}_{2}$分别表示融合结果、红外图像和可见光图像。$\text{SSIM}_\text{a}$的值越大说明融合结果中源图像的结构信息越多。

信息熵衡量图像中包含的信息量；标准差越大表明融合图像像素分布差异越大，图像质量越好；视觉信息保真度衡量图像的失真情况，值越高表明融合图像质量越高；互信息量和基于小波变换提取局部特征的特征互信息的值越高，表明融合图像中保留来自源图像的信息与特征越多。

如2.3节提到的，损失函数里像素损失与结构相似度损失的平衡参数$λ$的值分别设置为1、10、100和1 000进行实验。在当前实验中，八度卷积的结构、八度卷积结构中$α_\text{in}$和$α_\text{out}$的值、特征增强方式以及融合策略选择均与第2节保持一致。以TNO测试集中21对红外与可见光图像作为测试集，使用不同$λ$的值训练出来的网络进行融合的结果客观指标如表 2所示。

从表 2中可以发现，当$λ$的值设置为100时，训练出来的网络对融合任务结果比其他值更好一些，所以接下来的实验中，训练阶段损失函数的平衡参数均设置为100。

在2.1小节介绍了所提方法中使用的八度卷积模块。如图 3所示，它把具有3个尺度特征图的组合进行卷积，并且保持不同尺度特征间也有信息交互。当把次低频和低频特征的比例设置为0，就变成了传统卷积结构。实际上，Chen等人(2019)所提出的是只有两分支的八度卷积结构，即在传统卷积的基础上分离出高频和低频信息。本文认为将特征依靠频率进行更细致的划分可以更好地进行融合，实验中尝试了更多分支的八度卷积形式，结构设置如表 3所示。三分支八度卷积中，添加了一条特征宽高介于普通八度卷积高频和低频特征之间的次低频分支；四分支八度卷积则是在普通八度卷积的基础上添加了次高频和次低频两条分支。

单分支时，八度卷积即为传统卷积，表 3中$W$和$H$的值根据输入图像大小以及该八度卷积所属模块而确定。$C_\text{in}$和$C_\text{out}$的值即为表 1中所设置的对应值。八度卷积中$α_\text{in}$和$α_\text{out}$的值、特征增强方式以及融合策略选择均与第2节中保持一致。使用TNO测试集的21对红外与可见光图像进行测试，融合结果的评价指标如表 4所示。

从表 4可以看出，比起Chen等人(2019)所提出的双分支结构，三分支结构在大多数融合指标上取得了进步。但是当拓展到四分支时，有些指标明显降低，表明特征并不是根据频率划分得越细致越好。综上所述，在实验中本文方法选择了图 3所示的三分支的八度卷积结构作为最终结构，在接下来的实验中结构固定。

八度卷积结构中还有一个重要的参数就是所设置的次低频以及低频特征通道数在这个组合中占用总通道数的比例，即$α_\text{in}$和$α_\text{out}$的值。由Chen等人(2019)可知，当$α_\text{in}$和$α_\text{out}$的值设置为0.25或0.125时，大多数网络结构可以发挥最大效果。实验中，使用TNO测试集，特征增强方式以及融合策略选择均与第2节中保持一致，仅改变$α_\text{in}$和$α_\text{out}$的值，融合结果评价指标如表 5所示。

由表 5可知，当$α_\text{in}$和$α_\text{out}$设置为0.125时网络取得的融合结果较好，因此在接下来的实验中，编码器的“OctaveConv”模块里，$α_\text{in}$设置为0；解码器的“OctaveConv”模块里，$α_\text{out}$设置为0。其余所有地方的$α_\text{in}$和$α_\text{out}$均设置为0.125。

除了对卷积方式进行修改，使得编码器提取到的每层尺度下的特征进行更细致的频率划分之外，还对使用高层特征对低层特征进行增强，使得编码器提取到的多尺度特征在层之间也进行交互。

如2.1节所述，本文方法认为高层的高频特征比低层的高频特征更接近于低层的次低频与低频特征，使用相近的特征进行增强可能会产生更好的结果。

实验1中，使用高层高频特征增强低层高频特征、高层次低频特征增强低层次低频特征、高层低频特征增强低层低频特征；实验2中，使用高层高频特征增强低层次低频特征、高层次低频特征增强低层低频特征；实验3中，仅使用高层高频特征增强低层低频特征；实验4为不进行特征增强，编码器提取特征直接输入解码器重构图像的融合网络。当前实验中，使用TNO测试集，融合策略与第2节中保持一致。实验结果如表 6所示。从表 6可以看出，特征增强是有效果的，但用高层特征增强低层对应频率的特征并没有取得最好结果。如之前所考虑，使用相近的特征进行增强可能更合适。使用高层高频特征增强低层次低频特征并使用高层次低频特征增强低层低频特征这种特征增强方式在大多数指标上表现较好，因此所提方法在接下来的实验中固定使用这种方式。

Li等人(2020a)提出了基于通道注意力的融合策略作为基于空间注意力的融合策略的补充，并且取得了较好的融合结果。但是在所提方法中，对每个尺度上提取到的特征进一步依据频率细分，而不同频率的特征侧重点不同，使用相同的融合策略并不合适。Woo等人(2018)的方法中介绍，空间注意力侧重于“在哪里”，而通道注意力则更侧重于“是什么”。源图像的细节更多被保留在高频特征中，因此本文方法认为对低频特征仅使用基于空间注意力的融合策略会产生更好的融合结果。实验1中，所有特征均采用基于空间和通道注意力机制的融合策略；实验2中，高频特征和次低频特征采用基于空间和通道注意力机制的融合策略，而低频特征采用基于空间注意力的融合策略；实验3中，高频特征采用基于空间和通道注意力机制的融合策略，次低频和低频特征采用基于空间注意力的融合策略。本实验使用TNO测试集，不同融合策略生成的融合结果如表 7所示。由表 7可以看出，在每一尺度上对高频特征使用基于空间和通道注意力机制的融合策略，并对次低频和低频特征使用基于空间注意力的融合策略生成的融合图像在更多的指标上取得了最优值，这也验证了本文算法的有效性。因此在所提方法中，使用上述融合策略。

将所提算法与现有的融合方法进行对比。首先在“街道”、“人”与“车”图像中进行可视化比较，对比结果如图 9—图 11所示。

图 9和图 10来源于TNO测试集，图 11来源于道路场景测试集。为了更好地表现不同融合方法间的差距，使用红色实线框标出图像中较为明显的特征。

图 9是不同融合算法在“街道”图像上的融合结果。从图 9中可以看出，DCHWT和DenseFuse融合图像包含较多的噪声，视觉效果较差。ConvSR和VGGML融合图像比较平滑，但是纹理信息不突出。FusionGAN和RFN-Nest融合图像中，广告牌上的字以及右下角的行人都有些模糊不清。WLS、IFCNN、NestFuse以及本文方法融合结果相对较好。

图 10是不同融合算法在“人”图像上的融合结果。由图 10可看出，DCHWT融合图像依旧包含较多噪声。FusionGan融合图像纹理丢失较为严重。ConvSR和VGGML与图 9中表现相同，图像平滑但是纹理信息不突出(红框所标记的树)。WLS、DenseFuse、IFCNN、RFN-Nest、NestFuse以及本文方法融合结果具有良好的视觉效果。

图 11是不同融合算法在“车”图像上的融合结果。由图 11可看出，DCHWT融合图像依旧包含较多噪声。FusionGAN和RFN-Nest融合图像纹理丢失较为严重，车尾的字迹完全模糊。ConvSR、VGGML和IFCNN融合图像，红框所标记的树的轮廓非常模糊。WLS和DenseFuse融合图像更多地保留了可见光图像中的特征，视觉效果较差。NestFuse以及所提方法融合结果更自然。

对图 9—图 11融合结果分析可以看出，所提出的融合方法可以做到对源图像的信息较好地保留，视觉效果比大多数融合算法好。但是主观而言，所提方法与一些融合方法融合结果相近，很难评估好坏，于是使用3.1节介绍的6个指标对这些融合方法进行客观评价。依旧使用TNO测试集和道路场景测试集进行测试，其中TNO测试集的融合结果平均指标如表 8所示，道路场景测试集的的融合结果平均指标如表 9所示。

从表 8可以看出，所提出的融合方法与其他融合算法相比，在5个指标上达到了最优值。其中，信息熵(EN)、标准差(SD)和互信息(MI)的最优值说明所提出的融合方法保留了更多的细节信息。信息保真度(VIF)和基于小波变换提取局部特征的特征互信息($\text{FMI}_\text{w}$)上的最优值说明本文方法的融合方法同时也保留了更多的特征信息。

表 9表明，所提出的融合方法在道路场景测试集上表现结果基本与在TNO测试集上表现结果一致。与在TNO数据集上融合结果的指标相比，虽然在基于小波变换提取局部特征的特征互信息($\text{FMI}_\text{w}$)上没有取得最优值，但是所提出的融合方法在指标上仅次于DenseFuse，而且差距非常小。结合图 11可以看出，所提方法视觉效果比DenseFuse融合结果更自然。

综上所述，无论是主观视觉效果还是客观指标评估，所提出的融合方法效果均超越大多数现存的融合方法。

OctaveFuse在NestFuse的基础上对特征进行更细致的划分与处理，取得了更好的融合结果。将TNO数据集中的21对红外与可见光图像设置为指定大小比较两种方法的时间效率，实验环境与3.1小节中相同。结果如表 10所示。

从表 10可以看出，OctaveFuse在NestFuse的基础上对特征进行了更复杂的处理，但是运行时间与NestFuse基本保持一致。结合表 8与表 9可以看出，所提出的OctaveFuse在不降低时间效率的前提下，可以很好地提升融合效果。

针对红外图像与可见光图像融合任务，本文提出了一种基于八度卷积的融合算法OctaveFuse。首先，使用基于八度卷积的编码器分别提取出红外与可见光图像多尺度上的高频、次低频和低频特征。然后根据所设计的增强模块，高层特征用来增强对应的低层特征。接着这些增强后的不同频率特征根据包含信息的侧重由对应的融合策略进行融合。最后，融合后的特征被解码器重构为一幅融合图像。

在TNO和RoadScene数据集上分别与多种现有的优秀图像融合算法进行了对比实验。实验中，OctaveFuse取得了较为优秀的融合结果，可以充分保留来自源图像中的特征信息，并且更加符合视觉感知，且并未消耗更多的时间。

目前，所提方法针对图像中的特征信息进行增强，但是并未对源图像中可能含有的噪声进行针对性处理。在未来的研究中，将对特征增强模块进行完善，针对噪声进行改进，使算法具有更强的泛化性。此外，训练阶段的损失函数也可以根据融合任务种类进行改良，针对不同的融合任务设计更为合适的融合策略。