随着现代医学成像技术的发展，出现了不同模态的成像方式，单一模态的医学图像对于细节的表征具有局限性。针对单模态图像的局限性，临床上将多种模态的医学图像进行融合，可以在保留原始图像特征的同时(Gai等，2019)，弥补单模态医学图像的缺陷，展示丰富的细节信息(Veshki等，2021)，利于医生对疾病准确地诊断和治疗。医学图像中含有大量能反映病灶情况(Nour等，2020)的深层特征和细节信息，然而这些深层特征却难以捕捉，而且从单模态图像提取特征后再融合，容易丢失融合图像信息完整性(蔺素珍和韩泽，2017)，因此，利用当前模态和其他模态特征之间的关系来提取融合所需的深层特征(Mbilinyi和Schuldt，2020), 对于多模态医学图像融合来说非常重要。

传统的图像融合方法很难表征融合图像中病变区域的深层特征。例如，基于空间域的融合方法会引起融合图像的光谱和空间失真(Maqsood和Javed，2020); 基于变换域融合方法会使图像具有块效应(Yan等，2021)。深度学习在图像融合领域发展迅速，卷积神经网络(convolutional neural network, CNN)作为其重要分支，具有强大的提取特征能力(Jung等，2020；Zhang等，2020b；Nikolaev等，2021)。Liu等人(2017)利用卷积神经网络对聚焦区域进行分类后，生成多聚焦融合图像。但存在融合图像部分信息丢失的问题。Zhang等人(2020a)为避免信息丢失提出了全卷积神经网络的图像融合框架(image fusion based on convolutional ceural cetwork, IFCNN)，引入了级联的边界感知卷积网络，但因其卷积核设置单一，导致了深层特征提取困难。Pan等人(2021)提出密集连接网络结构(DenseNetFuse)，编码部分采用残差密集连接的方式连接密集块，但此结构仅能提取单一尺度上的特征。

生成对抗网络(generative adversarial network, GAN)作为深度学习的另一分支，广泛应用于图像融合领域(Kurakin等，2018；Liu等，2018；Wang等，2021)。Ma等人(2019)提出基于GAN的红外与可见光图像融合框架FusionGAN(fusion generative adversarial network)，通过红外热辐射信息和可见光纹理信息之间的博弈，突出了图像关键信息。然而，FusionGAN仅有一个鉴别器，所以融合结果存在过于关注可见光图像信息而红外图像信息部分丢失的问题。Ma等人(2020)为避免融合图像对源图像关注度分配不均，提出了基于双鉴别器的生成对抗网络框架DDcGAN(dual discriminator generation adversative network)，利用双鉴别器分别对两幅源图像训练，但其损失函数仅计算了像素损失，不利于充分提取图像的深层特征。Yang等人(2021)提出的GANFuse在DDcGAN的基础上引入梯度损失，将两种损失的加权求和作为损失函数，进一步提升了融合性能。然而，上述方法对于图像深层特征的提取及表征方面依然有所欠缺。

综上，针对目前多模态医学图像融合方法深层特征提取能力不足，部分模态特征被忽略的问题，本文提出了基于改进的U-Net3+与跨模态注意力块的双鉴别器生成对抗网络(U-Net3+ and cross-modal attention block dual-discriminator generative adversal network，UC-DDGAN)，其生成器利用5层的U-Net3+实现了全尺度的特征提取，仅用很少的参数提取得到深层特征，提升了深层特征提取能力；跨模态注意力块嵌入到U-Net3+的各层下采样路径上，将深层特征的提取扩展到不同模态之间，保留了各模态丰富的细节信息，有效防止关键信息被忽略。双鉴别器将梯度损失引入到损失函数的计算中，提升了融合性能。训练后，UC-DDGAN可生成包含丰富深层特征的融合图像。

U-Net3+(Huang等，2020)是一种由U-Net(Ronneberger等，2015；Qin等，2020)和U-Net++(Zhou等，2018)改进得到的可以有效提取深层特征的网络框架(Xiao等，2021；Xiong等，2021)，其将特征提取的范围扩展到全尺度，捕获了全尺度下的粗细粒度语义。

Song等人(2021)针对双模态图像融合和配准时两模态复合特征提取困难的问题，基于非局部注意力机制(Wang等，2017)提出了跨模态注意力机制。不同于非局部注意力机制只在单一图像上计算自我注意力，跨模态注意力机制将注意力的计算扩展到了两个模态，保留了融合图像信息的完整性，使更多的源图像细节特征得到表征，跨模态注意力(cross-modal attention)机制原理如图 1所示。

跨模态输入特征图$ {\mathit{\boldsymbol{C}}}$经过线性映射函数$ {\mathit{\boldsymbol{\theta }}}(\cdot)$处理得到特征$ {\mathit{\boldsymbol{\theta }}}$($ {\mathit{\boldsymbol{C}}}$)，主输入特征图$ {\mathit{\boldsymbol{P }}}$分别经过线性映射$ {\mathit{\boldsymbol{\phi }}}(\cdot)$和$ {\mathit{\boldsymbol{g }}}(\cdot)$处理得到特征$ {\mathit{\boldsymbol{\phi }}}$($ {\mathit{\boldsymbol{P }}}$)和$ {\mathit{\boldsymbol{g }}}$($ {\mathit{\boldsymbol{P }}}$)；转置后的$ {\mathit{\boldsymbol{\theta }}}$($ {\mathit{\boldsymbol{C}}}$)和$ {\mathit{\boldsymbol{\phi }}}$($ {\mathit{\boldsymbol{P }}}$)进行矩阵点乘，得到两输入的特征相关性矩阵$ {\mathit{\boldsymbol{R}}}$，即$ {\mathit{\boldsymbol{P }}}$局部位置特征与$ {\mathit{\boldsymbol{C}}}$全局位置特征的关系矩阵；对$ {\mathit{\boldsymbol{R}}}$进行归一化操作，得到0~1权重，用做跨模态注意力系数；最后将跨模态注意力系数对应与特征矩阵$ {\mathit{\boldsymbol{g }}}$($ {\mathit{\boldsymbol{P }}}$)进行矩阵点乘，得到跨模态注意力特征图$ {\mathit{\boldsymbol{F}}}$。

DDcGAN针对不同分布的源图像设置了两个鉴别器，进行针对性鉴别，如图 2所示。

DDcGAN包含一个生成器($ G$)和两个鉴别器($ D_1$、$ D_2$)，生成器由编码、融合和解码3部分组成，其中编码部分的任务是特征提取、融合，解码部分的任务是特征融合；鉴别器的任务是分别鉴别对应源图像，以此训练生成器。DDcGAN的输入是源图像1和源图像2，编码部分首先采用包含3×3滤波器的卷积层提取同一尺度的粗糙特征，然后采用3个包含同一尺度卷积层的DenseBlock(Cai等，2021)来保留两幅源图像同一尺度的具体特征；融合部分利用注意力机制对提取到的两幅特征图进行融合，融合部分的输出将作为解码部分的输入；解码部分采用4个包含3×3滤波器的卷积层对拼接后的特征图进行解码。两个鉴别器结构相同，先经过卷积操作和激活函数，再经全连接层扁平化数据和激活函数tanh计算概率，得到鉴别结果。DDcGAN的训练过程与GAN类似，生成器的性能在生成器和鉴别器的对抗中不断提升。DDcGAN的特征融合部分采用注意力机制，可以保留更多两模态关键信息，但其特征融合部分也存在仅可在单尺度上提取特征以及深层特征提取能力弱的问题。

UC-DDGAN包含一个生成器$ G$和两个鉴别器($ D_c$、$ D_m$)，网络结构如图 3所示。生成器负责生成融合图像，鉴别器用来区分源图像和融合图像。生成器生成融合图像分两阶段进行：特征提取和特征融合。以CT(computed tomography)和MR(magnetic resonance imaging)的融合为例，特征提取部分提取CT与MR图像的深层特征，特征融合部分融合提取到的深层特征，经过通道降维和卷积操作后，生成融合图像。在鉴别器区分源图像和融合图像时，将梯度损失引入到损失函数中，提升生成器生成图像的性能。

鉴于GAN的生成器未提取到足够多包含两模态信息的深层细节，UC-DDGAN引入了U-Net3+网络和跨模态注意力块进行深层特征提取。U-Net3+可以在单模态上对深层特征进行全尺度范围的提取和融合；跨模态注意力块可以根据当前模态图像特征和待融合的另一模态图像特征之间的相关性，生成具有两模态信息的复合特征图。

U-Net3+分为两个阶段：编码阶段和解码阶段，如图 4所示。编码阶段对输入图像进行4次逐层下采样提取特征，解码阶段对各层解码结果进行整合并上采样，最后经过1×1的卷积进行通道降维，完成特征提取，输出特征图。图 4中，同一虚线框中的两个卷积模块为同一层卷积模块，其中前一个表示编码器，后一个表示解码器(Conv5既为编码器又为解码器)，每一层编码器和解码器的结构都一样，其参数设置与在ImageNet上训练的ResNet50(He等，2016)一致。

U-Net3+中的Conv4解码器构建输出特征图的过程如图 5所示，其他尺度解码器构建输出特征图的过程与其类似。

来自同尺度Conv4编码器的特征图在解码器中直接接收；来自较小尺度Conv1、Conv2、Conv3编码器的特征图，在经过最大池化操作处理之后被接收；来自较大尺度Conv5编码器的特征图，在经过二倍上采样操作处理之后被接收。然后，用64个3×3的滤波器将这5个具有相同分辨率的特征图通道数统一为64。为了更好地融合各层语义信息，进一步用320个3×3的滤波器、一个批量归一化层和一个ReLU激活函数层对5个特征图进行通道叠加。各尺度解码器输出特征图$ \boldsymbol{X}_{\mathrm{De}}^i$计算为

$\begin{array}{c} \boldsymbol{X}_{\mathrm{De}}^i=\\ \left\{\begin{array}{l} \boldsymbol{X}_{\mathrm{En}}^i \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ i=N\\ H\left(\left[\underbrace{C\left(D\left(X_{\mathrm{En}}^k\right)\right)_{k=1}^{i-1}, C\left(X_{\mathrm{En}}^i\right)}_{ {Scales: {\rm{1th}} } \sim { i{\rm{th}} }}, \underbrace{C\left(U\left(X_{\mathrm{En}}^k\right)\right)_{k=i+1}^N}_{ {Scales: }(i+1) \text { th } \sim N \text{th }}\right]\right) \\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ i=1, \cdots, N-1 \end{array}\right. \end{array}$

(1)

式(1)表示当编码器和解码器来自同一尺度时(即Conv5，该层的编码器也可作为解码器使用)，解码器的输出特征图等于编码器的输入特征图；当编码器和解码器来自不同尺度时，编码器的输出特征图等于编码器输入特征图的叠加，但这些特征图在叠加前需要分别经过上下采样及卷积操作。$ i$表示不同尺度的层数，$ \boldsymbol{X}_{\mathrm{En}}$表示经过编码器得到的特征图，$ C(\cdot)$表示卷积运算，$ D(\cdot)$和$ U(\cdot)$分别表示下采样和上采样操作，$ H(\cdot)$表示通道叠加的函数，[·]表示串联操作，$ Scale$表示特征图的尺度。最后，Conv1的输出特征图再经过64个1×1的滤波器进行通道降维，输出全尺度特征图。

UC-DDGAN的特征提取部分将跨模态注意力块嵌入U-Net3+提取源图像CT和MR的深层特征。生成器特征提取部分如图 6所示。

图 6中，UC-DDGAN在CT的U-Net3+下采样路径上($ \boldsymbol{X}_{\mathrm{En}}^1$到$ \boldsymbol{X}_{\mathrm{En}}^2$、$ \boldsymbol{X}_{\mathrm{En}}^2$到$ \boldsymbol{X}_{\mathrm{En}}^3$、$ \boldsymbol{X}_{\mathrm{En}}^3$到$ \boldsymbol{X}_{\mathrm{En}}^4$、$ \boldsymbol{X}_{\mathrm{En}}^4$到$ \boldsymbol{X}_{\mathrm{En}}^5$)嵌入了跨模态注意力块$ \boldsymbol{X}^1$、$ \boldsymbol{X}^2$、$ \boldsymbol{X}^3$、$ \boldsymbol{X}^4$；同样地，在MR的U-Net3+下采样路径上嵌入了跨模态注意力块$ \boldsymbol{Y}^1$、$ \boldsymbol{Y}^2$、$ \boldsymbol{Y}^3$、$ \boldsymbol{Y}^4$。跨模态注意力块有两个输入：主输入$ {\mathit{\boldsymbol{P }}}$和跨模态输入$ {\mathit{\boldsymbol{C}}}$，CT路径上，$ \boldsymbol{X}^1$、$ \boldsymbol{X}^2$、$ \boldsymbol{X}^3$、$ \boldsymbol{X}^4$的$ {\mathit{\boldsymbol{P }}}$为CT图像相应层次下采样的输出，$ {\mathit{\boldsymbol{C}}}$为MR图像相应层次下采样的输出；MR路径上的跨模态注意力块$ \boldsymbol{Y}^1$、$ \boldsymbol{Y}^2$、$ \boldsymbol{Y}^3$、$ \boldsymbol{Y}^4$的$ {\mathit{\boldsymbol{P }}}$和$ {\mathit{\boldsymbol{C}}}$与$ \boldsymbol{X}^1$、$ \boldsymbol{X}^2$、$ \boldsymbol{X}^3$、$ \boldsymbol{X}^4$相反。CT和MR的U-Net3+解码器对各层结果整合并上采样得到CT和MR特征图。跨模态注意力块在U-Net3+各层编码器逐层下采样提取特征的过程中，既提升了两模态相关性，又提取到了各模态图像的深层特征。

跨模态注意力块在U-Net3+中的连接方式，如图 7所示。将尺寸为256×256×1的源CT图像和源MR图像分别输入U-Net3+，两模态第1层编码器$ \boldsymbol{X}_{\mathrm{En}}^1$的输出特征图在对方路径的第1层跨模态注意力块中作为$ {\mathit{\boldsymbol{C}}}$被接收，而在其自身路径的第1层跨模态注意力块中作为$ {\mathit{\boldsymbol{P }}}$被接收。然后，经过各路径的第1层跨模态注意力块计算得到复合特征图，复合特征图被输入到下一尺度编码器$ \boldsymbol{X}_{\mathrm{En}}^2$中。由于经跨模态注意力块输出的复合特征图分辨率、通道数与输入一致，故嵌入跨模态注意力块对U-Net3+各层编码器的参数设置没有影响。其他尺度跨模态注意力块的输入输出类似于第1层跨模态注意力块。各层跨模态注意力块的输出$ \boldsymbol{x}^i$、$ \boldsymbol{y}^i$计算式为

$\boldsymbol{x}^i =Z\left(\left[P\left(\boldsymbol{c}^i\right), C\left(\boldsymbol{m}^i\right)\right]\right), i \leqslant 4$

(2)

$\boldsymbol{y}^i =Z\left(\left[P\left(\boldsymbol{m}^i\right), C\left(\boldsymbol{c}^i\right)\right]\right), i \leqslant 4$

(3)

式中，$ \boldsymbol{c}^i$、$ \boldsymbol{m}^i$分别表示CT、MR路径第$ i$层编码器的输出特征，$ P(\cdot)$表示主模态输入的运算函数，$ C(\cdot)$表示跨模态输入的运算函数，$ Z(\cdot)$表示跨模态注意力块内部先矩阵点乘再将对应元素逐个相乘的函数，[，]表示串联操作。

跨模态注意力块的内部结构如图 8所示。$ {\mathit{\boldsymbol{C}}}$、$ {\mathit{\boldsymbol{P }}}$分别表示跨模态路径和主模态路径输入的特征图($ \boldsymbol{C} \in {\bf{R}}^{T \times W \times H \times 64}$、$ \boldsymbol{P} \in {\bf{R}}^{T \times W \times H \times 64}$)，$ T$、$ H$和$ W$分别表示特征图的批量数、高度和宽度，64是特征图通道数。首先，$ {\mathit{\boldsymbol{C}}}$、$ {\mathit{\boldsymbol{P }}}$经过通道降维及线性变换函数$ \boldsymbol{\theta}(\cdot)$、$ \boldsymbol{\phi}(\cdot)$处理，得到$ {\mathit{\boldsymbol{\theta }}}$($ {\mathit{\boldsymbol{C}}}$)、$ {\mathit{\boldsymbol{\phi }}}$($ {\mathit{\boldsymbol{P }}}$)两种特征表示($ {\mathit{\boldsymbol{\theta }}}$($ {\mathit{\boldsymbol{C}}}$)$ \in {\bf R}^{T \times W \times H \times 32}$、$ {\mathit{\boldsymbol{\phi }}}$($ {\mathit{\boldsymbol{P }}}$)$ \in {\bf R}^{T \times W \times H \times 32}$)，然后对$ {\mathit{\boldsymbol{\theta }}}$($ {\mathit{\boldsymbol{C}}}$)、$ {\mathit{\boldsymbol{\phi }}}$($ {\mathit{\boldsymbol{C}}}$)进行reshape操作，合并$ T$、$ H$和$ W$维度($ {\mathit{\boldsymbol{\theta }}}$($ {\mathit{\boldsymbol{C}}}$)$ \in {\bf R}^{T \times W \times H \times 32}$、$ {\mathit{\boldsymbol{\phi }}}$($ {\mathit{\boldsymbol{P }}}$)$ \in {\bf R}^{T \times W \times H \times 32}$)。再将$ {\mathit{\boldsymbol{\theta }}}$($ {\mathit{\boldsymbol{C}}}$)的转置与$ {\mathit{\boldsymbol{\phi }}}$($ {\mathit{\boldsymbol{P }}}$)进行矩阵点乘，得到包含主模态各像素与跨模态各像素相关性的特征图$ \boldsymbol{F}$($ \boldsymbol{F}$$ \in {\bf R}^{T \times W \times H \times 32}$)，然后对$ \boldsymbol{F}$进行softmax操作，实现相关性的归一化。$ {\mathit{\boldsymbol{P }}}$除了经过线性变换函数$ \boldsymbol{\theta}(\cdot)$处理，还经过线性变换$ \boldsymbol{g}(\cdot)$，得到特征表示$ {\mathit{\boldsymbol{g }}}$($ {\mathit{\boldsymbol{P }}}$)$ \in {\bf R}^{T \times W \times H \times 32}$)，对得到的$ {\mathit{\boldsymbol{g }}}$($ {\mathit{\boldsymbol{P }}}$)进行reshape操作，合并$ T$、$ H$以及$ W$维度($ {\mathit{\boldsymbol{g }}}$($ {\mathit{\boldsymbol{P }}}$)$ \in {\bf R}^{T \times W \times H \times 32}$)。$ \boldsymbol{F}$经过归一化操作后与合并$ T$、$ H$和$ W$维度的$ {\mathit{\boldsymbol{g }}}$($ {\mathit{\boldsymbol{P }}}$)进行矩阵点乘，得到${\mathit{\boldsymbol{Q}}} \in {\bf R}^{T \times W \times H \times 32}$，$ {\mathit{\boldsymbol{Q}}}$表示经跨模态注意力机制调整后的残差矩阵。然后$ {\mathit{\boldsymbol{Q}}}$经过1×1×1卷积，恢复$ T$、$ H$和$ W$维度，表示为$ \boldsymbol{Y}\in {\bf{R}}^{T \times W \times H \times 64}$。最后，$ \boldsymbol{Y}$与$ {\mathit{\boldsymbol{P }}}$做残差运算，得到跨模态注意力块的输出$ \boldsymbol{Z} \in {\bf{R}}^{T \times W \times H \times 64}$。跨模态注意力块得到的特征图计算式为

$y_i=\frac{\sum\limits_{\forall j} f\left(\boldsymbol{\theta}\left(\boldsymbol{c}_i\right)^{\mathrm{T}} \boldsymbol{\phi}\left(\boldsymbol{p}_j\right)\right) \boldsymbol{g}\left(\boldsymbol{p}_j\right)}{\sum\limits_{\forall j} f\left(\boldsymbol{\theta}\left(\boldsymbol{c}_i\right)^{\mathrm{T}} \boldsymbol{\phi}\left(\boldsymbol{p}_j\right)\right)}$

(4)

式中，$ \boldsymbol{c}_i$是跨模态输入特征图中$ i$位置的特征，$ \boldsymbol{p}_j$是主模态输入特征图中所有与$ \boldsymbol{c}_i$有关的特征，$ j$表示特征$ \boldsymbol{p}_j$在跨模态输入中的位置。$ {\mathit{\boldsymbol{\theta }}}$($ \boldsymbol{c}_i$)、$ {\mathit{\boldsymbol{\phi }}}$($ \boldsymbol{p}_j$)分别是$ \boldsymbol{c}_i$、$ \boldsymbol{p}_j$在经过Embedded Gaussian(Benet等，2001)中的两个嵌入权重变换 $ {W_\theta }$、$ {W_\phi }$之后得到的特征图，$ {\mathit{\boldsymbol{g }}}$($ \boldsymbol{p}_j$)是$ \boldsymbol{p}_j$经过线性变换得到的特征图，$ f(\cdot)$是用于计算$ \boldsymbol{c}_i$、$ \boldsymbol{p}_j$相关性的函数。$ y_i$是累加了跨模态输入中所有与主输入$ i$位置上特征相关的特征后得到的复合特征图$ i$位置的特征。

跨模态注意力块嵌入U-Net3+构成UC-DDGAN生成器特征提取部分，可以增加CT图像和MR图像的信息交互，使CT图像的骨骼信息和MR图像的软组织初步融合。该特征提取方式能促进特征学习、改善梯度流动和增加隐式深度监督。各层编码器、解码器卷积参数如表 1所示。

特征融合分为融合和解码两部分，如图 9所示。融合部分由一个Concat层构成(Song等，2018)，解码部分由5个卷积模块组成，该卷积模块利用若干个3×3的滤波器来压缩通道数(各层滤波器数如图中$ n$所示)，通过批量归一化层(batch normaligation, BN)来缓解梯度爆炸，ReLU激活函数加快训练速度。特征提取部分得到尺寸为128×128×320的CT、MR深层特征图，依次经过Concat层拼接，再经过滤波器分别为128、64、32、16、1这5个卷积模块逐层进行通道降维，将尺寸为128×128×320的CT、MR深层特征图压缩成尺寸为128×128×1深层细节丰富且充分表征两模态关键特征的融合图像。

UC-DDGAN设计了具有相同网络结构的两个鉴别器，其结构如图 10所示。真实图像与融合图像依次经过4个卷积模块：由16个3×3的滤波器和ReLU激活函数层构成的第1层卷积模块；32个3×3的滤波器、批量归一化层、ReLU激活函数层构成的第2层卷积模块；64个3×3的滤波器、批量归一化层、ReLU激活函数层构成的第3层卷积模块(步幅为2，填充为0)；最后经过全连接层(fully connected, FC)将数据扁平化，在最后一层，利用tanh激活函数作为评估器，得出输入图像是真实图像的概率。

UC-DDGAN是基于双鉴别器的生成对抗网络，因此要用损失函数分别优化一个生成器、两个鉴别器，通过对各部分损失加权来提升融合性能，保留更多源图像特征。为进一步保留源图像的深层特征，UC-DDGAN的损失函数在前人基础上引入了梯度损失，并通过加权的方式将二者结合起来用于生成器的训练。

UC-DDGAN的损失函数由生成器损失$ L_G$和两个鉴别器损失$ L_{Dc}$、$ L_{Dm}$组成。生成器的损失函数$ L_G$由CT图像的损失$ L_{C}$和MR图像的损失$ L_{M}$加权相加，计算为

$L_G=L_C+\delta L_M$

(5)

式中，$ \delta $用于控制CT和MR图像损失之间的权重分配。$ L_{C}$由生成器与$ D_c$之间的对抗性损失$ L_c^{\text {adv }}$和CT的内容损失$ L_c^{\text {con }}$加权相加得到，定义为

$L_C=L_c^{\text {adv }}+\partial L_c^{\text {con }}$

(6)

式中，$ \partial $用于控制$ L_c^{\text {adv }}$和$ L_c^{\text {con }}$之间的权重分配。$ L_c^{\text {con }}$旨在将更多的CT图像梯度和像素信息保留在最终的融合图像中，定义为

$\begin{aligned} & L_c^{\mathrm{con}}=\frac{1}{h \cdot w}\left[{sum}\left(\left\|\boldsymbol{I}_f-\boldsymbol{I}_c\right\|_{\mathrm{F}}\right)+\right. \\ & \ \ \ \ \left.\sigma {sum}\left(\left\|\mathit{\boldsymbol{ \boldsymbol{\varGamma} }} \boldsymbol{I}_f-\mathit{\boldsymbol{ \boldsymbol{\varGamma} }} \boldsymbol{I}_c\right\|_{\mathrm{F}}\right)\right] \\ & \end{aligned}$

(7)

式中，$ {\mathit{\boldsymbol{I}}_c}$、$ {\mathit{\boldsymbol{I}}_m}$和$ {\mathit{\boldsymbol{I}}_f}$分别表示源图像CT、源图像MR和融合后图像，$ \sigma $用于像素损失和梯度损失之间的权重分配，$ h$和$ w$为源图像的高度和宽度，$ sum$表示输入元素的和，$ \|\cdot\|_{\rm{F}}$为矩阵Frobenius范数(Custódio等，2010)，$ \mathit{\mathit{\boldsymbol{ \boldsymbol{\varGamma} }} }$为梯度运算。$ L_c^{\text {adv }}$定义为

$L_c^{\mathrm{adv}}=\frac{1}{h \cdot w} {sum}\left[-D_c\left(\left|\boldsymbol{I}_f-\boldsymbol{I}_c\right|\right)\right]$

(8)

式中，$ D_c\left(\left|\boldsymbol{I}_f-\boldsymbol{I}_c\right|\right)$代表$ D_c$的正确率，因此在$ D_c\left(\left|\boldsymbol{I}_f-\boldsymbol{I}_c\right|\right)$前面设置一个负号，表示减去判定正确的部分。

$ L_G$的第2项$ L_{M}$表示MR图像的损失，定义与$ L_{C}$类似，计算式分别为

$L_M=L_m^{\mathrm{adv}}+\beta L_m^{\mathrm{con}}$

(9)

$\begin{gathered} L_m^{\text {con }}=\frac{1}{h \cdot w}\left[{sum}\left(\left\|\boldsymbol{I}_f-\boldsymbol{I}_m\right\|_{\mathrm{F}}\right)+\right. \\ \left.{\sigma sum}\left(\left\|\mathit{\boldsymbol{ \boldsymbol{\varGamma} }} \boldsymbol{I}_f-\mathit{\boldsymbol{ \boldsymbol{\varGamma} }} \boldsymbol{I}_m\right\|_{\mathrm{F}}\right)\right] \end{gathered}$

(10)

$L_m^{\mathrm{adv}}=\frac{1}{h \cdot w} {sum}\left[-D_m\left(\left|\boldsymbol{I}_f-\boldsymbol{I}_m\right|\right)\right]$

(11)

$ D_c$和$ D_m$的损失函数$ L_{Dc}$、$ L_{Dm}$计算式为

$\begin{aligned} L_{D c}= & \frac{1}{h \cdot w} {sum}\left[D_c\left(\left|\boldsymbol{I}_f-\boldsymbol{I}_m\right|\right)\right]- \\ & \frac{1}{h \cdot w} {sum}\left[D_c\left(\left|\boldsymbol{I}_f-\boldsymbol{I}_c\right|\right)\right] \end{aligned}$

(12)

$\begin{gathered} L_{D m}=\frac{1}{h \cdot w} {sum}\left[D_m\left(\left|\boldsymbol{I}_f-\boldsymbol{I}_c\right|\right)\right]- \\ \quad \frac{1}{h \cdot w} {sum}\left[D_m\left(\left|\boldsymbol{I}_f-\boldsymbol{I}_m\right|\right)\right] \end{gathered}$

(13)

式中，$ D_c\left(\left|\boldsymbol{I}_f-\boldsymbol{I}_m\right|\right)$和$ D_m\left(\left|\boldsymbol{I}_f-\boldsymbol{I}_c\right|\right)$分别代表$ D_c$和$ D_m$的错误率。因为鉴别器损失表示鉴别失败的概率，所以$ L_{Dc}$、$ L_{Dm}$用$ D_c$和$ D_m$的错误率分别减去其正确率来表示。随着$ G$与$ D_c$和$ D_m$的对抗训练不断进行，$ G$与$ D_c$和$ D_m$达到纳什平衡(Ratliff等，2013)，$ L_{Dc}$、$ L_{Dm}$和$ L_G$达到最优值，训练完成。

在训练阶段，利用训练集数据分别对生成器$ G$和鉴别器$ D_c$、$ D_m$进行对抗训练。首先固定$ G$训练$ D_c$、$ D_m$，之后再固定$ D_c$、$ D_m$训练$ G$，接着循环训练，来提高$ G$生成融合图像的能力以及$ D_c$、$ D_m$鉴别出$ G$生成的图像与真实CT、MR图像差别的能力，直至$ G$生成的图像足以通过$ D_c$、$ D_m$的鉴别即可停止。此时，将测试集数据输入到$ G$中，得到最终融合结果。在测试阶段，使用经过训练的生成器来生成融合图像。UC-DDGAN算法的详细训练步骤为：

参数描述：$ \boldsymbol{I}_G$、$ \boldsymbol{I}_{Dc}$和$ \boldsymbol{I}_{Dm}$分别表示训练$ G$、$ D_c$和$ D_m$的训练次数，$ I_{\max }$是训练UC-DDGAN的最大次数，在本实验中，$ I_{\max }$ =20；$ L_{\max }$、$ L_{\min }$和$ L_{G\max }$表示生成器训练完成时的损失范围；$ L_{\max }$和$ L_{\min}$用于$ G$、$ D_c$和$ D_m$的对抗损失的优化，$ L_{G\max }$用于$ G$总体损失的优化；

在实验的第1批次中，$ L_{\max }$ =0.065，$ L_{\min }$ =0.055，$ L_{G\max }$=0.2; $ D_c$和$ D_m$的初始化参数为$ \theta_{D c}$和$ \theta_{Dm}$，$ G$的初始化参数为$ \theta_{G}$，在每次的训练迭代中：

1) 训练鉴别器$ D_c$和$ D_m$。

$ s$个CT图像样本{${\mathit{\boldsymbol{c}}^1}$，…，${\mathit{\boldsymbol{c}}^s}$}和$ s$个MR图像样本$\left\{\boldsymbol{m}^1, \cdots, \boldsymbol{m}^s\right\}$;

生成器获取到待生成数据$ \left\{G\left(\boldsymbol{c}^1, \boldsymbol{m}^1\right), \cdots\right.$$ \left.G\left(\boldsymbol{c}^s, \boldsymbol{m}^s\right)\right\}$;

在Adam优化器优化$ L_{Dc}$ (式(12))更新$ \theta_{D c}$;

在Adam优化器优化$ L_{Dm}$ (式(13))更新$ \theta_{Dm}$;

如果$ L_{Dc}$>$L_{\max }$并且$ L_{Dm}$<$L_{\max }$，则继续利用Adam优化器优化$ L_{Dc}$;

$ I_{D c}=I_{D c}+1$;

如果$ L_{Dm}$>$L_{\max }$并且$ L_{Dc}$<$L_{\max }$, 则继续利用Adam优化器优化$ L_{Dm}$;

$ I_{D m}=I_{D m}+1$。

2) 训练生成器$ G$。

$ s$个CT图像样本{${\mathit{\boldsymbol{c}}^1}$，…，${\mathit{\boldsymbol{c}}^s}$}和$ s$个MR图像样本$ \left\{\boldsymbol{m}^1 、\cdots, \boldsymbol{m}^s\right\}$；

生成器获取到待生成数据$ \left\{G\left(\boldsymbol{c}^1, \boldsymbol{m}^1\right), \cdots\right.$$ \left.G\left(\boldsymbol{c}^s, \boldsymbol{m}^s\right)\right\}$;

在SGD(stochastic gradient descent)优化器优化$ L_G$(式(5))的过程中更新$ \theta_{G}$;

如果$ L_{Dc}$>$ L_{\min }$且$ L_{Dm}$<$L_{\max }$且$ I_G<I_{\max }$，则在SGD优化器优$ L_c^{\text {adv }}$(式(8))的过程中更新$ \theta_{G}$；

$ I_G=I_G+1$;

如果$ L_{Dc}$<$ L_{\min }$且$ L_{Dm}$>$ L_{\max }$且$ L_G$>$ I_{\max }$，则在SGD优化器优化$ L_c^{\text {adv }}$(式(8))的过程中更新$ \theta_{G}$；

$I_G=I_G+1$;

如果$ L_{Dc}$>$ L_{\max }$并且$ L_{Dm}$ < $L_{\max }$，则继续利用SGD优化器优化$ L_G$;

$I_G=I_G+1$。

实验数据集来自美国哈佛医学院(http://www.med.harvard.edu)、山西省生物医学成像与影像大数据重点实验室。实验从其开源的常见脑部疾病图像数据集中选取了500对具有清晰脑部纹理、丰富细节特征的高质量CT和MR图像作为数据集。数据集分为训练集和测试集, 其中包括400对用于网络训练的训练集图像和100对用于测试网络泛化性能的测试集图像。为避免因数据集较小而导致的网络模型过拟合，采用Albumentations(Buslaev等，2020)对训练集数据进行扩充，将MR和对应CT图像调整到256×256像素，进行0°旋转、90°旋转、180°旋转、270°旋转、水平翻转、垂直翻转，再在上述6种变换的基础上分别进行随机亮度、弹性变换2种操作，获得6×2=12倍的数据，即4 800对图像进行训练。

实验的硬件平台：CPU为i7-11700, 内存16 GB；GPU为RTX 3060Ti 8 GB GDR6;软件平台：操作系统为64位的Windows10；环境框架为PyTorch；Python版本为3.6.0。

在训练过程中，UC-DDGAN分别采用Adam优化算法(Kingma和Ba，2017)和SGD(Cherry等，1998)促使鉴别损失和生成损失函数趋向最小来更新网络的参数。本文网络的参数设置为：初始学习率2E-4，动量参数为0.9，权重衰减为5E-2。为降低GPU显存对训练的影响，训练采用mini-batch的方式进行(王丽芳等，2020)，batch-size设置为40，epoch设置为200，迭代次数为4 800/40×200=24 000次(训练样本数4 800，batch-size为40，epoch为200)。随着迭代次数的增加，生成器损失$ L_G$和两个鉴别器损失$ L_{Dc}$、$ L_{Dm}$的变化趋势如图 11所示。图 11(a)中，$ L_G$曲折下降后趋于平稳，在0.2附近小幅波动；图 11(b)(c)中，$ L_{Dc}$，$ L_{Dm}$整体缓慢上升后稳定在0.06附近。此外，由图 11可以看出，$ L_G$和$ L_{D_c}$，$ L_{D_m}$无较大波动，说明UC-DDGAN在训练过程中较为稳定。

为验证UC-DDGAN的融合性能，实验选取基于拉普拉斯金字塔(Laplasian pyramid，LAP)的方法(黄福升和蔺素珍，2019)、基于脉冲耦合神经网络(pulse-coupled neural network，PCNN)的方法(Indhumathi等，2021)、基于卷积神经网络(CNN)的方法、基于融合生成对抗网络(FusionGAN)的方法以及基于双鉴别器生成对抗网络(DDcGAN)的方法作为对比方法。

首先对脑梗、脑中风、脑瘤和脑血管4种脑部疾病的图像进行了定性比较实验。融合结果的定性比较如图 12所示。图中显示LAP方法得到的融合结果边缘模糊，不利于医生观察病灶轮廓；PCNN方法得到的融合结果亮度过低，损失掉大量细节信息；CNN方法得到的融合结果深层细节表征不够，观察不到其内部细节；FusionGAN方法得到的融合结果过分关注MR模态的图像，损失了CT图像的骨骼信息；DDcGAN方法得到的融合结果边缘不够平滑; UC-DDGAN方法得到的脑梗疾病融合结果脑部沟壑清晰可见、脑中风疾病融合结果脑组织颜色层次分明、脑瘤疾病融合结果脑髓质及骨骼信息得以充分保留、脑血管疾病融合结果包含有脑叶的深层细节。综上，UC-DDGAN的融合效果优于其他5种用于对比的融合方法。

为客观地评价融合效果，实验选取了5个客观评价指标：空间频率(spatial frequency，SF)、结构相似性(structural similarity，SSIM)、边缘信息传递因子(edge information transfer factor，${\rm{Q}}^{{\rm{A B / F}}}$)、相关系数(correlation coefficient，CC)以及差异相关性的和(the sum of the correlations of differences, SCD)评价UC-DDGAN在脑部医学图像数据集上的性能。

其中，SF与融合图像分辨率成正比，SF指标越高表明融合图像细节表征越明显；SSIM从图像亮度、对比度和结构方面衡量融合图像与CT/MR两幅源图像的相似性，SSIM值越大，图像结构完整度越高；边缘评价因子用于评价边缘或梯度质量，${\rm{Q}}^{{\rm{A B / F}}}$的值越大，融合图像边缘信息损失越小；CC测量融合图像与CT/MR两幅源图像之间的相关性，CC值为正且越大，表示融合图像与两幅源图像的相关性越高；SCD利用另一源图像和融合图像之间的差异来描述当前源图像在融合图像中的信息，两幅源图像在融合图像中的信息相加得到SCD值。SCD值为正且越大，表示融合图像与源图像$ A$的相关性越高。SF、SSIM和${\rm{Q}}^{{\rm{A B / F}}}$主要用于评价UC-DDGAN深层特征提取能力；CC、SCD主要用于评价UC-DDGAN保留两模态信息的能力。实验利用上述5个客观评价指标测试了30对脑部CT和MR图像，UC-DDGAN的表现均优于对比的5种融合方法，UC-DDGAN及5种对比融合方法在SF、SSIM、${\rm{Q}}^{{\rm{A B / F}}}$、CC和SCD的测试结果折线图分别如图 13所示，其中红色折线表示UC-DDGAN的客观评价结果，评价结果平均值如表 2所示。由表 2可知，利用UC-DDGAN进行融合可以获得各项指标的最大均值。

为了验证UC-DDGAN中U-Net3+与跨模态注意力块保留两模态信息及提取深层特征的效果，进行了两组消融实验。

实验1表示不添加U-Net3+和跨模态注意力块的图像融合网络得到的结果，即DDcGAN；实验2表示仅添加U-Net3+得到的结果；实验3表示仅添加跨模态注意力块得到的结果；实验4表示损失函数中不引入梯度损失的UC-DDGAN效果。定性结果如图 14所示, 对比实验评价结果如表 3所示。由表 3可知，UC-DDGAN达到了保留两模态信息且提取更多深度特征的目的。此外，本实验还对损失函数中的梯度损失和像素损失的权重$ \sigma $的参数进行了研究。UC-DDGAN的损失函数权重$ \sigma $设置为0.1。实验5和实验6的权重$ \sigma $分别为0.3和0.5，定量结果如表 4所示。

表5显示，当权重$ \sigma $设置为0.1时获得的定量结果最优，因此，实验权重$ \sigma $设置为0.1是合理的。

本文提出基于U-Net3+与跨模态注意力块的双鉴别器生成对抗网络(UC-DDGAN)的医学图像融合方法，解决了目前多模态医学图像融合方法深层特征提取能力不足、部分模态特征被忽略的问题。从实验结果可知，UC-DDGAN在主观视觉观察和客观指标评价方面都有较好的表现，将UC-DDGAN应用于多模态医学图像融合，可以辅助医生对病灶部位做出准确地诊断与治疗。UC-DDGAN具有以下特点：1)利用U-Net3+网络，提取到了图像深层特征，其融合图像病灶细节完整且深层特征丰富；2)利用跨模态注意力块将深层特征的提取扩展到了不同模态之间，保留了各模态丰富的细节信息；3)双鉴别器通过在损失函数中引入梯度损失，更好地训练生成器生成融合图像，保留更多源图像特征。

但本文算法也存在局限性，仍有较大提升空间，具体表现在：1)生成器网络较为复杂，存在训练时间长的问题，后续工作将致力于降低计算复杂度；2)本文所做改进主要针对的是特征提取部分，针对融合部分设计能够保留两模态信息的网络模型是今后研究的重点。

下一步工作是改进融合部分网络结构，提升模型泛化性，可用于其他图像融合，例如红外与可见光图像融合。