医学图像配准(王海南等，2005)是医学图像分析领域的重要研究任务之一，是医学图像融合、医学图像重建等研究的基础，其本质是寻找待配准图像对像素点间的空间对应关系，使固定图像与浮动图像的像素点在空间解剖结构上对齐。针对2D-3D医学图像的配准问题，梁玮等人(2004)提出一种基于互信息的配准方法，通过改变平行光入射的角度，计算不同方向的X射线图，基于互信息特征实现X线透射图与CT(computed tomography)图像间的配准。陈明等人(2003)分析了基于互信息量的医学图像配准中存在的鲁棒性问题，提出创建图像的模糊梯度场及建立模糊梯度相似性度量，并将其引入到互信息量配准算法中实现配准。Klein等人(2010)提出一种基于互信息的传统配准方法，根据待配准图像对间像素点的灰度信息进行迭代计算，获取配准图像和稠密形变场。王小根和须文波(2008)基于最大互信息的医学图像配准算法，引入新的相似性度量，在分析粒子群优化算法的基础上，将量子粒子群算法作为优化策略实现配准。卢振泰和陈武凡(2007)考虑到对应点及其邻域内不同方向上的像素点，将图像的空间与方向特征信息引入到配准中，构建新的共生互信息量相似性度量，能够较好地实现刚性和弹性配准。但上述基于互信息的传统配准方法对于每次输入新的待配准图像对时，都需要重新迭代优化目标函数实现配准，从而限制了配准效率。

随着深度学习研究热潮的兴起，在众多网络结构框架中，卷积神经网络(convolution neural network, CNN)以其局部权值共享的特殊结构以及良好的容错能力、并行处理能力和自学习能力广泛应用于图像处理的各个领域(Krizhevsky等，2012)。如Miao等人(2016)提出基于CNN回归的配准方法，先结合先验形变场和初始固定图像重建浮动图像，然后用CNN回归网络学习两者之间的映射参数，使回归网络在局部区域上进行训练，并以分层的方式进行应用，将复杂的回归任务分解为单个学习的子任务。Sokooti等人(2017)构建RegNet(registration network)模型实现图像的非刚性配准，基于已知的模拟形变场训练该配准模型，通过计算预测形变场和真实形变场之间的差异程度来确定配准精度。Hu等人(2018a)利用局部分割块的标签信息训练网络模型，实现待配准图像对间的全局和局部区域配准。上述方法均是基于全监督学习实现配准，在训练过程中，需要依赖大量带标签信息的样本数据和先验模拟形变场作为指引。Hu等人(2018b)提出采用弱监督学习的方式、仅利用少量高层特征的标签信息进行医学图像配准，该方法通过对可信赖的高层特征标签信息进行学习得到配准预测模型，再将该预测模型用于待配准图像对间的配准，但仍需要待配准图像对的标签信息。Ferrante等人(2019)提出对医学图像的解剖结构分块合并的配准思想，该方法利用解剖结构分段掩码学习各个区域的相似性度量并进行合并。但用空间对应块的方法预测像素位移矢量场，在低分辨率的医学图像中准确找到有效的对应块难度较大，从而影响配准精度。基于弱/半监督的学习方法，需要为训练模型提供部分相应的标签或分段块掩码进行学习。而实际的医学图像解剖结构复杂，且医学图像的标注费时费力，有的标注甚至很难获得。相较于全监督和弱/半监督学习，无监督学习配准方法则是在训练学习网络时，只需要提供待配准图像对，不需要标签信息。Wu等人(2013)利用无监督的方法提取图像特征，基于块的方式实现图像配准。但是该方法在配准过程中依赖于传统的配准方法，并且最终的配准结果需要额外的后处理不能在CNN中直接进行。de Vos等人(2017)提出基于CNN的医学图像配准方法(deformable image registration network，DIR-Net)，采用端到端无监督的训练方式，使配准图像与固定图像的相似性度量最大，得到相应的预测模型。但是该方法处理的数据集均是子数据集和2维切片图像，只适合较小形变，对于较大形变的医学图像并不适用；同时在矫正浮动图像时，利用B样条插值法获取像素位移矢量场降低了配准图像的精度。Balakrishnan等人(2019)提出一种基于学习的2维脑部切片医学图像配准方法，训练过程采用无监督端到端的方式，通过将配准过程转化为参数方程，并不断迭代训练优化网络模型，实现新输入图像对的配准。但是该方法仅用图像的灰度特征评估配准结果，而实际上，不同模态的医学图像灰度差异较大。

生成对抗网络(generative adversarial network, GAN)(Goodfellow等人，2014)是无监督学习中最具前景的深度学习模型之一，该模型通过生成器和判别器的互相博弈学习产生最佳输出。GAN由于能生成与真实数据集类似的新样本数据，不需要大量带标注信息的样本等优点，广泛应用于医学图像分析的各个领域。虽然通过GAN模型能生成质量高、清晰度较好的图像，但是其训练难度大，易出现梯度消失、过拟合等现象。为了缓解梯度消失和过拟合问题，Mao等人(2017)提出LSGAN(least squares GAN)，将标准GAN中的目标函数用最小二乘损失代替逻辑回归构造的交叉熵损失，由于交叉熵损失在训练过程中易饱和，从而导致模型参数优化陷入局部极值。而最小二乘损失的收敛条件更加严格，能在最优参数处趋于饱和，促进配准模型的快速收敛，在训练阶段提升配准模型训练的稳定性。为了进一步提升GAN网络生成图像的精度，Zhu等人(2017)提出CycleGAN用于实现未配对图像间的风格转换，CycleGAN包括两个生成器网络和两个判别器网络，能够更好地学习未配对图像间的转换参数。为了降低判别器网络的判别误差，辅助性地稳定配准模型的精度，Jolicoeur-Martineau (2018)提出一种RaGAN的方法，在标准判别器的基础上增加了一项梯度惩罚因子约束，增强判别器的判别条件，即估算真假样本的相对可能性，能够帮助生成器学习更加清晰的边缘和纹理信息。为了提高医学图像非刚性配准的精度，Mahapatra等人(2018)提出结合残差块(residual block, RB)和GAN的医学图像配准方法，该方法将残差块引入到生成器网络中，能同时输出矫正好的配准图像和像素位移矢量场，获得较理想的配准结果。然而，该方法在处理跨模态医学图像数据集时，获得的配准图像与固定图像在灰度特征信息和结构特征信息上均存在差异。如：对于对比度低的非线性变形区域的矫正，得到的配准结果边缘纹理不清晰；对于较大的非线性形变区域，得到的配准结果不稳定，这是由于Mahapatra等人(2018)的配准算法在提取特征信息时出现部分有效特征信息丢失的问题。密集残差块(residual-in-residual dense block, RRDB)由于用更加密集的跳跃连接融合了多层残差块的特征信息，能提取更多的高层特征信息，能缓解有效特征信息丢失的问题。基于密集残差块的优良特性，Wang等人(2019)将其应用到超分辨率重建中，使得图像纹理更加清晰，提高了图像重建的精度。

本文在Mahapatra等人(2018)工作的基础上，针对较大非刚性形变的医学图像配准精度低下和泛化能力不足的问题，提出结合密集残差块和GAN来实现医学图像的非刚性配准。主要工作有：

1) 将密集残差块代替标准残差块，通过多层残差网络的密集连接，更好地提取待配准图像对间更多的高层特征信息，从而提高配准精度；

2) 用最小二乘损失代替标准GANs中的用逻辑回归法构造的交叉熵损失。由于最小二乘损失收敛的条件更严格，促进模型在最优参数处达到收敛，故能有效地缓解梯度消失和过拟合问题，从而提高配准模型的稳定性；

3) 在标准GAN的判别器网络中增加一项梯度惩罚因子约束，增强判别器的判别条件，降低判别误差，即估算固定图像与配准图像的相对真假可能性，基于增强后的判别器，能够帮助生成器学习更加清晰的边缘和纹理信息，从而减少配准误差，辅助性地稳定了配准精度。

由于CycleGAN模型能较好地学习不成对输入图像间的映射关系，密集残差块能提取到更多高层特征，故本文采用CycleGAN作为配准模型构架，并引入密集残差块，将固定图像$ {\mathit{\boldsymbol{I}}^{\rm{F}}}$和浮动图像$ {\mathit{\boldsymbol{I}}^{\rm{M}}}$作为配准模型的输入，能获取图像对间的稠密形变场(dense deformation field, DDF)和配准后的图像(${\mathit{\boldsymbol{I}}^{{\rm{Trans}}}} $)。本文配准模型结构如图 1所示，图中只展示了待配准图像对之间的正向转换过程，生成器为$G $，判别器为$D $。对于正向映射转换$ A$：$ \boldsymbol{I}^{\mathrm{M}} \rightarrow G_{A 2 B}\left(\boldsymbol{I}^{\mathrm{M}}\right) \rightarrow G_{B 2 A}\left(G_{A 2 B}\left(\boldsymbol{I}^{\mathrm{M}}\right)\right) \approx \boldsymbol{I}^{\mathrm{M}}, \boldsymbol{I}^{\mathrm{M}} \rightarrow \boldsymbol{I}^{\mathrm{F}}$；对于逆向映射转换$B: \boldsymbol{I}^{\mathrm{F}} \rightarrow \boldsymbol{I}^{\mathrm{M}}, \boldsymbol{I}^{\mathrm{F}} \rightarrow G_{B 24}\left(\boldsymbol{I}^{\mathrm{F}}\right) \rightarrow G_{A 2 B}\left(G_{B 2A}\left(\boldsymbol{I}^{\mathrm{F}}\right)\right) \approx \boldsymbol{I}^{\mathrm{F}} $。

本文配准模型的生成器结构如图 2所示，包含2组卷积层(卷积层1和卷积层2)、5组密集残差块(RRDB1, …, RRDB5)、6组反卷积层(反卷积层1, …, 反卷积层6)和最后一层卷积输出层。输入图像对为576×720像素大小，卷积层1使用64个9×9卷积核连接输入图像对，移动步距为1；5组密集残差块结构相同，图 2中仅给出了第1个密集残差块的结构，包含4个卷积层，每个卷积层由卷积核、批量归一化和激活函数组成，并使用64个3×3卷积核，步距为1；其中5组密集残差块的输出为卷积层2的输入，卷积层2使用64个3×3的卷积核，步距为1；为了使输出图像与输入图像的大小保持一致，通过6组反卷积层进行上采样，每一组反卷积层的结构参数相同，并使用256个3×3的卷积核，步距为1；最后一层卷积层输出使用3个9×9的卷积核，步距为1。

配准模型的判别器结构如图 3所示，包含1组卷积层(卷积层1)、7组卷积块(卷积块1, …, 卷积块7)、2个全连接层(全连接层1和全连接层2)和最后一个二分类层。生成器输出的配准图像为判别器的输入，卷积层1使用64个3×3卷积核连接输入图像对，并使用大小为1的滑动步距；7组卷积块结构相同，每一个卷积层由卷积核、批归一化和激活函数组成，卷积块1使用64个3×3卷积核，移动步距为1；卷积块2和卷积块3分别使用128个3×3卷积核，步距分别为1, 2；卷积块4和卷积块5分别使用256个3×3卷积核，步距分别为1, 2；卷积块6和卷积块7分别使用512个3×3卷积核，步距分别为1, 2；最后卷积块7的输出作为全连接层1的输入；二分类层输出判别器的反馈信号。

本文配准模型训练的目标是获取一个最优生成器函数$ G$。将生成器设定为一个前向传播的卷积神经网络${G_\theta } $，通过优化生成器的损失$ {L_{\rm{G}}}$获取最优参数${\bar \theta } $，使得前向网络达到最优。配准模型训练过程中，固定图像表示为$ \boldsymbol{I}_{n}^{\mathrm{F}}, n=1, 2, \cdots, N$，对应的浮动图像表示为$ \boldsymbol{I}_{n}^{\mathrm{M}}, n=1, 2, \cdots, N$，则最优参数${\bar \theta } $的表达式为

$ {\bar \theta = \mathop {{\rm{arg}}{\kern 1pt} {\kern 1pt} {\rm{min}}}\limits_\theta \frac{1}{N}\sum\limits_{n = 1}^N {{L_{\rm{G}}}} ({G_\theta }(\mathit{\boldsymbol{I}}_n^{\rm{M}}), \mathit{\boldsymbol{I}}_n^{\rm{F}})} $

(1)

$ {{G_\theta }(\mathit{\boldsymbol{I}}_n^{\rm{M}}) = {\mathit{\boldsymbol{I}}^{{\rm{Trans}}}}} $

(2)

将标准GAN中由逻辑回归法构造的交叉熵损失替换成最小二乘损失；在判别器网络中引入RaGAN的评估方式，以减少判别器的判别误差。标准GAN中的判别器估算真假样本的绝对可能性，对真样本输出的概率为1，对假样本的输出概率为0。本文引入RaGAN估算真假样本的相对可能性，增强判别器的约束条件，从而使生成器学习到更加清晰的边缘和纹理信息。

标准GAN中判别器的判别过程：$ D\left(\boldsymbol{I}^{\mathrm{F}}\right)=\sigma\left(C\left(\boldsymbol{I}^{\mathrm{F}}\right)\right) \rightarrow 1 ; D\left(\boldsymbol{I}^{\mathrm{M}}\right)=\sigma\left(C\left(\boldsymbol{I}^{\mathrm{M}}\right)\right) \rightarrow 0 $。

RaGAN的判别过程：$ D_{R a}\left(\boldsymbol{I}^{\mathrm{F}}, \boldsymbol{I}^{\mathrm{M}}\right)=\sigma\left(C\left(\boldsymbol{I}^{\mathrm{F}}\right)\right)-E\left(C\left(\boldsymbol{I}^{\mathrm{M}}\right)\right) \rightarrow 1, D_{R a}\left(\boldsymbol{I}^{\mathrm{M}}, \boldsymbol{I}^{\mathrm{F}}\right)=\sigma\left(C\left(\boldsymbol{I}^{\mathrm{M}}\right)\right)-E\left(C\left(\boldsymbol{I}^{\mathrm{F}}\right)\right) \rightarrow 0, \sigma$是Sigmoid函数，$C $是非变换判别输出，$ E$表示期望，${p_{{\rm{date}}}} $表示真实数据的分布。判别器的损失函数${L_D} $, 包含正向转换损失${L_{A2B}} $和逆向转换损失$ {L_{B2A}}$，其公式为

$ \begin{array}{l} {L_{A2B}} = {E_{{\mathit{\boldsymbol{I}}^{\rm{F}}} \sim {p_{{\rm{data}}}}({\mathit{\boldsymbol{I}}^{\rm{F}}})}}{(1 - D_{A2B}^{Ra}({\mathit{\boldsymbol{I}}^{\rm{F}}}, {G_{A2B}}({\mathit{\boldsymbol{I}}^{\rm{M}}})))^2} + \\ {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {{\rm{E}}_{{\mathit{\boldsymbol{I}}^{\rm{M}}} \sim {p_{{\rm{data}}}}({\mathit{\boldsymbol{I}}^{\rm{M}}})}}{(D_{A2B}^{Ra}({\mathit{\boldsymbol{I}}^{\rm{F}}}, {\mathit{\boldsymbol{I}}^{\rm{M}}}))^2} \end{array} $

(3)

$ \begin{array}{l} {L_{B2A}} = {E_{{\mathit{\boldsymbol{I}}^{\rm{M}}} \sim {p_{{\rm{data}}}}({\mathit{\boldsymbol{I}}^{\rm{M}}})}}{(1 - D_{B2A}^{Ra}({\mathit{\boldsymbol{I}}^{\rm{F}}}, {G_{B2A}}({\mathit{\boldsymbol{I}}^{\rm{M}}})))^2} + \\ {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {{\rm{E}}_{{\mathit{\boldsymbol{I}}^{\rm{F}}} \sim {p_{{\rm{data}}}}({\mathit{\boldsymbol{I}}^{\rm{F}}})}}{(D_{B2A}^{Ra}({\mathit{\boldsymbol{I}}^{\rm{M}}}, {\mathit{\boldsymbol{I}}^{\rm{F}}}))^2} \end{array} $

(4)

现有的配准方法大多数仅仅基于灰度特征构建相似性度量约束函数，但实际上不同模态的图像，灰度差异较大。鉴于此，本文将多特征约束引入到生成器的损失函数中，构造损失函数$ {L_{\rm{G}}}$，即

$ {L_{\rm{G}}} = {L_{{\rm{ con }}}} + {\omega _0}{L_{{\rm{ adv }}}} $

(5)

式中，$ {L_{{\rm{ con }}}}$为内容损失，$ {L_{{\rm{ adv }}}}$为对抗损失，$ {\omega _0}$为平衡损失的权重参数。

1) 构造内容损失。内容损失函数是对配准图像和固定图像的结构特征和灰度特征进行相似性评估，本文选用归一化互信息(normalized mutual information，NMI)、结构相似性度量(structural similarity index metric，SSIM)和欧氏距离(Euclidean distance，ED)进行评估，即

$ \begin{array}{*{20}{c}} {{L_{{\rm{con}}}} = - {L_{{\rm{NMI}}}}({\mathit{\boldsymbol{I}}^{{\rm{Trans}}}}, {\mathit{\boldsymbol{I}}^{\rm{F}}}) - }\\ {{L_{{\rm{SSIM}}}}({\mathit{\boldsymbol{I}}^{{\rm{Trans}}}}, {\mathit{\boldsymbol{I}}^{\rm{F}}}) + {L_{{\rm{ED}}}}({\mathit{\boldsymbol{I}}^{{\rm{Trans}}}}, {\mathit{\boldsymbol{I}}^{\rm{F}}})} \end{array} $

(6)

式中，$ {L_{{\rm{NMI}}}}$表示配准图像与固定图像之间的归一化互信息，其值越大，配准性能越好；$ {L_{{\rm{SSIM}}}}$表示矫正后的配准图像与固定图像之间的结构相似性度量，其值越大，配准性能也更好；$ {L_{{\rm{ED}}}}$表示配准图像与固定图像之间的像素点二范数距离，其值越小，配准性能越好。

2) 构造对抗损失。对抗损失函数包括两部分：

(1) 对抗损失函数$ {L_{{\rm{ adv }}}}$，能够根据图像的灰度和结构信息对固定图像和浮动图像进行约束，正向映射转换的对抗损失为$ L_{A2B}^{{\rm{adv}}}$，逆向映射转换的对抗损失为$L_{B2A}^{{\rm{adv}}} $，即

$ \begin{array}{l} {\kern 1pt} {\kern 1pt} L_{A2B}^{{\rm{adv}}} = {E_{{\mathit{\boldsymbol{I}}^{\rm{F}}} \sim {p_{{\rm{data}}}}({\mathit{\boldsymbol{I}}^{\rm{F}}})}}{(D_{A2B}^{Ra}({\mathit{\boldsymbol{I}}^{\rm{F}}}, {\mathit{\boldsymbol{I}}^{\rm{M}}}))^2} + \\ {E_{{\mathit{\boldsymbol{I}}^{\rm{M}}} \sim {p_{{\rm{data}}}}({\mathit{\boldsymbol{I}}^{\rm{M}}})}}{(1 - D_{A2B}^{Ra}({\mathit{\boldsymbol{I}}^{\rm{F}}}, {G_{A2B}}({\mathit{\boldsymbol{I}}^{\rm{M}}})))^2} \end{array} $

(7)

$ \begin{array}{l} {\kern 1pt} {\kern 1pt} L_{B2A}^{{\rm{adv}}} = {E_{{I^M} \sim {p_{{\rm{data}}}}({\mathit{\boldsymbol{I}}^{\rm{M}}})}}{(D_{B2A}^{Ra}({\mathit{\boldsymbol{I}}^{\rm{M}}}, {\mathit{\boldsymbol{I}}^{\rm{F}}}))^2} + \\ {E_{{\mathit{\boldsymbol{I}}^{\rm{F}}} \sim {p_{{\rm{data}}}}({\mathit{\boldsymbol{I}}^{\rm{F}}})}}{(1 - D_{B2A}^{Ra}({\mathit{\boldsymbol{I}}^{\rm{M}}}, {G_{B2A}}({\mathit{\boldsymbol{I}}^{\rm{F}}})))^2} \end{array} $

(8)

式中，$ {D_{A2B}^{Ra}({\mathit{\boldsymbol{I}}^{\rm{F}}}, {\mathit{\boldsymbol{I}}^{\rm{M}}})}$表示浮动图像与固定图像相似的输出概率值，${{E_{{\mathit{\boldsymbol{I}}^{\rm{F}}} \sim {p_{{\rm{data}}}}({\mathit{\boldsymbol{I}}^{\rm{F}}})}}} $为其对应的期望值，${D_{A2B}^{Ra}({\mathit{\boldsymbol{I}}^{\rm{F}}}, {G_{A2B}}({\mathit{\boldsymbol{I}}^{\rm{M}}}))} $表示配准图像与固定图像相似的输出概率值，${{E_{{\mathit{\boldsymbol{I}}^{\rm{M}}} \sim {p_{{\rm{data}}}}({\mathit{\boldsymbol{I}}^{\rm{M}}})}}} $为其对应的期望值。

(2) 循环一致性损失${L_{{\rm{ cyc }}}} $，能够确保像素位移矢量场的稳定性，通过双向循环控制，提高配准图像的精度。

循环一致性损失函数表述为

$ \begin{array}{*{20}{l}} {{L_{{\rm{ cyc }}}} = {E_{{\mathit{\boldsymbol{I}}^{\rm{F}}}}}{{\left\| {{G_{A2B}}({G_{B2A}}({\mathit{\boldsymbol{I}}^{\rm{F}}})) - {\mathit{\boldsymbol{I}}^{\rm{F}}}} \right\|}_1} + }\\ {{\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {E_{{\mathit{\boldsymbol{I}}^M}}}{{\left\| {{G_{B2A}}({G_{A2B}}({\mathit{\boldsymbol{I}}^{\rm{M}}})) - {\mathit{\boldsymbol{I}}^{\rm{M}}}} \right\|}_1}} \end{array} $

(9)

对抗损失函数为

$ {L_{{\rm{adv}}}} = L_{A2B}^{{\rm{adv}}} + L_{B2A}^{{\rm{adv}}} + {\omega _1}{L_{{\rm{cyc}}}} $

(10)

式中，$ {\omega _1}$为平衡损失的权重参数。

本文实验硬件环境：Intel i7-9700K CPU，RTX 2080Ti显卡；软件环境为Ubuntu 18.04 LTS操作系统，cuda9.2, cudnn 7.5.1。深度学习算法框架Tensorflow1.10.0，配准模型的训练和验证均在Tensorflow环境下完成。

采用与Mahapatra等人(2018)相同数据集进行实验，数据集为DRIVE(digital retinal images for ressel extraction)Dataset和Sunybrook Cardiac Dataset，其中DRIVE Dataset用于配准模型的训练和验证，Sunybrook Cardiac Dataset用来测试配准模型泛化能力；同时在Mahapatra等人(2018)研究的基础上增加了两组对比实验，在心脏数据集上增加了一组心脏收缩时期的配准实验，在Brain MRI Dataset上增加了一组不同模态脑部核磁共振图像配准实验。

采用与Mahapatra等人(2018)相同的性能评估指标：平均配准误差(Err_Def, 计算预测的像素位移矢量场与已知的像素位移矢量场之间的误差)、灰度均方误差(mean square error, MSE)、平均像素重叠比(Dice)、Hausdroff距离(Hausdraff distance, HD)和平均绝对距离(mean absolute distance, MAD)。

采用的数据集DRIVE Dataset，包含39 000个图像对，将已经配准的26个图像对作为验证数据集，剩下的38 974对图像作为训练数据集。选择与Mahapatra等人(2018)相同的训练、验证过程，即先在扩增后的眼底视网膜数据上进行训练，并用眼底视网膜的验证数据集检测模型的有效性。

为了进一步测试配准模型的迁移学习能力，再将训练好的配准模型在跨域数据集(心脏数据集和脑部数据集)上测试性能。首先在Sunybrook Cardiac Dataset上相比于Mahapatra等人(2018)多增加了一组心脏收缩时期的配准实验，同时对心脏舒张和收缩两个不同时期图像进行配准实验，与主流的几种配准算法进行定量和定性分析对比；然后增加一组不同模态脑部2维切片图像的配准测试实验，同样进行定量和定性分析，进一步验证本文配准模型的配准精度和稳定性。

本文网络中的权重参数是根据矫正后的图像与固定图像间平均Dice值确定的。根据平均Dice值去除部分效果不理想的权重参数值，仅列出了效果较好的权重参数$ {\omega _0}$和$ {\omega _1}$，如表 1所示。

具体的参数选定通过控制变量法实现：先固定式(5)损失函数的权重参数$ {\omega _0}$，随着Epoch值的不断增加，平均Dice值逐渐递增。当平均Dice值达到收敛时，迭代停止。然后再改变值$ {\omega _0}$，重新迭代计算平均Dice。全局最大的平均Dice值所对应的Epoch即为网络的Epoch数量，所对应的时间也即是训练的时间，此时也对应一个最佳的$ {\omega _1}$值。

根据多次循环实验的结果，依据平均Dice值取得最佳值时(如表 1中加粗的平均Dice值)以及图 4中的最佳平均Dice值，确定权重参数的取值为：$\omega_{0}=10^{-3}, \omega_{1}=10^{1} $。

将本文算法与Klein等人(2010)、Sokooti等人(2017)、de Vos等人(2017)、Balakrishnan等人(2019)以及Mahapatra等人(2018)的方法进行对比，选择具有代表性的视网膜图像配准结果进行展示，如图 5所示。由于视神经周围血管交叉分布密集，为方便观察，将该区域放大100倍并用方框框出，其中本文算法以及固定图像的ground truth用红色框出，对比方法用绿色框出。

从图 5 (c)-(f)可以看到，主干血管得到适当矫正，但是在分支血管和血管拐角区域没有得到较好的矫正，与图 5 (a)还存在较大差距。Mahapatra等人(2018)方法对应的图 5 (g)相比前面4种配准方法，血管的非线性变形区域得到较好的矫正，但是在主干血管和分支血管的边缘区域仍存在小的变形，且边缘纹理清晰度与固定图像还有一些差异。而图 5(h)与固定图像图 5(a)更接近，主干血管和分支血管的粗细更均匀、边缘区域更加清晰、弯曲变形也得到矫正，从而表明本文算法的配准效果更好。

为了进一步验证本文算法的有效性，进行了定量分析，实验结果如图 6和表 2所示。图 6的箱形图高度反映了评估值的波动程度，其高度越小表示评估数据越集中性能越好；Dice值越大、HD距离和MAD距离值越小，配准性能越好；表 2中的数值为26组验证数据的平均值。Klein等人(2010)、Sokooti等人(2017)、de Vos等人(2017)和Balakrishnan等人(2019)的方法得到的HD和MAD相对于配准前有所降低，平均Dice值有所增加，但是性能提升的幅度不大。Mahapatra等人(2018)的方法相对其他4种对比方法提升更多，这是由于其方法将残差块引入到GAN中，通过跳跃连接融合了多层残差块的特征信息，从而能提取到更多的特征信息，此外在总的损失函数中增加了两项评估结构相似性的约束函数。本文算法的配准效果最好，配准图像与固定图像间的HD和MAD均有明显减小，而平均Dice值有较大增加。这是因为Mahapatra等人(2018)的SRGAN方法通过标准残差块提取待配准图像对的有效特征信息，在提取特征信息时出现部分特征信息丢失；而本文的ESRGAN是使用密集残差块替换标准残差块，通过多层残差网络的密集连接，更好地提取输入待配准图像对更多的高层特征信息，能缓解有效特征信息丢失的问题，从而提高配准精度。此外，利用最小二乘法构造损失函数，同时在判别器网络中引入RaGAN进行网络模型的训练。定性分析和定量结果均表明，本文算法对不同模态视网膜眼底图像的配准效果较好。

以Mahapatra等人(2018)方法为基础，用最小二乘法损失替换其用逻辑回归构造的交叉熵损失。如图 7所示，随着迭代次数的增加，本文配准模型的Dice值逐渐递增，变化幅度相比Mahapatra等人(2018)更加平稳，本文最佳迭代次数为80 000；Mahapatra等人(2018)方法的最佳迭代次数为100 000。故本文方法能够促进配准模型更快、更稳定地收敛。

为了验证泛化能力，将本文配准模型进行跨模态数据集测试，即在心脏核磁共振图像数据集(Sunybrook Cardiac Dataset)和脑部核磁共振数据集(Brain MRI Dataset)上进行测试。

第1组测试实验使用心脏数据集，包含45个核磁共振心脏图像，每一幅心脏图像是由20个不同时间点的心脏切片图组成。该数据集是一个单模态动态图像的配准问题，心脏数据集中的图像存在外轮廓在舒张和收缩时期的动态非线性变形，将第1帧图像作为固定图像，其他帧图像均作为浮动图像。本次实验是对心脏舒张和收缩两个不同时期的外轮廓变形实现配准，并与Klein等人(2010)、Sokooti等人(2017)、de Vos等人(2017)、Balakrishnan等人(2019)以及Mahapatra等人(2018)的方法进行对比，配准结果如图 8和图 9所示。

从图 8(c)-(f)可以看到，虽然心脏外轮廓得到了适当矫正，但是与固定图像差异仍然较大，Sokooti等人(2017)的配准图像外轮廓整体向外偏移，Balakrishnan等人(2019)的配准图像外轮廓整体向内缩进，Klein等人(2010)和de Vos等人(2017)对心脏变形轮廓的整体形状没有完全矫正，在较大形变区域与图 8(a)还存在很大的偏差。Mahapatra等人(2018)虽然矫正了变形的外轮廓，与固定图像的重合度相比前面4种方法更高，但是配准图像的边缘区域还不够平滑，与固定图像相比还存在小范围的变形。而本文算法(图 8(h))不仅实现外轮廓的矫正，而且外轮廓边缘平滑，与固定图像的外轮廓吻合度较好。在心脏收缩时期，心脏外轮廓的形变区域比较集中，所以配准难度更大，从图 9(c)-(f)可以看到，本文算法得到的配准图像与固定图像重合程度更高，在较大非线性变形区域，同样能得到较好的矫正。

定量结果如表 3所示，Klein等人(2010)、Sokooti等人(2017)、de Vos等人(2017)和Balakrishnan等人(2019)得到的HD和MAD相对于配准前有所降低，平均Dice值有所增加但是性能提升的幅度不大。Mahapatra等人(2018)虽然比上述4种方法要好，但是该配准方法不能完全矫正心脏外轮廓比较密集的非线性形变。而本文算法得到的HD和MAD距离有较大幅度减少，平均Dice值相比Mahapatra等人(2018)方法增加了0.03；相比配准之前增加了0.26。从而表明本文算法的配准性能要优于上述5种主流的配准方法，证明了本文配准模型的有效性。

采用Brain MRI Dataset进行配准性能测试。脑部图像的结构较复杂，为便于对脑部图像进行深入研究，医学专家们通常对脑部图像中54个感兴趣的区域(regions of interest，ROI)添加了相应的位置标签。本文展示了具有代表性的脑部切片的配准结果，并与几种主流配准方法进行对比，配准结果如图 10所示。为便于观察，对覆盖范围最大的脑室区域(左脑室或右脑室)放大100倍。其中本文算法和固定图像的ground truth用红色框出，参与比较的配准方法用蓝色框出。

从图 10可以看到，相比前5种配准方法，本文配准在不同组织拐角处交汇区域得到较好矫正，而且拐角部位平滑度更高，与固定图像也更相似，从而表明本文算法的配准效果优于其他几种配准方法。

定量结果如图 11和表 4所示，图 11的柱状图表示配准图像与固定图像间关于医学专家标注过的54个不同ROI的Dice系数值的分布情况，横坐标表示54个不同ROI，纵坐标为Dice系数值。本文算法得到的配准图像与固定图像间的HD和MAD距离有较大幅度减少；平均Dice值也得到了一定的提升，相比Mahapatra等人(2018)方法增加了0.015。脑部切片图像的配准实验进一步表明本文配准模型的有效性。

提出一种结合密集残差块和GAN的医学图像非刚性配准方法。该方法将密集残差块引入生成器，提取待配准图像对中更多高层特征信息，从而提高了医学图像非刚性配准的精确度；用最小二乘损失代替标准GAN中用逻辑回归法构造的交叉熵损失，由于最小二乘损失的收敛条件更严格，促进配准模型的快速收敛，在一定程度上缓解网络训练的梯度消失和过拟合问题，从而提高了配准模型在训练阶段的稳定性；此外，提出的模型在判别器中增加了RaGAN，增强判别约束，降低判别误差，即估算固定图像与配准图像的相对真假的可能性，基于增强后的判别器，帮助生成器学习到更加清晰的边缘和纹理信息，从而减少了配准误差，辅助性地稳定了配准精度。最后在视网膜眼底数据集上进行训练和验证，在心脏数据集和脑部数据集上进行泛化性能测试，并与目前主流的医学图像配准方法进行比较。实验结果表明，提出模型的配准精度和泛化能力均有一定程度的提升。但是本文的训练是基于有限的数据集，通过传统扩增方法获取，且不能较好模拟图像的真实变形。下一步将开展基于GAN自动生成眼底视网膜图像，实现训练数据集的扩增。此外还将研究3维医学图像的配准。