脑部磁共振图像可以为医生提供丰富的脑组织信息以辅助临床诊断，去除颅骨是脑部医学图像分析中非常重要的图像预处理步骤，其结果的质量会影响后续分析的准确性，如影响图像配准、脑组织分割以及脑区体积分析等。通常，颅骨分割的金标准需要经验丰富的医生进行手动划分，费时费力。另外由于脑部组织结构的复杂性以及采集设备噪声、场偏移效应等的影响，脑部磁共振图像不可避免会产生模糊、灰度不均匀等问题，采用传统的分割方法并不能准确地将颅骨与脑室分割开来，上述因素促进了自动颅骨分割方法的发展。

相关专家和学者已经提出了许多脑部自动提取方法。Archibald等人(2003)基于Gegenbauer重建方法对采集的脑部数据进行分割预处理，来改进脑组织分割。Rex等人(2004)提出了脑提取元算法(brain extraction meta-algorithm，BEMA)来解决不同方法在不同数据上分割结果具有差异性的问题，并行执行多个提取算法和运算过程，以智能方式组合并获得优于任何单个算法的改进结果。Huang等人(2006)结合期望最大化(expectation maximization，EM)算法与数学形态学，降低脑部皮质区域的分类失误率。Somasundaram和Kalaiselvi(2010)针对T2加权MRI(magnetic resonance imaging)的脑部提取，加入低通滤波器进行数据预处理，将阈值分割与最大连接成分分析结合，提高提取大脑的准确度。基于这些方法，已经开发了许多脑颅骨自动分割软件，如BrainSuite 18a软件中的脑部区域提取的方法(brain surface extractor，BSE)(Shattuck，2001)、FSL(the fmrib software library)的脑提取方法(brain extraction tool，BET)(Smith，2002)和基于学习的鲁棒性大脑提取(robust brain extraction，ROBEX)(Iglesias等，2011)等。在这些方法中，当特征未被识别或脑部区域和颅骨未正确分离时，就会发生分割异常。此外BET和BSE在进行颅骨分割的时候都需要手动设置参数，并没有像ROBEX达到全自动分割，以上方法的分割结果与金标准相比仍有一定差距(Sara等，2014)。

卷积神经网络(convolutional neural network，CNN)和基于深度学习的方法在医学图像分割中取得了出色的表现，其分割准确度接近于专家手动标记。大量脑部MRI的颅骨分割方法相继提出。Kleesiek等人(2016)首次提出了一种3D卷积神经网络结构，用于不同模态脑部MRI的大脑提取，但是Kleesiek采用3D的网络结构较为简单，限制了网络学习更多特征的能力。Valvano等人(2018)提出了一种以2D U-Net(Ronneberger等，2015)为基线改进的卷积神经网络，同时加入了数据增强操作，分割精度比常用的颅骨分割软件高。Han等人(2018)提出了一种基于主成分分析(principal components analysis, PCA)的模型，专门用于从脑部病理图像中提取大脑。Lucena等人(2019)针对在专家标记数据不多的情况下，使用银标准掩膜来训练卷积神经网络，以期达到金标准的效果。Liu等人(2019)考虑到3维网络模型具有较高的计算成本和GPU内存限制，将特征融合模块转换为2D编码模块和3D空间编码模块，以提取区域和空间特征，最后将二者结合，这样既减少了计算量又增强了网络学习能力。Hwang等人(2019)提出了一种基于3D U-Net的端到端深度学习的分割模型，分割精度有了一定提高。但是3D网络模型具有太多参数，训练时间较慢而且测试过程要加载过多参数。

以上网络模型虽然在公开数据集上都有了较好的分割效果，但仍存在一个共性问题，即泛化能力一般，也就是说在一个数据集上表现良好，而在另一个数据集上表现欠佳，并且分割精度仍需要提高。如何提升模型的泛化能力是亟待解决的一个关键问题。

为了提高模型的泛化能力和分割精度，研究学者们以U-Net模型为基础，对分割模型进行改进。Jégou等人(2017)用密集连接卷积块(Huang等，2017)代替常规卷积操作，提高了网络模型的可训练性。Li等人(2018)提出了DeepUNet模型，将残差网络思想(Szegedy等，2017)应用于网络模型的下采样块和上采样块中，比U-Net分割精度要高2%。在改变卷积方法的同时，也有人在讨论如何设计模型的宽度和深度以实现高性能。Zhou等人(2018)提出了U-Net++模型，其中编码器和解码器子网通过一系列嵌套的密集跳跃连接，重新设计了基线网络中的跳跃连接方式，减少编码器和解码器子网的特征图之间语义信息的差距，并在多个公共医学图像数据集上实现了比U-Net更好的精度。上述改进方法表明，改进卷积方法以及网络结构，可以提高模型的学习能力以及分割精度。

基于这一思想，本文提出了一种深度迭代融合的卷积神经网络模型(deep iteration fusion net, DIFNet)，以期提高脑部磁共振图像中颅骨分割的准确度以及模型的泛化能力。主要框架思想是将不同层之间的特征联系起来，跨通道和跨深度的语义信息融合可以提高对学习任务的认知，通过自下而上的特征迭代融合，丰富的深层特征会最大化还原。另外更深层次的融合可以获得不同层的信息，同时以迭代和分层方式合并特征，使模型具有更高的学习能力和更少的参数。此外，采用残差卷积模块替换传统卷积，以使得浅层语义信息更易流入深层网络中，提取更丰富的语义信息，增强网络模型的可训练性。同时，增设双路上采样模块，利用空洞卷积扩大感受野区域，以便还原出更多细节特征，从而有利于细节分割。

传统U-Net模型结构由编码器和解码器构成，如图 1(a)所示，浅层特征图通过长跳跃连接直接与深层特征图融合，深层特征图通过上采样操作加上相应的浅层特征图，弥补了编码器过程中池化操作带来的损失，加快网络学习目标特征。在网络深层结构中，感受野区域较大，能获取更多区域或者全局语义信息; 而在网络浅层结构中，感受野区域较小，获取的特征多包含细节信息。为了加深深层特征与浅层特征之间的融合，本文拓扑了U-Net结构，提出了深度迭代融合模块，如图 1(b)所示。为了保证深层的语义信息能最大化还原，解码器中增设一路，也就是采用两路上采样的方式，同时两路之间由短跳跃连接联系。不同大小的感受野，对图像中大小不一的分割目标敏感程度不同，通过自下而上地将浅层与深层特征进行迭代融合，可以获取不同层次的特征，增强模型对分割目标特征的学习。

DIFNet网络的具体结构如图 2(c)。DIFNet具有编码器和解码器结构，整体骨干结构采用的是深层迭代融合思想。在编码器路径上由残差模块(Res Block)和步幅为2的最大池化层组成。在解码器路径中设置了上采样模块(Upsampling Block)，采用双路上采样的方式，确保上采样操作能还原更多特征信息。输入的数据首先通过4次Res Block和池化操作，每次执行完池化操作，特征图的尺寸减半，通道数量增加一倍。最后一层采用Res Block操作，提取深层语义信息，然后采用Upsampling Block执行相同次数的上采样，每次执行完上采样操作，输出特征图的分辨率大小增加一倍。在网络结构的中间阶段，加入深层迭代融合的思想，取代U-Net中编码器的特征信息直接与相应层的解码器信息融合操作，将编码器输出的特征图通过上采样扩大一倍，并使用相同大小分辨率的编码器输出特征图进行加法运算，这种连接方式可以对池化操作后丢失的浅层特征信息进行补充，同时确保将特征信息完整地输入到深层阶段。深层特征融合将解码器的深层与中间层输出的特征图进行串联合并，并进行一个卷积操作，将不同层之间的特征进行融合，也增大了提取到的特征数量。最后，模型加入SoftMax，用于分类分割结果。

在编码器阶段加入残差卷积模块，如图 2(a)所示。残差卷积模块中加入了ReLU激活函数，同时在模块最后的输出中也加入了ReLU激活函数。模型中的卷积核大小统一设置为3×3，步长为1×1。在设置卷积核大小的时候，选择较小的而不是较大的卷积核，因为两个连续的3×3卷积层的感受野与5×5卷积层的感受野相同，并且前者的计算参数要远少于后者。

对于残差卷积模块，均为

$ \boldsymbol{x}_{l+1}=f_{c}\left(f_{r}\left(\boldsymbol{x}_{l}\right)\right)+\boldsymbol{x}_{l} $

(1)

式中，$ {f_r}\left(\cdot \right)$为卷积操作后加入ReLU激活函数，${f_c}\left(\cdot \right) $为卷积操作，$ {\mathit{\boldsymbol{x}}_l}$为输入的特征图，${\mathit{\boldsymbol{x}}_{l + 1}} $为残差卷积模块的输出。

本文提出的上采样模块如图 2(b)所示，以对编码器输出的特征图进行上采样。上采样模块具有双路结构，其中反卷积层包含不同大小的卷积核，即1×1和3×3。左侧路径包含多个反卷积层，并且每个层具有反卷积后的批标准化(batch normalization, BN)和ReLU激活函数。为了增加感受野的大小，在右侧路径中添加了一个卷积核为3×3的空洞卷积。最后使用步长为2的反卷积层对左侧和右侧生成的特征图扩大两倍，并通过相加操作输出为最终特征图，即

$ \boldsymbol{x}_{l+1}=f_{d}^{2}\left(f_{d}\left(\boldsymbol{x}_{l}\right)\right)+f_{d}^{2}\left(f_{k}\left(f_{d}\left(\boldsymbol{x}_{l}\right)\right)\right) $

(2)

式中，$ {f_d}\left(\cdot \right)$代表反卷积操作加BN和ReLU，${f_k}\left(\cdot \right) $为空洞卷积，$f_d^2\left(\cdot \right) $为步长为2的反卷积操作。

在上采样模块中的卷积核数量逐渐增加。模块中采用不同的卷积核大小可以获取不同感受野区域的特征信息。设计双路上采样结构，主要优点是通过不同上采样操作将输出的特征图融合。如果仅使用反卷积层对输入的特征图进行上采样不能准确地还原细节信息，也就导致分割结果精度达不到最优。本文上采样模块，使用不同卷积核大小的反卷积层能获取到不同的特征，将最后的结果进行融合，一定程度上减少深层语义特征信息损失。

为了避免过度拟合，在本文模型中，每个Res Block和Upsampling Block之后添加Dropout操作(Srivastava等，2014)，利于网络模型训练。

在图像分割任务中，常用交叉熵作为损失函数，交叉熵损失函数将每个像素点的类预测概率与相应的热编码标签数据进行比较，最后将结果求平均值，也就是这个图像分割的效果是由平均值决定的。但是，对于医学图像常有类别不均衡的问题，使用交叉熵作为损失函数导致训练结果会被非感兴趣区域类主导，降低网络的分割性能。因此本文采用Dice损失函数训练网络。Dice通过计算网络的预测图像与对应标记图像的重合程度来评价分割效果。重合区域越大，Dice损失函数值则会越小。同时为了避免过拟合，在损失函数中引入L2正则，即总体损失$ L$为

$ \begin{array}{c} L = \\ 1 - \frac{{2\sum\limits_{x \in {\mathit{\boldsymbol{N}}_L}} \mathit{\boldsymbol{p}} (\mathit{\boldsymbol{x}})\mathit{\boldsymbol{g}}(\mathit{\boldsymbol{x}})}}{{\sum\limits_{x \in {\mathit{\boldsymbol{N}}_L}} \mathit{\boldsymbol{p}} (\mathit{\boldsymbol{x}}) + \sum\limits_{x \in {\mathit{\boldsymbol{N}}_L}} \mathit{\boldsymbol{g}} (\mathit{\boldsymbol{x}}) + e}} + \frac{\lambda }{{2n}}\sum {{w^2}} \end{array} $

(3)

式中，$\mathit{\boldsymbol{p}}(\mathit{\boldsymbol{x}}) $是模型预测图，${\mathit{\boldsymbol{g}}(\mathit{\boldsymbol{x}})} $是专家手动分割掩膜，$ {{\mathit{\boldsymbol{N}}_L}}$是每个类别的像素，$e $为公差，$\lambda $是正则项系数，$n $是所有参数的总数，$ w$是模型中参数。

使用公开数据集NFBS(neurofeedback skull-stripped)(Puccio等，2016)对本文方法进行验证。该数据集包含来自21-45岁的125位参与者的T1加权脑部MRI，图像分辨率为256×256×192像素，每位参与者数据都有专家手动去除颅骨的分割掩膜，如图 3所示。本文使用该数据集进行训练、验证和初步评估。此外将在NFBS数据集上训练好的模型应用于另一个数据集LPBA40(loni probabilistic brain atlas 40)(Shattuck等，2008)进行进一步评估。该数据集由40位参与者的T1加权核磁共振图像及相应的专家手动标记的去除头骨数据组成。

为了解决过拟合问题，在训练过程中使用了数据增强技术，同时增加模型的鲁棒性和泛化能力。采用外部数据增强技术提前将数据进行平移、旋转、缩放等图像增强然后再利用增强后的数据训练模型，这样产生的问题是训练一个epoch时间过长，增加了网络训练时间。本文采用的数据增强方法为内部增强，即网络输入数据后，进行数据增强操作，如图 4所示。首先，给定一个数值区间，每个输入数据在这个区间内随机选择一个数值作为缩放因子，然后随机选择缩放图像上的点作为中心点裁剪固定大小，最后将裁剪后的数据送入网络进行训练。

采用3个指标对分割结果进行评价，分别为：Dice值、灵敏度($ S$)、特异度($ P$)。通过将预测输出图像$ \boldsymbol{P}$与专家手动分割的掩膜$ \boldsymbol{R}$重叠来计算Dice值，具体定义为

$ \begin{array}{c} { Dice }=\frac{2|\boldsymbol{P} \cap \boldsymbol{R}|}{|\boldsymbol{P}|+|\boldsymbol{R}|}=\frac{2 T_{P}}{2 T_{P}+F_{P}+F_{N}} \\ \\ \end{array} $

(4)

$ S=\frac{T_{P}}{T_{P}+F_{N}} $

(5)

$ P=\frac{T_{N}}{T_{N}+F_{P}} $

(6)

式中，$ {{T_P}}$表示正确预测的脑组织部分，${{T_N}} $表示正确预测的非脑组织部分，$ {{F_P}}$表示将非脑组织部分预测为脑组织，$ {{F_N}}$表示将脑组织部分预测为非脑组织。Dice值越接近1，表示预测结果与手动分割掩膜越接近，分割结果越准确。灵敏度是正确分类脑组织标签的度量，其大小可以确定网络模型分割脑室的效果。特异度是用来计算输出类别的正确分类标签的度量，其值越高说明网络模型将颅骨与脑室分割的效果越好。

本文所有网络模型均在TensorFlow平台上实现。采用Momentum优化器，参数$ \beta $ = 0.9，每组实验都训练100个epoch，初始学习率设置为1E-3，训练10个epoch后学习率减少为6E-4，50个epoch后学习率设置为1E-4。本文网络参数的权重采用L2正则化，系数$\lambda $为1E-4。上采样模块中均加入了BN操作，加速训练收敛。使用NFBS数据集进行训练模型时，按照4 :1的比例，将数据集随机划分为训练集和验证集。使用LPBA40数据集来测试模型。

为了验证本文模型框架在脑图像分割中的有效性，分别在原有的2D U-Net模型中加入本文的Res Block和Upsampling Block，形成Res-U-Net和Up-U-Net模型，并对比分析了本文模型与传统方法以及U-Net，Res-U-Net和Up-U-Net的分割结果。

图 5显示了训练过程中不同模型在验证集上Dice值的变化。在前10个epoch内，Up-U-Net的收敛速度比Res-U-Net和U-Net快，尽管中期波动较大，但在后期会逐渐收敛，与Res-U-Net验证精度相差不大，比基准网络高一些，说明加入这些模块在后的基准模型精度会有所提升。而本文方法在训练的早期阶段模型收敛最快，学习特征能力较强，后期阶段Dice值并没有波动，趋于稳定，说明在颅骨分割任务上比基准网络具有更好的性能。

为了验证模型颅骨分割的性能，使用两个数据集进行实验。在NFBS验证数据集上分别与BET、BSE、ROBEX、U-Net、Up-U-Net和Res-U-Net进行比较。然后使用在NFBS数据集训练好的DIFNet模型，直接分割LPBA40数据集，不做任何相关训练，以此验证模型的泛化能力。

图 6是在NFBS数据集上模型预测的结果，其中红色矩形表示分割失败的区域，未将颅骨组织剔除或者过度分割。图中BET和BSE的结果是手动调参3次以上获得的，尽管如此在部分数据上还会出现过度分割的现象。常用的颅骨分割方法并不能完全将颅骨与脑室分割开。ROBEX方法虽然不需要手动调参，但是分割结果不稳定，也会出现过度分割的现象。用深度学习的方法，把整幅图像输入到网络进行测试。U-Net网络的分割结果在细节上比Res-U-Net、Up-U-Net表现较差，分割目标较小时，往往无法准确分割出脑室。本文方法的分割结果与金标准相近，在脑实质边缘处分割结果较为平滑，没有出现过度分割的现象。

图 7是在LPBA40数据集上从3个方向展示测试的结果。从图中可以看出，BSE和ROBEX都会将脑室边缘区域错误分割，出现过度分割的现象，BET则不能完全将颅骨分割出去。为了进一步验证DIFNet模型的泛化能力，将同时在NFBS数据集训练好的U-Net、Res-U-Net和Up-U-Net模型去测试LPBA40数据集，这3种模型都出现了过度分割的现象，分割结果中也都出现了噪点，导致整个图像的灰度值范围与其他方法差异较大，从图中可以看出这3种模型分割结果亮度偏暗。从矢状方向和冠状方向，可以看出Res-U-Net和Up-U-Net模型并不能完全将颅骨与脑部区域分割开，图像中存在不连续的颅骨组织，并且脑部下的颈部区域也不能很好剔除。这3种模型的分割结果与常用的3种软件相比，相差较大。而本文方法在NFBS数据集上学习到的知识应用于LPBA40上，并没有因为采集设备、图像灰度、图像分辨率不同而分割较差，从3个方向相比都优于常用的去除颅骨软件和基线模型的分割结果。

为了更直观地体现本文方法在颅骨分割任务上的性能优势，从Dice值、灵敏度、特异度和模型参数上与常用的方法和模型进行比较。表 1是在NFBS数据集上多种方法的评价指标对比。可以看出，本文模型在Dice值、灵敏度和特异度上均为最高。常用的颅骨分割方法的分割精度比深度学习的方法都要低，表明用深度学习的方法更能准确分割出脑室与颅骨。Up-U-Net与2D U-Net相比有了0.1的提升，说明使用上采样模块替代简单的反卷积操作可以还原更多的特征信息。但是Res-U-Net的Dice值并没有多大提升，可以看出仅增加模型的深度并不能带来更好的效果。

图 8给出了不同方法对NFBS数据测试集上分割结果的盒形图，更加直观地表现出多种方法对25个脑部MRI数据的统计分割结果。可以看出，BET和BSE在3个评价指标的盒形图中数值波动区间较大，说明这两个分割方法对不同数据分割结果差异性较大，对样本较为敏感。

ROBEX分割结果较为稳定，U-Net的灵敏度区间相比其他方法有较多异常值，说明分割效果不稳定，在部分数据中分割脑室结果较差。Up-U-Net的Dice值分布区间比U-Net稳定，同时在特异度区间中前者都高于后者，说明增强上采样操作，能促使模型性能更加稳定。在特异度盒形图中，Res-U-Net并没有表现得很好，中位线与ROBEX相近，区分脑室与颅骨组织结果较差。相对本文方法，Dice值盒形图和灵敏度盒形图，最大值与最小值之间的差值最小，比其他方法都稳定。

为了验证本文方法的泛化能力，表 2定量对比了不同模型在采用NFBS数据集训练后，直接用于LPBA40数据集测试分割得出的定量分析结果。可以看出，传统方法并没有取得良好的结果，也进一步表明LPBA40数据集的复杂性高于NFBS数据集，使用传统分割软件无法取得较好的分割结果。而采用深度学习的方法，U-Net、Up-U-Net和Res-U-Net并没有像之前在NFBS上表现良好的分割精度，本文方法在几种方法对比中性能都是最高的，也验证了DIFNet的泛化能力优于其他模型。

本文提出了一种深度迭代融合的卷积神经网络模型DIFNet，用于脑部MRI图像去颅骨分割。该模型采用编码器和解码器结构，中间加入短跳跃连接，加强不同层之间特征的融合。在编码器路径上加入了残差卷积模块，优化模型学习特征能力；在解码器中加入了双路上采样模块，还原出更加细节的特征；中间跳跃连接层由多个上采样迭代融合形成，加快了浅层语义信息输入到深层网络中，从而提高分割的精度。为了验证模型分割的准确性和所提模型分割的泛化能力，采用部分NFBS数据集进行训练，并利用剩余数据集进行测试，同时采用独立数据集LPBA40测试，实验结果表明，与现在流行的传统分割方法相比，本文模型在Dice值上提高了至少3.91%，同时与深度学习分割方法相比，本文模型在3个评价指标上都是最高的，尤其是在独立数据集LPBA40上，Dice值至少较其他模型高出16.47%，其鲁棒性明显高于其他模型。虽然本文模型可以较好地去除颅骨，在后续工作中，如何进一步优化网络模型、调节网络参数，使模型适合于脑组织区域的细化分割是未来的主要研究内容。