海马体、壳核、尾状核等深层脑结构的结构变化与很多脑部疾病密切相关^[1]。磁共振图像可以对脑和神经系统等软组织进行高分辨率成像，是大脑结构分析的有效临床方法。脑磁共振图像(MRI)的精确分割和定量分析，可用于脑组织和脑结构的体积测量，辅助医生对疾病进行判断及治疗。近年来，MRI的自动分割受到越来越多学者的关注^[2-5]。

Ronneberger等人^[6]在FCN(fully convolutional network)的基础上提出了U-Net网络结构，该方法参加了医学图像分割竞赛(ISBI)，并且获得了很不错的分割效果；Yoo等人^[7]使用深度学习进行特征学习，使用随机森林进行监督分类，在此基础上提出了CEN(convolutional encoder networks)的网络结构并和U-Net结合^[8]，用于分割脑部多发性硬化病变，提高了分割准确性。

Mehta等人^[9]基于CNN(convolutional neural network)框架提出了一种将不同尺度的图像块进行融合的方式分割MR脑部图像。将3维脑结构轴状、冠状、矢状图和3维图像块进行结合，将全局特征和局部特征相结合，能够更有效地分割MR脑部图像。Mehta等人^[10]提出了M-Net网络，使用2D卷积对3D的数据进行处理，使得算法处理速度较其他深度学习算法更快，同时准确性也有所提升。

一般情况下，都是使用图像的灰度值作为神经网络输入的基本特征，随着网络层数的增加，可以提取到深层次的特征，以便于判别模型的分类，但是也忽略了一些浅层的原始特征，对于一些细节无法有效地分割，而且过多的层数存在着参数量过大，训练费时费力和梯度消失的问题，但若层数过少，浅层的特征无法很好地实现分割任务。本文针对上述问题，提出了一种多通道融合可分离卷积神经网络模型(MFSCNN)来分割MR脑部图像。

首先提取3维脑结构周围的感兴趣的像素点邻域内的图像块(每一个图像块的标签和中心像素点的标签一致)作为神经网络的输入，同时对于2维脑结构的像素点及其边缘像素点，同样提取周围邻域的图像块输入网络，这样的操作可以提升脑结构边缘部分分割的准确率。本文从以下方面对卷积神经网络进行改进：

1) 使用深度可分离卷积(depthwise separable convolution)代替CNN中原始的普通卷积层，减少网络的参数量，提高网络的训练速度。并结合残差模块，解决随网络层数增加而出现的梯度消失问题。

2) 将每个卷积单元的输出特征图通过通道合并的方式拼接起来，作为后续卷积单元的输入，实现深浅层次特征的结合，同时，将拼接后的特征图进行通道混洗(channel shuffle)增强特征输入的随机性，避免了边界效应。

采用残差学习思想，将原始信息直接传送到输入端，有效地缓解深度网络训练时的退化问题，从而充分利用增加网络深度所获得的性能收益。同时使用深度可分离卷积代替原始的卷积层，减少网络训练时的参数量、降低运算复杂度。

已有研究表明，网络深度对特征表征具有至关重要的作用。加深网络深度可以在一定程度上提高网络的性能和表现，提取深层隐藏特征，增强网络的识别能力。但随着网络层数的不断增加，会出现过拟合(局部最优)及梯度消失和梯度爆炸的问题。当网络层数过深时，损失函数很难有效地传递到底层。所以在反向传播训练时，底层的网络参数通常不太容易被很有效地训练，网络性能因此无法达到预期效果。同时由于网络层数的增加，模型数据量相应增加，训练时间加长，训练成本提高。因此简单增加网络深度没有意义。

本文使用残差学习思想，将残差模块(residual module)引入卷积神经网络，来解决梯度弥散的问题。常规的残差模块如图 1所示。

对于每个残差模块，均满足

$ x_{L}=x_{l}+\sum\limits_{i=1}^{L-1} R_{\mathrm{ELU}}\left(F\left(x_{i}, W_{i}\right)\right) $

(1)

式中，$x_L$为残差块的输出，$x_l$为残差块的输入，$F\left(x_{l}, W_{l}\right)$为卷积映射，引入残差单元之后卷积神经网络的梯度

$ \frac{\partial \varepsilon}{\partial x_{l}}=\frac{\partial \varepsilon}{\partial x_{L}}\left(1+\frac{\partial}{\partial x_{l}} \sum\limits_{i=1}^{L-1} F\left(x_{i}, W_{i}\right)\right) $

(2)

由于$\frac{\partial }{{\partial {x_l}}}\sum\limits_{i = 1}^{L - 1} F \left({{x_i}, {W_i}} \right) \ne - 1$，所以就解决了随着网络的加深，梯度可能消失的问题。

残差网络层间的跳跃连接，允许网络将导数反向传递到网络中。相比传统的卷积神经网络，其复杂度降低，加深网络的同时，也不会出现梯度弥散的问题，弥补了信息传递中信息丢失的不足。

随着网络的加深，ResNet的“相加”特性虽然能够解决梯度消失和梯度爆炸问题，但同时也增加了参数量，庞大的参数量对于大工程来说有着很强大的效果，但同时也增加了训练的难度。对于脑图像来说，在相同的迭代次数下很难实现较好的结果。

本文使用深度可分离卷积来降低网络训练的运算复杂度，提升网络的效率。如图 2所示，深度可分离卷积在原本的两个卷积层中添加一个过渡层，输入和输出的特征图的通道数都不发生改变，只是将第1层卷积层和第2层卷积层的卷积核的大小减小并将输出通道特征图的个数设置为$N/m$，其中$N$为第3层卷积层输出的通道个数，$m$为大于1的常数。一般情况下设置为4。

由图 2可知，正常结构的参数个数为：$54N^2$，而深度可分离卷积参数的个数为：$35N^2/16$。在输入和输出的特征图通道数都是$N$的情况下，普通卷积结构的参数是深度可分离卷积结构参数24倍，显然，深度可分离卷积在不改变每一个单元的特征通道数的前提下，参数量更少，网络的训练速度更快。

1.1节中的残差结构虽然能够使每个阶段的特征信息更加丰富，但对于全局来说，每个阶段的特征都没有什么关联，随着网络的加深，越来越复杂的特征对于一些人眼无法分辨的细节确实可以很好地区分，但同时也意味着忽略了那些原始的直观表征图像的特征。所以本文提出一种多通道融合网络模型，将不同阶段的特征信息通过通道合并的方式拼接在一起。同时，对合并后的特征进行“通道混洗”，其过程如图 3所示。混洗后的特征图的每一个子区域都包含不同阶段的特征，实现真正意义上全阶段特征信息的融合，同时可以避免网络学习的局限性，提升网络的鲁棒性。

为了不影响深层次特征对于像素点的判别性，本文增加了每一个阶段的输出特征图的通道数，使每次传入下个阶段的融合特征包含半数左右的深层次特征，在充分利用深度神经网络提取到的深层次隐藏信息的同时也保证了浅层基本信息在决策上的重要性。

本文构建的MFSCNN模型共分为4个阶段，每一个阶段都由一个深度可分离卷积结构和一个深度可分离残差模块以及BN/Relu层构成，如图 4所示。其中stride表示步长，$Xa$表示第1个阶段，$Xb$表示第2个阶段，$Xc$表示第3个阶段，深度可分离残差模块中的每一个卷积层都被替换为深度可分离卷积结构。

除深度可分离卷积的前两层卷积核大小设置为1×1×1外，其他卷积层之间的卷积核大小均设置为3×3×3。由于通道合并要求合并的特征图的大小相同，所以在通道合并之前本文采用最大池化的方法把尺寸较大的特征图降采样至与较小特征图尺寸一致。

为了验证本文方法对深层脑结构分割效果，使用IBSR(http://www.cma.mgh.harvard.edu/ibsr/)、Hammers67n20(http://brain-development.org/brain-atlases/)、LPBA40(http://resource.loni.usc.edu/resources/atlases-downloads/)这3种数据集进行验证。

本文对3种深层脑结构进行了分割，包括海马体、壳核和尾状核，如图 5所示，每种脑结构分为左右两个部分，分别位于大脑的左右半球。

选取包含待分割脑结构的感兴趣区域(该区域的体积一般为待分割脑结构5~7倍)的所有像素点作为训练集。现有的普通卷积神经网络方法对3维脑结构进行分割时，常会出现边缘分割模糊的情况。针对这一问题，在训练集中增加了脑结构和脑结构边缘像素点的比例(以右海马体为例)如图 6所示。提取每个海马体的2维轴状图，并框选能够包含海马体的最小矩形框，将矩形框内所有的像素点增加至训练集，以达到增加了脑结构和脑结构边缘像素点比例的目的。

以海马体为例，对在训练集中增加脑结构及其边界像素点(感兴趣区域)权重对分割精度的影响进行分析。图 7(以IBSR数据集的海马体为例)为不同输入情况下随着迭代次数的递增，测试集准确率的变化曲线，黄色曲线表示未使用本文方法的分割结果，绿色曲线表示在训练集中仅仅增加脑结构像素点权重的分割结果，红色曲线表示在训练集中同时增加边缘像素点和脑结构像素点权重的分割结果。

从图 7中可以看出，尽管本文方法相对于原始的训练集，放入网络的训练数据增加，可这并没有影响网络的收敛速度，同时由于在训练集中增加了感兴趣的像素点样本的比例。网络在训练时就相对获得了更多的脑结构及其边缘的特征，也就相应提升了分割脑结构的准确率。此外，由于脑结构分割的错误主要产生在边缘部分，由于同时增加边缘和结构像素点权重的训练集包含了更多边缘的样本，更能强制使网络学习分割脑结构的边缘，所以精度最高。

使用Dice值和IOU值来综合评价本文算法分割MR脑部图像的性能。Dice和IOU定义为

$D=\frac{2 T P}{2 T P+F P+F N} $

(3)

$ I=\frac{T P}{T P+F P+F N} $

(4)

式中，$TP$表示预测为正例，实际也为正例; $FP$表示预测为正例，实际为负例; $FN$表示预测为负例，实际为正例。

图 8是经由不同训练集训练的海马体的Dice和IOU的折线图。从图 8可知同时增加边缘和结构像素点权重的训练集的表现最好，仅增加结构像素点的训练集在某些样本的表现要优于原始的训练集，但在某些样本上的表现也不如原始的训练集。这是因为仅考虑增加海马体像素点的思路虽然会减小将其他结构分为海马体的误分率，但同时作为代价，会出现过分割现象(将海马体分为其他结构)，综上，采取同时增加边缘和结构像素点权重的训练集，分割结果最好，平均Dice和IOU值也最高。

实验采用Windows10系统，CPU为i7-6700K，GPU为1080Ti，内存为32 GB。代码实现软件为Python3.5，框架为tensorflow。

将训练集中的每一个像素点均扩展成15×15×15的图像块，该扩展图像块的标签和中心像素点的标签一致。每次批量化输入网络的图像块数量为128。正则化惩罚因子$\lambda=0.05$，初始化学习率$\alpha=0.0001$，因为训练好神经网络的权重一般都服从高斯分布，所以权重初始化选择截断高斯分布初始化的方法。

数据集均选取75%的样本作为训练集，25%的样本作为测试集。为了训练网络使用交叉熵函数作为损失函数，并使用Adam优化算法迭代求解。使用图 4所示的多通道融合神经网络对输入的训练集进行训练，训练的过程一共分为4个阶段，每个阶段输出的特征通道数分别为32，64，256，512，全连接层设置1 024个神经元。采用Softmax分类器进行分类，最后选取在迭代过程中，分割效果最优的网络模型作为最终的网络模型。

为了验证本文方法的精确性和鲁棒性，将本文算法的结果同普通卷积神经网络模型和引入残差单元的神经网络模型，考虑局部全连接思想的神经网络模型分割MR脑部图像的结果进行对比。

1) 普通卷积神经网络模型。设置4个阶段，每个阶段包含一个卷积层和一个BN/Relu层普通的卷积神经网络无法做到设置很多层，因为随着层数的增加，会出现梯度消失的问题，网络的性能反而降低。

2) 引入残差块的神经网络模型(ResCNN)。残差块的引入主要是为了解决梯度消失的问题，同时可以增加网络的深度，进而得到更深层次的特征。将CNN结构的网络中每一个模块替换成卷积层和残差单元结合的形式，使得网络更深，同时每个阶段的特征信息也更丰富, 如图 9所示。

ResCNN设置4个阶段，每个阶段由一个卷积层和一个残差模块以及BN/Relu层构成，每个残差模块都包含两个卷积层。

3) 引入局部全连接模块的神经网络模型(DenseCNN)。该模型是在ResCNN的基础上，增加每一个单元内部的卷积层的层数，将浅层的输出跳跃连接到之后的每一层，与深层输出相加作为下一层的输出，以达到单元内每一层的输入都会包含之前每一层的输出信息的效果。相比于残差模块，局部全连接模块的卷积层数更多，提取到的特征更多更细，但是缺点是参数量太过庞大, 如图 10所示。

考虑局部全连接模块的网络模型设置4个阶段，每个阶段都由一个卷积层和一个局部全连接模块以及BN/Relu层组成，每个局部全连接模块都包含4个卷积层。

使用IBSR数据集来验证本文方法的有效性，用于对比方法为CNN，ResCNN，DenseCNN。

表 1为各个网络模型的参数量。过多的参数会导致网络训练难度提升，本文MFSCNN方法由于包含了深度可分离卷积结构，其参数量仅为ResCNN的50%，DenseCNN的28%。MFSCNN方法在减少参数量的同时却没有减少网络的层数，在保证网络深度的同时，减少了网络训练的参数数量，降低了训练成本，因此减少了网络的训练时间。

图 11为不同网络方法的loss曲线(以IBSR数据集的海马体为例)，本文MFSCNN方法的loss曲线大致收敛位置为A点，CNN方法的loss曲线收敛在C点，ResCNN方法的loss曲线收敛在B点。

由于DenseCNN的方法参数比较多，收敛较慢，其收敛位置并没有出现在上图所示的迭代次数内。通过A, B, C 3点的位置可以得知，本文MFSCNN方法网络收敛最快。CNN方法虽然参数量少，但是网络结构简单很难提取到深层次的特征，所以训练要达到收敛就要比能够提取到深层次特征的MFSCNN和ResCNN方法慢。同时，对于ResCNN而言，虽然网络层数足够深，但是本文方法每个阶段的输入特征信息更丰富，学习特征的速度更快，也就能更快收敛。

表 2为在IBSR数据集上，不同方法的Dice值和IOU值的平均值。对于IBSR数据集，MFSCNN方法的Dice和IOU值分别较CNN方法提升0.9%~6.2%, 1.3%~9.4%，ResCNN虽在尾状核的分割准确率高于CNN，但是在壳核和海马分割效果上并未较CNN有明显提升。虽然增加了层数和参数量，缓解了网络的退化问题。但是此阶段深度的特征还无法区分所有的细节，此外，由于仅仅是局部的残差单元，即使能够准确分割CNN无法精细分割的部分，但还是忽略了一些直观的表征图像特征信息。

DenseCNN虽在右海马和右尾状核的分割准确率上不如ResCNN，但在其他脑结构分割准确率都高于ResCNN，因为DenseCNN的层数比ResCNN更多，参数更多，学习到的特征信息也更丰富，分割的准确率也有所提升，但过多的参数量增加了训练的难度，网络模型比普通的网络更难训练到最优。

图 12为不同模型的分割结果对比箱型图，通过箱型图可以看出MFSCNN比其他3种网络模型的分割效果更好，鲁棒性最强。由表 1可知，相比于ResCNN和DenseCNN，MFSCNN的网络参数量明显减少，但网络的深度却没有降低，在保证深层次特征及细节提取的基础上，降低了训练成本。

图 13为IBSR数据集中3维MRI脑部图像中的第143层(壳核)，111层(尾状核)，130层(海马体)冠状图。

从分割结果图中，可以看出CNN对于脑结构边缘的分割并不理想，且在左尾状核的分割中，脑结构内部也出现欠分割现象，对于边缘结构比较复杂的地方如壳核的头部，欠分割现象严重，对于边缘平滑的部分，如尾状核的侧边缘，欠分割现象严重。ResCNN相较于CNN在一定程度上缓解了欠分割的现象，但对于脑结构侧边平滑部分，甚至分割效果要弱于CNN。DenseCNN参数量大，特征信息量大、层次深，脑结构内部的分割效果相较于ResCNN，CNN要好，且头部边缘复杂的部分过分割和欠分割现象也都得以缓解，可对于脑结构侧边缘的分割效果依然不理想，这是因为，深层次特征虽然能有效地分割复杂边缘，但作为代价，它忽略了一些浅层次的表象特征，所以即使能够有效地分割脑结构地头部，但却增加了平滑侧边缘的误分率。MFSCNN由于融合了浅层次和深层次信息的特征，所以无论是对于结构复杂的头部的边缘，还是平滑的侧边缘结构，相对于CNN、ResCNN、DenseCNN分割准确率都更高，欠分割和过分割现象都有所缓解。

分别在Hammers67n20数据集，LPBA40数据集，IBSR数据集3种数据集进行对比实验。图 14为各个脑结构的3维分割结果。从图 14可知本文方法能够较好地分割不同数据集的海马体，壳核和尾状核，虽然对于包含复杂沟壑的部分(如IBSR数据集的海马体的沟壑部分)的分割准确率还有待提高，但是对于基本的轮廓结构，本文方法均能进行准确的分割，其边界平滑，分割结果连续，效果和金标准相似。

1) Hammers数据集。MFSCNN分割脑结构(壳核，尾状核，海马)的平均Dice值为0.898，比近几年来在该数据集上的其他方法分割效果更好。对比方法有Nonlocal-PBM^[11]、Sparse-PBM^[12]、Wu提出的多尺度特征的图谱融合方法^[13]、Cardoso提出的相似性估计的方法^[14]、BrainSegNet方法^[15]。表 3为各方法的Dice值。本文方法的Dice均值，在各个脑结构都要高于其他5种方法，其中尾状核的分割结果与Brainsegnet方法接近，但海马体和壳核的分割效果都比Brainsegnet方法好。

2) LPBA40数据集。MFSCNN分割脑结构(壳核，尾状核，海马)在LPBA40数据集上的平均Dice值为0.877，比在该数据集上的其他方法有更好的表现，对比的方法有Bao提出的基于随机游走的Atlas图像分割的特征敏感标签融合方法^[16]、Zhang提出的HLAF(hierarchical learning of atlas forests)方法^[17]、MS-CNN(multi-scale structured CNN)和MS-CNN+LC(multi-scale structured CNN with label consistency)的方法^[18]、Prasad提出的基于主成分图谱和非刚性配准的方法^[19]、和BrainSegNet的方法^[15]。表 4为各方法的Dice值。

本文方法在各个脑结构的Dice均值，都要高于其他5种方法。其中海马体的Dice值较其他方法提升3.6%以上，有着较为明显的提升。

3) IBSR数据集。MFSCNN分割脑结构(壳核，尾状核，海马)在IBSR数据集的平均Dice值为0.872。对比的方法有：MS-CNN^[18]、MS-CNN+LC(label consistency)^[18]、M-net^[10]、BrainSegNet、HLAF方法^[17]、随机游走的Atlas图像分割的特征敏感标签融合方法^[16]。

此外，本文方法也和常用的分割软件，如FIRST和FreeSurfer进行了比较。表 5为各方法的Dice值。

本文方法与常用的分割软件相比分割精度较高，在各个脑结构上都比MSCNN、HLAF和MS-CNN+LC、M-Net以及Bao提出的方法好，BrainSegNet方法在壳核的分割准确率要高于MFSCNN，但是本文方法在海马体和尾状核上的分割性能都要优于BrainSegNet方法，且平均Dice值为0.872，也要高于BrainSegNet方法。所以，MFSCNN方法相对于目前已有的一些主流的方法，分割准确率更高。

提出的MFSCNN方法，通过增加训练集中感兴趣脑结构及其边缘像素点的权重，来形成对脑结构分割更友好的初始化训练集。为了更好地训练网络，将每个阶段的特征图都合并在一起，并进行通道混洗，得到同时包含深浅层次信息的增强信息特征。同时使用深度可分离卷积结构代替原始的卷积层，在不改变输入及输出通道个数的情况下极大地减少了参数量，提升了网络的训练速度。同时，融合后的信息，包含来自浅层的图像表征信息，也包含来深层的纹理信息，在解决了传统CNN对于脑结构复杂边缘的分割不准确问题的同时也改善了ResCNN和DenseCNN对于脑结构侧边缘分割不准确的情况，对IBSR、LPBA40、Hammer67n20这3个数据集上的海马体、壳核和尾状核进行分割，并和现有的主流方法的分割结果进行对比，实验结果表明，本文算法在壳核，海马体和尾状核的分割表现上，要优于现有的主流方法。和传统方法相比，MFSCNN方法省去了复杂的数据预处理的步骤，和一般深度学习方法相比，本文算法节省了训练时间。MR图像的区域对比度低，各个结构之间的灰度值都很相似，所以可通过本文提出的MFSCNN方法直接从MR图像中提取融合的信息，进一步应用于其他MR图像的分割。

虽然MFSCNN方法对于深层脑结构的分割取得了很好的结果，但是对于脑结构的沟壑不连续的部分，分割的准确率还有待提升，这主要是因为，这些部分边缘的像素点类别复杂、且不连续。所以，分析如何利用深度卷积网络提取能够分割复杂边缘轮廓的特征，也是今后需要研究的问题。