图像分割是依据图像的灰度、颜色、纹理和形状等特征将图像划分成若干互不交迭的区域，并使这些特征在同一区域呈现相似性，在不同区域呈现明显的差异性。图像分割是计算机视觉和图像处理中的基础任务之一，为高层计算机视觉任务的完成奠定了基础。在医学图像领域，准确分割目标器官或组织为目标器官或病变组织形态学参数等病理特征的定量计算提供了保障，进而为临床诊疗和病理学研究提供了客观依据。

在医学图像成像过程中，受影像采集设备技术、环境等因素的影响，图像中存在目标与背景对比度较低、噪声较多以及边缘模糊等问题，使得医学图像分割仍然是一个开放性的难题。基于形状建模是当前医学图像分割的主要方法，主要包括主动形状模型(active shape model, ASM)(Cootes等，1995；Soliman等，2017)和主动表现模型(active appearance model, AAM)模型(Cootes等，2001；Duong等，2019)。ASM模型在特征提取、目标定位等方面具有较好的性能，但在特征选择时仅使用目标物体边界轮廓的纹理信息，使得分割结果容易受初始状态、图像噪声等因素的影响，因此将ASM与其他方法进行融合的分割模式也成为发展方向之一。比如在左心室图像分割方面(刘复昌等，2010；王兴家等，2013)，就是将ASM与其他方法进行融合。在ASM模型的基础上，Cootes等人(2001)提出了AAM模型，该方法充分利用形状的全局纹理信息，建立反映纹理变化的全局灰度模型。詹曙等人(2008)利用由相关型图像传感器得到的深度信息和与之对应的亮度信息将2维AAM扩展为3维。AAM模型在建立目标形状的全局模型方面具有独特的优势，但在面对组织复杂的图像时，细节描述能力有所欠缺，无法较好地提取目标全局轮廓。针对此问题，基于多Atlas的分割方法(Wachinger等，2015)充分利用解剖先验知识，将图像分割问题转变为图像配准(Viergever等，2016)问题, 利用已分割的多幅Atlas灰度图像和目标图像进行配准，分割结果较为准确。该方法利用专家手工分割的图像，采用图像配准等技术，在待分割图像中搜索目标形状。由于Atlas算法仅使用了少量标记图像，导致这类方法在面对较为复杂的目标特征时难以有效选择目标特征，使分割结果存在一定偏差。

深度神经网络(deep neural networks, DNN)因其良好的自主特征提取能力和特征表达能力(LeCun等，2015)，在医学图像分割领域得到了广泛关注和应用(Hesamian等，2019；江宗康等，2020)。与已有的医学图像分割方法相比，神经网络提供了一种端到端的方式对图像数据进行特征提取。同时，巨量的神经元连接以及非线性的变换，能较好地解决图像分割中的噪声和不均匀问题。神经网络的自动特征提取能力大幅降低了手动提取特征的难度，实现了端到端的自动化分割过程。基于卷积神经网络(convolutional neural networks, CNN)的图像分割是目前应用最广泛的神经网络分割方法之一(Krizhevsky等，2012)，并且在其基础上改进的模型在左心室图像分割方面也取得了不错的表现(朱锴等，2019)。在CNN基础上改进的U-Net(Ronneberger等，2015；Livne等，2019)和SegNet(Badrinarayanan等，2015, 2017)等神经网络模型在不同的图像分割领域均有良好的分割表现。上述两种分割模型在CNN的基础上，通过替换最后的全连接层为全卷积层，继而利用反卷积操作(Noh等，2015)，将特征图还原为原始尺寸，实现了对图像像素的分类，最终将分割问题转变为分类问题。通常这一类型的神经网络模型称为全卷积神经网络(fully convolutional networks, FCN)(Long等，2015)。Sabour等人(2017)提出了一种新的神经网络结构模型CapsuleNet。不同于传统CNN网络结构，该网络将多个神经元组合成胶囊元的形式，并且将模型输出结果由标量形式转变为向量形式表示识别目标。在大多数的医学图像分割中，目标区域通常只有一个，因而不需要考虑多个目标的分割，只建立一个模型即可将病灶或目标器官与目标区分。然而，在一些特殊情况下，需要分割多个目标区域，并且这些区域间存在重叠问题，如心脏MRI(magnetic resonance imaging)影像中左心室心肌内膜和外膜的分割。此时，现有的DNN模型往往需要单独对每个区域重新建模和训练，增加了训练的时间与难度，同时降低了输出分割结果的效率。

针对上述问题，本文设计并实现了一种基于Capsule网络结构的左心室(left ventricular，LV)心肌内外膜分割模型Seg-CapNet，这是一个能同时提取两个或多个重叠区域的神经网络模型。本文主要贡献包括：1)设计了一个基于Capsule的神经网络模型，同时提取心肌内膜和外膜轮廓; 2)设计了一个新的损失函数，确保心肌内膜与外膜间的空间位置关系合理。本文对Seg-CapNet在3个心脏MRI分割公开数据集上进行了验证，并与U-Net和SegNet模型进行了对比。实验结果显示，Seg-CapNet在分割多个目标区域的同时，仍能保持较好的分割精度。

Seg-CapNet模型的拓扑结构如图 1所示。整个模型由卷积层、Capsule层、全连接层和上采样层等4部分组成。Seg-CapNet利用胶囊结构将多个分割目标分别转换为包含自身信息的向量形式输出；而现有基于卷积结构的神经网络分割模型中，神经元是以标量形式输出。因此对于多个重叠区域目标的分割，Seg-CapNet能够将多个目标从图像中剥离，分别以向量表示。并且对每个目标向量，可以通过并行上采样处理得到对应目标的分割结果。基于这种特性，本文提出的Seg-CapNet分割模型相对基于全卷积结构的神经网络模型可以对多个具有重叠区域的目标并行分割，无需对每个目标进行单独建模，加快了分割效率。并且分割目标以向量形式表示，该向量不仅有图像的灰度、纹理等底层图像特征，还包含了目标的位置、大小等语义特征，有助于提升图像分割质量。Seg-CapNet模型基于向量结构的表示形式，与传统神经网络分割模型相比，提升了分割效率和分割精度。

卷积层由两层构成。为避免由最大池化或平均池化操作带来的位置信息丢失问题，Seg-CapNet通过卷积步长实现图像的下采样，为胶囊层保留了特征之间的空间位置关系。胶囊层由PrimaryCaps层和DigitCaps层组成。其中，PrimaryCaps层将卷积后的特征组成向量，然后采用动态路由算法将其与DigitCaps层进行路由选择，产生代表输出目标的向量表示。值得说明的是，本文使用两个目标向量分别表示内膜和外膜，若需要实现更多目标的识别或提取，则根据实际需要调整目标向量的数量即可。在获取目标向量后，通过全连接层将目标向量进行映射，重组目标向量中特征的空间关系，提高上采样层输入数据的质量。全连接层以及上采样层分两部分，每部分实现一个目标的分割。每个上采样层由3个反卷积层组成，为加快模型的收敛速度并提高模型的分割精度，在前两个反卷积层中加入了卷积层提取的特征图，最后一层卷积层输出分割结果的掩膜。为提高模型的分割精度，还设计并实现了一个新的损失函数——覆盖比例损失，保证两个目标区域间的位置满足心脏解剖结构。

现有卷积层主要采用池化操作进行特征降维，压缩数据以及参数数量，减小训练过程中的过拟合问题。但这种操作产生的问题是丢失了原有图像的空间位置信息。Seg-CapNet在卷积过程中没有使用池化方式，而是通过更少的卷积层以及卷积步长来控制特征图尺寸，尽可能保留特征图的空间位置信息，使得下一层(Capsule层)可以接收到更多信息。如图 1所示，模型首先用两个卷积层提取输入图像局部特征，输入图像尺寸经过数据处理后为128×128×1。第1个卷积层采用64个9×9大小的卷积核进行特征提取，第2个卷积层采用128个9×9大小的卷积核进行特征提取，两次卷积的滑动步长均为2，并通过ReLU函数激活该层输出结果，具体为

$ r\left(x \right) = \max \left({x, 0} \right) $

(1)

式中，$x$是标量，代表一个神经元的输出。与其他激活函数相比，ReLU函数在随机梯度下降过程中，收敛速度更快，且不容易出现梯度消失的现象。

深度神经网络中只要网络前几层发生微小改变，后面几层的传播就会累积放大。一旦网络某一层输入数据分布发生改变，这一层网络就需要去适应学习新的数据分布。因此，如果训练过程中训练数据的分布一直在变化，那么网络训练速度将受到影响。为了避免这种情况，本文在模型卷积层采用了批量标准化(batch normalization，BN)(Ioffe和Szegedy，2015)，用于加快模型的训练速度以对抗训练过程中的过拟合问题，同时提高了模型的泛化能力。并且BN方法能够随机打乱训练数据，防止对每批数据进行训练时，多次挑选到某一个样本。

胶囊层由PrimaryCaps层和DigitCaps层组成。PrimaryCaps层属于下层胶囊，作用是接收卷积层检测到的初级特征，用于生成特征组合。该层首先对第2个卷积层的输出执行卷积运算，卷积核数量为128，尺寸大小为9×9，滑动步长为2；随后将卷积后的特征图重新映射为32个8维封装的通道；最终输出32×9×9×8维的特征图组合。DigitCaps层属于上层胶囊，该层的输出为包含了重建对象所需要的实例化参数信息的向量形式，分别表示分割内膜和外膜信息的向量，通过动态路由机制生成，维度大小是2×64。与卷积层不同，DigitCaps层的输出是通过动态路由算法获得的。接收PrimaryCaps层8维向量输出u_i后，通过权重矩阵W_i映射到64维向量${{{\mathit{\boldsymbol{\hat u}}}_i}}$中。最终，DigitCaps层的输入$\mathit{\boldsymbol{s}}$定义为

$ \mathit{\boldsymbol{s}} = \sum\limits_i {{c_i}{{\mathit{\boldsymbol{\hat u}}}_i}} $

(2)

式中，${c_i}$是由路由迭代过程确定的计算系数。

输出$\mathit{\boldsymbol{v}}$的定义为

$ \mathit{\boldsymbol{v}} = \frac{{{{\left\| \mathit{\boldsymbol{s}} \right\|}^2}}}{{1 + {{\left\| \mathit{\boldsymbol{s}} \right\|}^2}}}\frac{\mathit{\boldsymbol{s}}}{{\left\| \mathit{\boldsymbol{s}} \right\|}} $

(3)

上一层中的输出${{{\mathit{\boldsymbol{\hat u}}}_i}}$之间的耦合系数${c_i}$由动态路由算法进行迭代更新与确定，具体为

$ {c_i}{\rm{ = }}\frac{{\exp \left({{b_i}} \right)}}{{\sum\limits_i {\exp \left({{b_i}} \right)} }} $

(4)

式中，${{b_i}}$是一个临时变量并且初始化为0，它的值会在迭代过程中更新，当整个算法运行完毕后，通过式(4)保存成${c_i}$。

在DigitCaps层中，动态路由改变了特征图中像素之间的空间相关性。如果直接对DigitCaps层的输出结果进行上采样处理，则难以准确提取目标区域。为了解决这一问题，本文在Seg-CapNet模型中添加了两个全连接层，利用全连接层重新组合特征信息。将DigitCaps层输出的2个64维向量分别映射到全连接层，该层由两个1 024维向量组成，经过全连接层后，该向量重新调整为16×16×4的特征矩阵，最后通过ReLU函数激活输出结果。

本文采用反卷积方法对上一层输出的特征图进行上采样处理。第1层反卷积层的输入是最后一层全连接层的输出结果经过reshape后的4×4×16尺寸的特征图。第1层反卷积的卷积核数量为64，卷积核大小为9×9，反卷积步长为2，采用ReLU函数激活第1层反卷积输出结果，输出特征图的维度为32×32×64。为了在上采样过程中拥有更多图像细节信息，恢复出更好的干净图像，本模型将第1层反卷积的输出与第2个卷积层的输出进行特征融合操作，输入第2层反卷积中，反卷积的卷积核数量为64，卷积核大小为9×9，反卷积步长为2，ReLU函数激活输出结果，第2层反卷积输出特征图维度为64×64×64。在最后一层反卷积中，反卷积的卷积核数量为1，卷积核大小为9×9，反卷积步长为2，输出结果维度为128×128×1，通过该层最终将输出结果还原为与原始输入图像相同的尺寸。由于输出的分割结果为二值图像，在最后一层的反卷积操作中采用sigmoid函数激活最终输出的分割结果，具体定义为

$ s\left(x \right) = \frac{1}{{1 + {{\rm{e}}^{ - x}}}} $

(5)

在医学图像分割领域，通常将Dice相关系数作为分割结果与原始图像相似度的评价指标。Dice相关系数是两个轮廓之间相似或重叠度的一种度量，具体定义为

$ D\left({{\mathit{\boldsymbol{y}}_{\rm{t}}}, {\mathit{\boldsymbol{y}}_{\rm{p}}}} \right) = \frac{{2\left| {{\mathit{\boldsymbol{y}}_{\rm{t}}} \cap {\mathit{\boldsymbol{y}}_{\rm{p}}}} \right|}}{{\left| {{\mathit{\boldsymbol{y}}_{\rm{t}}}} \right| + \left| {{\mathit{\boldsymbol{y}}_{\rm{p}}}} \right|}} $

(6)

式中，${{\mathit{\boldsymbol{y}}_{\rm{t}}}}$表示真实轮廓，${{\mathit{\boldsymbol{y}}_{\rm{p}}}}$表示分割结果，${{\mathit{\boldsymbol{y}}_{\rm{t}}}}$, ${{\mathit{\boldsymbol{y}}_{\rm{p}}}}$∈[0, 1]^w×h，w和h分别表示图像尺寸。

从式(6)可以看出，Dice系数的值在0~1之间。分割结果越准确，表示与实际分割目标的真实轮廓越接近，Dice系数就越趋于1。因此，为了最小化目标函数，将1减去Dice系数作为整个模型的损失函数。Dice损失函数${L_{\rm{D}}}$定义为

$ {L_{\rm{D}}}\left({{\mathit{\boldsymbol{y}}_{\rm{t}}}, {\mathit{\boldsymbol{y}}_{\rm{p}}}} \right) = \left({1 - {D_{\rm{i}}}\left({{\mathit{\boldsymbol{y}}_{\rm{t}}}, {\mathit{\boldsymbol{y}}_{\rm{p}}}} \right)} \right) + \left({1 - {D_{\rm{o}}}\left({{\mathit{\boldsymbol{y}}_{\rm{t}}}, {\mathit{\boldsymbol{y}}_{\rm{p}}}} \right)} \right) $

(7)

式中，${{D_{\rm{i}}}}$表示左心室心肌内膜的Dice系数值，${{D_{\rm{o}}}}$表示左心室心肌外膜的Dice系数值。可以看出，当分割结果的Dice值越高，整个函数的损失值就越小，最终达到反馈和更新整个模型参数的目的。

损失函数${L_{\rm{D}}}$只分别度量了内膜与外膜的相似程度，并未对内膜与外膜之间的相对位置关系进行约束。因此，分割结果中会存在部分内膜的分割区域超出了外膜边界，或者部分内膜区域离散地分布在外膜区域的情况。如图 2所示，阴影区域为内膜异常区域。

针对以上异常区域分割问题，本文设计了一个约束条件，尽可能使分割结果满足内膜区域存在于外膜边界之内。计算阴影面积与内膜面积的比值，对该值进行最小化约束，尽可能使阴影面积最小化。溢出部分范围越大，则该比值越大，反之则越小，最终使该约束条件与最小化目标损失函数同步。

基于上述约束条件，定义覆盖比例函数为

$ R\left({{\mathit{\boldsymbol{y}}_{{\rm{p}}\_{\rm{i}}}}, {\mathit{\boldsymbol{y}}_{{\rm{p}}\_{\rm{o}}}}} \right){\rm{ = }}\frac{{\sum {{\mathit{\boldsymbol{y}}_{{\rm{p}}\_{\rm{i}}}} \times \left({1 - {\mathit{\boldsymbol{y}}_{{\rm{p}}\_{\rm{o}}}}} \right)} }}{{\sum {{\mathit{\boldsymbol{y}}_{{\rm{p}}\_{\rm{i}}}}} }} $

(8)

式中，${{\mathit{\boldsymbol{y}}_{{\rm{p}}\_{\rm{i}}}}, {\mathit{\boldsymbol{y}}_{{\rm{p}}\_{\rm{o}}}}}$∈[0, 1]^w×h，分别表示内膜与外膜分割结果。

通过式(8)计算分割结果中内膜超出外膜区域面积与全部内膜面积的比值，用于反映异常区域大小的变化。考虑到这类异常分割结果占整体分割结果比重相对较少，使得约束值可能太小，以至于模型在反向传播时不足以影响整个模型的参数更新，本文通过对越界区域比值进行指数函数转换，使得限定值变化范围不会太小，转换函数定义为

$ {L_{\rm{R}}} = {{\rm{e}}^{R\left({{y_{{\rm{p}}\_{\rm{i}}}}, {y_{{\rm{p}}\_{\rm{o}}}}} \right)}} $

(9)

式(9)保证了约束值保持在一定范围内变化，使其在模型反向传播进行梯度更新时不至于被忽略不计。最终，推导出模型损失函数$L$，定义为

$ L = {L_{\rm{D}}} + {L_{\rm{R}}} $

(10)

式中，${L_{\rm{D}}}$为Dice损失函数，${L_{\rm{R}}}$为转换函数。

本文方法在具有10 GB显存的Nvidia Tesla K80 GPU，Intel E5-2650 CPU和10 GB内存的服务器上基于Python 3.6和TensorFlow实现。使用梯度下降优化算法迭代求解，学习率大小为0.001。

使用ACDC(Automated Cardiac Diagnosis Challenge)2017、MICCAI(medical image computing and computer-assisted intervention)2013和MICCAI2009等公开竞赛数据集训练和验证Seg-CapNet模型进行分割任务时的表现。由于数据源由不同的成像设备收集，导致来自不同设备的图像尺寸不具有一致性，但是在心脏MRI图像中，心脏轮廓一般位于图像中心位置附近。因此，提取以图像中心点为中心的128×128×1尺寸区域作为输入模型图像的尺寸，使得在统一输入图像尺寸的同时，能够包含完整的心脏图像轮廓。经过处理后用于模型训练与测试的数据集数量以及尺寸如表 1所示。

为了量化模型表现，通过计算模型在上述3种数据集中测试集上分割结果的平均豪斯多夫距离(Hausdorff distance, HD)来评估分割结果，结果如表 2所示。

为了验证加入约束条件后的损失函数对分割结果的影响，随机从3种数据集的测试集中选取了加入限定条件前和限定条件后的分割图像进行对比，分割结果如图 3所示。可以看出，加入约束条件后的损失函数使得内膜区域超出外膜边界问题有了较好的改善，异常区域在加入约束条件后消失。结果表明，损失函数的约束条件对分割结果起到了预期的约束效果。

此外，为验证新的损失函数对模型整体分割精度的影响，在3种数据集的测试数据集上对加入约束条件前后模型的分割结果计算平均Dice值，如表 3所示。

从表 3可以看出，加入约束条件后，内外膜Dice系数值较加入约束条件前均有了较好的提升。实验表明，约束条件不仅有助于提高分割结果的图像质量，而且使得模型整体的分割精度也有所提升。

为验证Seg-CapNet模型在不同中心数据上分割左心室MRI心肌内外膜的性能，从ACDC2017、MICCAI2013和MICCAI2009数据集的测试集分割结果中，分别随机选取3幅左心室MRI心肌内膜与外膜的分割图像进行直观对比，如图 4所示。其中红色轮廓的为真实标签，黄色轮廓为实际分割结果。可以看出，在不同数据源的数据集上，Seg-CapNet均有较好的分割表现，在心肌收缩前后期均能较好地提取心肌内膜与外膜轮廓，即使在MICCAI2009这类数据量较少的数据集上，Seg-CapNet依然表现不错。

为了进一步测试Seg-CapNet模型的表现，将Seg-CapNet与图像分割领域广泛使用的神经网络分割模型U-Net和SegNet在分割效果和分割时间两方面进行对比分析。

相对于U-Net与SegNet模型，Seg-CapNet的参数量更少，3种模型的参数量对比如表 4所示。

分割结果的输出速度是衡量模型性能的重要指标之一，Seg-CapNet在分割速度上有着较好表现。本文分别计算了Seg-CapNet、U-Net以及SegNet模型在3个数据集的测试集上获取单幅左心室MRI心肌内膜和外膜的平均分割时间，用于对比3种模型在执行分割任务时的时间性能。3个数据集的测试图像数量分别为381、1 395和147幅。测试结果如图 5所示。从图 5可以看出，在3个数据集上，Seg-CapNet的平均分割时间相对于其他两种模型均有着较为明显的减少，在时间性能方面Seg-CapNet比其他两种分割模型表现更好。

为了评估Seg-CapNet模型与U-Net和SegNet的分割表现，本文通过计算分割结果的平均Dice值与HD距离用于量化3种模型分别在3个不同数据集上的分割质量。表 5和表 6分别显示了3种模型在心肌内膜和外膜上分割结果的平均Dice和HD。从表 5和表 6可以看出，Seg-CapNet相对于其他两个分割模型在上述两个评价指标上的表现更好。

由于使用的是公开数据集的数据，分别收集了3个数据集上在Dice、HD、平均垂直距离(average perpendicular distance, APD)等平均分割指标较好的方法与Seg-CapNet进行对比。表 7—表 9分别为数据集ACDC2017、MICCAI2013、MICCAI2009上相关方法分割评价指标对比。在表 8关于数据集MICCAI2013的分割方法对比中，还对相关方法涉及的随机森林标签融合(random forest label fusion, RFLF)与局部加权投票标签融合(locally weighted voting label fusion, LWVLF)的分割结果进行了对比。

在上述对比过程中，为了保证相关方法在分割指标对比上的公正性，在对涉及不同数据集的方法对比中均采用了与这些方法相同的评价指标，以确保对比结果的客观性。从表 7、表 8以及表 9的对比结果中可以看出，本文方法在大部分指标中占有优势。

为了更加直观地对比3种模型在MICCAI2009、MICCAI2013以及ACDC2017数据集上的分割表现，分别随机抽取Seg-CapNet、U-Net和SegNet模型在上述3个数据集上的心肌内外膜分割图进行展示，不同模型的分割效果如图 6所示，其中，红色标记为真实轮廓，黄色标记为分割结果。可以看出，本文提出的Seg-CapNet分割模型在整体上有着更好的分割表现。

本文提出了一种基于Capsule网络结构的分割模型Seg-CapNet，以实现对左心室重叠区域目标进行同时分割。利用Capsule网络结构向量输出的特性，Seg-CapNet将左心室MRI的心肌内外膜转换成两个代表实体信息的向量，最后通过上采样将向量还原成原始输入尺寸同时获取分割结果，达到并行分割重叠区域的心肌内外膜的目的。同时设计了一种新的损失函数，以约束左心室心肌内外膜的分割结果符合正常心脏形态学结构。在ACDC2017、MICCAI2013以及MICCAI2009公开数据集上对Seg-CapNet进行了验证。实验结果表明，相对U-Net和SegNet分割模型，Seg-CapNet不仅能够同时分割左心室心肌的内膜和外膜区域，并且在3个公开数据集上的Dice和HD结果也有更好的表现。此外Seg-CapNet的参数量相对于上述两种模型平均减少了将近一半，降低了模型训练的难度与时间。通过增加输出Capsule向量的数量，并增加反卷积层及输出掩膜的个数，本文方法能够适用于更多目标区域的分割。

虽然Seg-CapNet能够同时分割多个目标的重叠区域，但只在心脏左心室磁共振图像数据集上进行了心肌内外膜两个目标的分割实验，因此实现更多目标的分割，是下一步研究的问题。