0引言原发性肝癌全球发病率逐年增长，已超过62.6万人/年，居于恶性肿瘤的第5位，死亡接近60万人/年，位居肿瘤相关死亡的第3位。原发性肝癌在我国高发，目前，我国原发性肝癌发病人数约占全球的55%，在肿瘤相关死亡中仅次于肺癌，位居第2。因此，肝癌严重威胁我国人民的健康和生命。在临床诊断中，放射科医生对肝脏肿瘤的手工测量缺乏准确性和可重复性。肝脏肿瘤的人工手动分割需要具有解剖学知识和经验，人为主观性强。基于CT(computed tomography)医学影像研究的自动肝脏肿瘤分割对指导临床诊断治疗有着重要的价值，可以形成精确的术前预判、术中监测和术后评价，有助于制定完善的手术治疗方案，提高肝脏肿瘤手术的成功率。然而，一幅典型的医学影像十分复杂，可能包含了许多的器官和组织，在成像过程中由于成像设备和人为因素等影响常常会产生或多或少的干扰信息。根据医学影像的成像原理和成像特点，并不是所有的信息都是对医疗诊断有帮助的。不管是CT还是MRI(magnetic resonance imaging)，对于最常见的胸部和腹部扫描，在成像效果中，图像对比度低，边界模糊，大多数时候准确地分割感兴趣器官和相应肿瘤需要医生丰富的临床解剖学知识。通常情况下，边界是通过医务人员相互之间协商来完成。可见医学影像中肝脏肿瘤自动精确的分割是一个极大的挑战。本文提出一种结合深度学习技术与医学影像组学对CT肝脏肿瘤进行分割的方法。主要有以下几个方面的贡献:1) 在U-Net分割模型中融入水平与垂直两个层次的密集连接，同时结合子像素卷积与注意力机制，建立可以同时分割肝脏与肿瘤的端到端深度学习网络，有利于分割微小肿瘤区域。2) 影像组学是用于评价肿瘤异质性的新兴量化影像分析技术，利用该技术获取多维度的影像纹理特征可以有效去除分割出的假阳性区域。3) 在分割的肿瘤区域内，采用基于3D体素块二分类的分割模型对分割边缘进行更精确的细化。本文算法已经集成到合作企业的医学影像科研平台，并在多家医疗机构开展试用。通过该平台可以对分割后的效果进行3维可视化建模，医生可以多角度、多形式观察和诊断病变，为进一步量化分析和手术规划提供有价值的影像信息。1相关研究在CT影像中对肝脏肿瘤分割属于图像分割的范畴，可使用传统的图像分割技术进行处理。Lu等人(2005)采用经典分割模型中的主动轮廓模型进行分割。Choudhary等人(2008)提出一种基于熵的多门限值方法进行半自动分割。Li等人(2012)提出一种新型统一的水平集分割方法。Vorontsov等人(2014)使用一种基于纹理的全方位可变性模型。Das和Sabut(2016)采用将自适应门限方法与模糊聚类结合的方法。廖苗等人(2019)使用基于图割的方法进行肝肿瘤分割。Wu等人(2017)则将图割的方法与模糊聚类结合，进一步优化分割结果。Krishan和Mittal(2019)提出一种基于多核聚类的分割方法。图像的分割可以看做图像中像素的分类问题，以单层CT或MRI中像素为中心生成图像块为样本，直接以所有像素为特征或者按照某种传统的特征提取方案，比如统计直方图、小波等作为特征，然后使用支持向量机、随机森林等机器学习的方法进行训练和分类(Li等，2007；Zhou等，2008；Conze等，2017；Huang等，2014)，从而达到分割的目的。除了像素分类思想以外，还有其他的机器学习方法，如Fang等人(2011)在基于图割的方法中加入全局最优树度量的机器学习思路，Häme和Pollari(2012)使用概率图模型进行半自动分割，Kadoury等人(2015)提出一种无监督流形的机器学习算法进行有效分割。目前深度学习已经成为医学图像分割的主流技术。首先是基于像素分类的分割方法，这与普通机器学习分类分割思路类似，只是图像特征由卷积神经网络(convolutional neural network, CNN)来自动提取，并将随机森林和支持向量机等分类器由端到端的神经网络所替代。这种基于像素分类的分割思路无法有效地提取全局结构特征，所以已经逐步被全卷积网络(fully convolutional network，FCN)(Shelhamer等，2017)所替代。利用FCN的分割思想，Pinheiro等人(2016)将低层特征与高层语义结合，可以让边缘的分割更加精确。He等人(2020)和Hu等人(2017)在Pinheiro等人(2016)研究的基础上继续深入和扩展，并提出Mask R-CNN网络架构，成为深度学习中进行图像实例分割的一种通用框架。U-Net(Ronneberger等，2015)在医学图像分割上表现出了更好的分割效果，本质上U-Net可以看做是FCN的一种改进网络，该结构在编码器层逐渐减少池化层的空间维度，同时在解码器逐步修复物体的细节和空间维度，编码器和解码器之间通常存在快捷连接，因此能帮助解码器更好地修复目标细节。无论是FCN还是U-Net都可以容易扩展到3维卷积空间(Çiçek等，2016；Milletari等，2016；Korez等，2016)。FCN和U-Net结构广泛应用于肝脏肿瘤影像的分割。Vorontsov等人(2018)使用两个级联的FCN对肝脏与肿瘤同时分割，Pang等人(2019)使用与Vorontsov等人(2018)类似的端到端级联思想，同时利用膨胀卷积来改进特征的提取。Rezaei等人(2018)先使用一个目标检测的CNN获取肿瘤区域，然后在检测区域内进一步使用FCN进行分割。Li等人(2018)使用U-Net进行分割，并在编码器与解码器的垂直方向上加入密集连接。对于CT或MRI这样的多层切片成像，在某种意义上可以把扫描方向看做时间轴方向，类似于生成一个很短的视频，所以可以使用有记忆功能的循环神经网络(recurrent neural network，RNN)进行分割。Xu等人(2019)使用相关技术对脑肿瘤进行分割，Liang等人(2019)只是使用RNN进行肝脏肿瘤的检测，少有对肝脏肿瘤进行分割的相关文献。当前另一个研究热点是使用生成式对抗网络(generative adversarial network，GAN)进行医学图像的分割，Cirillo等人(2020)将GAN用于脑肿瘤的分割，Chen等人(2019)则用于肝脏肿瘤分割。Yang等人(2020)基于GAN提出一种专门用于医学图像分割的框架模型。Rezaei等人(2020)将RNN的记忆功能融入到GAN进行医学图像的分割。影像组学概念在2012年被提出和定义，是指通过获取医学影像中恶性肿瘤区域的纹理、梯度、形状、边界和小波等特征，形成一种非侵袭性的影像学生物标志物。Aerts等人(2014)利用影像组学在研究中取得一定突破，在一定程度上证明了影像组学特征与癌症病理特性以及致病基因的关联性。可以看出，医学影像数据的爆炸性增长为机器学习和基于数据的科学创造了一个理想的环境。因此，影像组学在医学影像领域的应用快速发展，也变得越发重要。基于影像组学的精确诊断和治疗决策支持系统已经成为现代医学的一个强有力的工具(Lambin等，2017)。深度学习在医学影像领域的广泛应用与发展，使得CNN自动提取影像特征来代替人工设计构建(hand-craft)特征作为影像组学的标志物成为可能(Afshar等，2019；Parekh和Jacobs，2019)。Yang等人(2019)在使用CNN提取影像组学特征的同时，增加了其他技术改进，比如使用多任务学习，对多个专家不同诊断结果的标记进行训练，这样与人类的诊断过程会更加接近。值得注意的是，在获取肿瘤轮廓比较准确的情况下，对于形状与体积各异的肿瘤而言，无法使用一个统一的CNN模型来提取卷积特征，而hand-craft影像组学特征则表现出更佳的优势，不仅可以进行统一的计算，而且更能表现恶性肿瘤区别于其他区域的异构性。因此，可以通过hand-craft影像组学特征有效地分析出假阳性的肿瘤区域，优化分割结果。本文方法的初次分割框架与Vorontsov等人(2018)与Pang等人(2019)方法中的网络类似，但使用改进的U-Net代替了FCN，Li等人(2018)方法中的U-Net中只有垂直方向上的Dense连接，本文进一步地在水平连接方向上也加入Dense连接，同时结合深度学习中的注意力机制，非常有利于识别出微小肿瘤区域。初次分割后，又提出进行连续两次的后处理，首先是利用影像组学去除假阳性，接着利用基于体素的分类进行分割，尽管该分类方法无法有效感知全局结构，但是局部感知有着更佳的精确性，提高了对肿瘤轮廓的识别度，最终得到更加准确的分割效果。2分割方法2.1系统概述分割方法的整体流程框架如图 1和图 2所示，包括训练和预测两个部分。图 1训练包括生成分割模型、去除假阳性的分类模型和边缘轮廓细化的分类模型，可以同时训练生成。图 2利用3个模型对预测图像进行分割，分割效果也可以通过3维可视化进行展示。 图1 模型生成框架图 Model generation framework((a) liver and tumor segmentation model; (b) classification model of removing false positive; (c) classification model of refining edge contour)Fig 1 图2 预测分割框架图 Chart of segmentation predictionFig 22.2分割模型肝脏与肿瘤使用同样的扩展U-Net进行分割，图 3为肝脏分割模型。肿瘤分割网络与图 3的唯一区别在于输入的通道数量为4，除了时间上连续3幅图像外，增加了一个肝脏分割预测概率图通道。两个U-Net级联后可以实现端到端的训练与预测，如系统概述部分的图 1(a)所示。分割的基本网络架构与U-Net保持一致，共5层网络架构，包括编码器端和解码器端。编码器端使用DenseNet-169(Huang等，2017)一致的卷积层，包括4个dense block和3个transition layer，卷积通道数固定为32。密集连接使用了更少的输出维度, 从而可以避免训练不必要的冗余特征，更多的跳跃连接(skip connection)保证了层间最大信息流的传递，在提升梯度流的同时更加容易找到全局最优解。 图3 分割模型网络结构 Network structure of segmentation modelFig 3解码器端与编码器端相对应，从最下面7×7像素分辨率到112×112像素分辨率经过4次上采样，采用Isola等人(2017)的上采样方法，最上层112×112像素特征图像经过一般反卷积操作到224×224像素大小，最后使用Sigmoid激活后对像素分类实现分割。由于上采样过程中会损失一些图像纹理细节，为了弥补损失，在上采样过程中加入子像素卷积(Shi等，2016)。其核心思想如图 4所示，通过一种将多个低分辨率特征图像进行像素洗牌(pixel shuffle)的方式来输出高分辨率图像。 图4 子像素卷积模型 Subpixel convolution modelFig 4如图 3所示，不仅可以在编码器端通过多个dense block逐层获取特征，在编码器和解码器每层之间也可以增加多个skip connection。编码器层通过与解码器层一致的上采样方法可以获取中间特征图像，通过每层中间特征图像的密集skip connection，增强编码器与解码器之间的语义连接，这与dense连接的思路是一致的，可以进一步加强整体的梯度流，在训练中提升全局最优解。各种微小的肿瘤区域在肝癌患者中很常见，由于面积与体积较小，在卷积神经网络中容易引起特征消失或减弱的现象，为了更好地提高肿瘤的分割性能，使用一种用于医学成像的新型注意门(attention gate，AG)模型(Oktay等，2018)。该模型的优势在于能够自动关注学习体积与形状不同甚至差异较大的目标，由于肝脏肿瘤具有体积与形状多态性的分布特点，所以非常适合肿瘤的分割。注意门的语义结构如图 5所示。Oktay等人(2018)方法中使用的是3维卷积处理，同样适用于2维图像，将原有输入中的厚度参数D去除，同时将1×1×1核调整为1×1，图中1表示卷积的层数，α为注意力系数。根据目标可以把像素重要度学习出来，从而对图像中不相关的区域进行抑制，对感兴趣区域进行突出，这种AG结构可以方便地集成到各种标准的CNN框架中，如图 3所示，已经集成到U-Net模型中，进一步提高了预测精确度与模型灵敏度。 图5 注意门的语义结构图 Semantic structure of attention gateFig 52.3分割后处理因为分割预测的结果是像素分类的概率值，即像素是肿瘤或肝脏的概率值，通过与255相乘将数值范围转为[0, 255]，这样就形成了一个分割的灰度图像，然后进行自适应二值化操作，成为表达分割的二值图像，255白色表示感兴趣区域，0黑色表示背景区域。分割二值图像需要进一步形态学操作，使用3×3的操作核，分别连续进行两次腐蚀和两次膨胀。形态学的膨胀与腐蚀操作可能会导致一些不连续的较小区域丢失，由于CT在短时间内是连续扫描的，如图 6所示，某个肝癌病人CT图像中连续5帧图像的变化，对于肝脏区域与某些肿瘤区域，在很短的时间内变化幅度非常小，就可以利用这种图像在时间上的连续性对丢失区域进行恢复。如果一幅图像的前一幅与后一幅都存在分割区域，而当前图像没有，则使用当前图像前后分割结果的平均值。 图6 CT图像连续性 CT image continuityFig 62.3.1去除假阳性1) 获取训练样本。训练样本包括阳性样本和阴性样本。阳性样本就是人工标注的3维肿瘤区域，由于存在人工标注数据，通过分割掩码可以直接获取。阴性样本包括正常的肝脏区域，含有部分其他组织与器官的肝脏边界区域和含有少量病变体素的正常区域。实验数据集包括300个病人的CT图像，采用5倍交叉验证，每次选择80%的数据, 即240个作为训练集，训练集中有900~1 200个左右标注的肿瘤区域。为了数量平衡，阴性样本采样1 000个。从获取的肿瘤样本统计来看，肿瘤大小基本呈均匀分布，阴性样本大小也是按照均匀分布进行采样。采样可以通过医生在医疗图像软件中手工操作获取完成，非常繁琐耗时，本文设计的阴性样本自动采样方法步骤为：(1) 获取一个病人的CT数据；(2) 初始采样范围半径r为2个像素，变化步长s为2个像素；(3) 随机获取肝脏边缘及附近范围内的非肿瘤像素作为种子像素；(4) 随机获取肝脏内部的非肿瘤像素作为种子像素；(5) 以种子像素为中心、像素大小r为半径范围采样一个3维空间区域；(6) 如果肝脏外部区域超过20%或者含有肿瘤像素数超过10%则获取失败，步骤(3)—(5)最多尝试100次；(7) 变化采样半径，r=r+s，转到步骤(3)获取新的种子像素与采样，直到r=50；(8) 获取下一个CT相同处理，直到所有CT处理完毕。可以看出r的取值范围是[2, 50]，变化步长是2，共有25个大小不同的采样区域，按照均匀分布，每个采样区域的数量是1 000/25=40个。每种尺度的阴性样本中，肝脏内部与肝脏边缘各占40%与60%的比例，边缘数量比例高一些。因为肝脏边缘与外部器官与组织相连接，在成像上与周围的差异性更突出一些，所以在识别上更容易生成假阳性的结果。所以每个尺度的样本随机打乱后，内部样本随机获取16个，边缘样本随机获取24个。2) 计算影像组学特征。影像组学的目的是通过对医学图像进行数据挖掘，使用高维的、医生肉眼无法识别的深层次特征对各种恶性肿瘤进行量化研究、分析与建模等。由于恶性肿瘤的异质特性，使得其影像组学特征可以成为一种有效的、非侵袭性的影像学生物标志物。本文将影像组学特征分为8组，分别为直方图统计特征、梯度特征、游程长度(run length，RL)纹理特征、灰度共生矩阵(gray level co-occurrence matrix，GLCM)纹理特征、基于形状的特征、二阶矩特征、边界特征与3维小波特征。(1) 直方图特征。使用大小为4的200个bin构建肿瘤区域的直方图。计算均值、标准差、偏度、峰度、能量和熵等直方图分布特征。(2) 梯度特征。使用高斯卷积计算3维梯度，标准偏差σ为体素大小的1.5倍。计算肿瘤区域中梯度的平均值和标准偏差。(3) RL纹理特征。从表示图像粗糙度的RL矩阵导出的11个RL纹理，其中RL矩阵中p(i，j)定义为具有灰度级i和行程长度j的像素的运行次数。RL的bin数量设置为128。细纹理往往包含更多的短运行，而粗纹理运行更长。(4) GLCM纹理特征。从GLCM中提取的22个GLCM纹理描述了灰度空间相关性，其中GLCM是通过计算图像中出现具有特定值和特定空间关系的像素对的频率而产生。GLCM的bin数量设置为128。(5) 基于形状的特征。描绘肿瘤的空间形状，例如球形和致密性。(6) 二阶矩特征。包括3个二阶中心矩不变量J1，J2，J3。(7) 边界特征。边界上的体素特征在很多时候更具有异质分布的代表性，在边界小范围区域内重新计算上述除形状以外的特征。(8) 3维小波特征。在3维空间的3个方向进行小波分解，每个方向有高频和低频两个取值，一共有8种组合，在8种空间组合中计算除形状以外的其他特征。以上总共可以产生728个特征。3) 特征选择。特征选择前先对特征值进行标准化操作，都转为均值为0、标准差为1的标准正态分布。首先去除波动变化小的特征值，通过计算特征的方差值进行过滤。接着使用皮尔森相关系数法与距离相关系数法来计算特征的线性相关性与非线性相关性，去除相关性强的特征。然后同时使用递归特征消除算法(recursive feature elimination，RFE)、Lasso回归、随机森林、Xgboost、GBDT(gradient boosting decision tree)和Relief过滤式算法各获取前25个最重要特征。最后获取6种方法特征选择结果的交集做为最终的特征选择结果，一共有18个特征。根据所知的研究范围，在国内外大量影像组学的研究文献中发现，随机森林模型的综合性能是最佳的，因此，选择随机森林分类器。2.3.2边缘细化由于分割掩码并非完全连续，而是会有一些小的噪声区域，所以需要形态学操作把一些距离近的分割区域连接成一个整体，同时将噪声小的区域去除。图像分割依赖于像素预测结果，因为像素预测的概率值有所不同，会导致灰度值与二值化的结果也不同，所以有的分割区域在形态学操作后比较准确，但是有些分割区域会比真实的结果扩大一些，需要进一步对边缘轮廓进行细化。获取以像素为中心的3维立方体图像块作为训练的数据集，如果像素在肿瘤区域内，则图像块设置为阳性样本，肿瘤外图像像素数量远远超过肿瘤内像素，包括肝脏其他区域和其他的一些组织与器官。事实上，在一个感兴趣区域内对图像块进行分类，肿瘤外的像素只需考虑边缘附近范围内的像素，此处设置距离边缘的最大范围是6个像素。2维平面展示如图 7所示，肿瘤边界内环线和外环线之间的区域就是采样的外部区域。 图7 肿瘤区域外部像素范围示意图 Diagram of external pixel range of tumor areaFig 7根据实验，此处分类不需要过于复杂的CNN，较简单的CNN就可以达到很好的分类效果，选用AlexNet模型框架并进行相应的调整。原始的AlexNet用于处理ImageNet中的RGB三通道彩色图像，CT是只有一个通道的灰度图像，转为三通道的方法包括：3个不同窗位值图像；3个不同分辨率图像；3个相同图像。经过实验比较，三通道分类性能与单通道基本一致，所以调整AlexNet输入为一通道。ImageNet图像是2维的，处理大小为224×224像素，这里使用3维的图像块，分辨率的范围在5×5×5到21×21×21。根据实验，21×21×21以上的图像块在训练时无法收敛，11×11×11为最佳的分辨率。由于图像分辨率的缩小和3维的处理，需要进一步对卷积核进行调整，都使用步长为1的3×3×3卷积核，都进行2×2×2池化，通道调整为连续两个64通道，连接两个128通道，再连接一个256通道，整个结构如图 8所示。 图8 调整后的AlexNet网络结构图 Adjusted AlexNet network structureFig 83实验与讨论实验中深度学习使用的GPU设备为NVIDIA Tesla P100-PCIE-12 GB，在Ubuntu 16.04操作系统下使用Python3.6.5开发，核心库包括tensorflow1.12.0，keras 2.2.5和cudnn7.1.4。肝癌CT数据集来自国内外合作医院的影像部，包括300个病人，进行5倍交叉验证的训练。每个CT序列包括70幅左右的2维扫描图像，图像序列转为224×224像素的8位灰度图像，每个序列中的肝脏与肿瘤都是由10年以上的医学专家进行分割标注。在分割模型训练中，每次参与训练的病例为240个CT，每个CT获取25幅图像，参与训练图像总数为6 000幅，不进行数据增强。使用Adam优化，学习率和衰减率分别初始化为经验值0.000 1和0.000 01，batch size设置为32，训练中回调自动保存损失最小的网络模型及权重，epochs最大值设置为150，如果连续10个epochs后损失不减少则停止训练。在去除假阳性的分类模型中，选择随机森林(random forest)算法，与其他常用模型性能对比如表 1和图 9所示。其中模型的关键超参值都是经过一定的网络搜索算法后最佳模型所对应的参数值。其中，n_trees、penalty、C和gamma分别表示决策树的数量、惩罚项类型，惩罚系数值和径向基函数参数。从图 9可以看出，随机森林分类结果的AUC(area under curve)值可以达到0.99，明显高于其他3个模型，具有很好的二分类性能。 表1 分类模型比较 分类模型 关键超参值 交叉验证准确率 随机森林 n_trees = 300 0.94 (±0.04) SVM(rbf) C=0.1, gamma=0.5 0.91 (±0.05) SVM(linear) C=1 0.87 (±0.04) Logistic回归 penalty=′L2′, C=0.001 0.80 (±0.08) Classification model comparisonTable 1 加粗字体表示最优结果。 图9 ROC比较图 ROC comparisonFig 9在调整的AlexNet网络模型中，可以采样获取大量的样本，不进行数据增强。阳性与阴性样本各5万个。分类使用简单模型，将该模型与复杂度高的模型进行一个实验对比，样本分辨率为15×15×15，其他分辨率结果类似，如表 2所示。 表2 CNN训练性能比较 CNN模型 准确率 训练速度 AlexNet 0.96 快 VGG19 0.91 慢 InceptionV3 0.91 慢 ResNet50 0.93 慢 Performance comparison of CNNTable 2 加粗字体表示最优结果。如表 3所示，根据不同图像块分辨率的性能测试，11×11×11分类效果最好，可以达到0.98的准确率，这种高准确率对边缘分割细化起到了关键的作用。 表3 图像块性能比较 块分辨率 准确率 5×5×5 0.91 7×7×7 0.94 9×9×9 0.95 11×11×11 0.98 13×13×13 0.96 15×15×15 0.96 17×17×17 0.94 19×19×19 0.90 21×21×21 0.88 23×23×23 无法收敛 Performance comparison of image blockTable 3 加粗字体表示最优结果。由于该分类器的目的是进行分割区域的细化，对分类性能的要求更高，所以首先使用缺省的Adam参数进行训练，在最优模型权重参数的基础上，使用学习率为0.000 1和momentum为0.9的随机梯度下降(stochastic gradient descent, SGD)优化方法进行微调(fine tune)，这样会取得更高的分类性能。图像块边长5~15范围内batch size设置为32, 17~23范围内batch size设置为16，同样训练中通过回调自动保存损失最小的网络模型及权重，epochs最大值设置为200，如果连续10个epochs后损失不减少则停止训练。选择敏感度(sensitivity)、命中率(positive predicted value，PPV)和戴斯系数(Dice coefficient，DC)作为分割性能评估标准，即： 1 ${{R_{{\rm{sensitivity }}}} = \frac{{|P \cap T|}}{{|T|}}}$ 2 ${{R_{{\rm{PPV }}}} = \frac{{|P \cap T|}}{{|P|}}}$ 3 ${{R_{{\rm{DC}}}} = \frac{{|P \cap T|}}{{(|P| + |T|)/2}}}$ 式中，$P$代表像素预测值，$T$代表像素真实值，度量结果如表 4所示。表中给出合作医院数据集和公开数据集LiTS(Bilic等，2019)的验证结果。 表4 分割性能比较 性能指标 本文 Pang等人(2019) Vorontsov等人(2018) Li等人(2018) 医院数据集 LiTS 医院数据集 LiTS 医院数据集 LiTS 医院数据集 LiTS sensitvity 0.87±0.03 0.85 0.80±0.03 0.79 0.82±0.04 0.79 0.84±0.01 0.85 PPV 0.91±0.03 0.89 0.84±0.03 0.83 0.85±0.05 0.82 0.89±0.02 0.89 DC 0.86±0.05 0.83 0.78±0.02 0.78 0.80±0.04 0.78 0.82±0.02 0.82 Comparison of segmentation performanceTable 4从比较结果中可以看出，本文方法准确率的平均值与最高值都是最好的，最佳分割结果与专家标注基本吻合，通过观察还发现，部分分割结果要优于专家分割，由于人工分割操作中会有主观因素或者疲劳等引起的误操作，标注并非一定完全正确，所以出现这种现象是很正常的。为了清晰地展示边缘分割效果，选择的分割CT图像没有显示全部区域，只是显示存在分割的局部区域，如图 10所示。从整体结果来看，本文与对比方法都可以将较大且纹理特征较明显的区域进行分割，从局部细节上可以观察出，本文分割的效果更加精细，与专家分割更为接近。从图 10第1、2、4行中可以看出，Vorontsov等人(2018)和Pang等人(2019)方法对于区域较小且纹理特征不是特别明显的区域无法识别，存在肿瘤区域遗漏现象。由于Li等人(2018)方法使用了一定的3维卷积特征，所以也可以较好地去除假阳性，如图 10第3、4行所示，但是与本文方法相比准确性会稍差一些，如图 10第5、6行所示，没有识别出假阳性区域。而Vorontsov等人(2018)和Pang等人(2019)方法都无法识别任何假阳性区域，如果区域纹理特征不明显或过小则与阳性区域一样漏检，否则识别为阳性区域分割。 图10 分割示例 Examples of segmentationFig 10 ((a)ground truth; (b)ours; (c) Li et al. (2018);(d) Vorontsov et al. (2018);(e) Pang et al. (2019)) 本文方法的训练过程不是端到端进行的，是由3个学习模型共同训练完成，一般是在Linux系统下的GPU服务器上进行。模型训练完成后可以布置在服务端也可以布置在一般PC机客户端。如果是在服务端，需要通过网络请求并传输序列图像，分割完成后再返回客户端。分割预测可以通过3个模型一次性分割完成，但是无法达到对一个CT序列实时分割的性能要求，事实上目前医疗或科研机构现实的应用中也不会进行实时处理，比较典型的做法是将图像上传到服务端，线下批量分割处理，处理完成后仅将分割结果数据返回，客户端利用分割结果数据就可以得到最终的分割图像。利用多个深度学习或机器学习模型进行医学图像分割，可以发挥出每个模型的个性化优势，从而可以进一步提高分割性能和泛化能力。4结论在临床诊断中，利用人工智能和计算机视觉等技术对CT医学影像中的肝脏及肿瘤进行自动或半自动分割正在逐步代替纯人工的操作模式。本文针对合作医疗机构的真实肝癌病人CT数据，采用将深度学习技术与医学影像组学结合的方法，建立一个融合多层次密集连接与注意力机制的U-Net分割模型，在后处理中，利用影像组学特征去除假阳性，同时基于3D体素块的分类模型对分割边缘进行细化，可以有效地应用于医疗及相关研究机构。由于本文方法需要训练3个机器学习模型，无法进行端到端的训练，所以不能达到对一个CT序列实时分割的性能要求。同时与Li等人(2018)方法相比，尽管整体性能略好，但是泛化性与稳定性稍差一些。在未来的研究中，一方面，会将GAN技术融入进来，进一步提升分割精确度与泛化的性能；另一方面，思考如何将所有方案生成一个端到端的训练模型，不但可以提升分割的实时性，而且可以简化整个模型体系，方便训练与实际应用。