0引言根据《2019年中国癌症最新数据报告》，肺癌为我国癌症发病率、死亡率榜首，对人类的生命造成极大威胁(郑荣寿等，2019)。大多数肺癌患者在确诊时已错过最佳治疗时机。早发现、早监测、早治疗是降低肺癌死亡率的关键。肺癌筛查主要依靠影像检查方法(Henschke等，2019)。电子计算机断层(computer tomography, CT)扫描能检测到直径5 mm的肺癌组织，且成像快、图像分辨率高，成为发现早期肺癌的首选技术。早期肺癌的影像表现为肺结节形成, 肺结节在CT影像上表现为形态各异、直径在3~30 mm间的密度稍高闭合影。根据结节的形态或位置，可分为血管粘连型结节、胸膜粘连型结节、肺壁粘连型结节、孤立型结节、磨玻璃影(ground glass opacity, GGO)结节；根据其所含实性成分可分为实性结节、部分实性结节、纯磨玻璃影结节。各类结节形态见图 1。 图1 肺结节分类 Lung nodules classification((a) vascular adhesive nodules; (b) pleural adhesive nodule; (c) lung wall adhesive nodules; (d) solitary nodule; (e) part-solid nodule; (f) pure ground glass opacity)Fig 1肺癌的早治疗对降低肺癌死亡率、提高患者生存率至关重要(Aokage等，2017)。肺结节被视为肺癌监测的关键指标，肺结节的准确分割是提升癌监测可靠性极其重要的一步。准确分割肺结节不仅能提取结节的边界特征，还能计算其质量及体积倍增速率等，为肺结节的良恶性判别提供重要依据，可用于临床对早期肺癌的及时干预治疗，对降低肺癌发病率、提高人群生活质量具有重要意义。肺结节分割方法大体上可分为传统方法和深度学习方法，已取得一定的成就，但依旧存在很大挑战：1)分割效果仍有很大提升空间；2)目前的软件包在无人工干预时一般无法完成全自动分割。Pehrson等人(2019)仅对结节定位中机器学习的发展作了论述，而Kamble等人(2020)仅简要概述了传统方法在结节分割中的应用。本文通过研读大量相关文献，对肺结节分割的传统方法和最新进展进行了较为详尽的综述，并总结了部分方法的评价指标表现。1传统分割方法传统方法是针对肺结节的形态、灰度等特征精心设计的，并在已知结节位置的基础上实施分割。传统的肺结节分割方法大致分为阈值和区域生长、聚类、活动轮廓模型及数学模型寻优方法。1.1传统方法基本流程传统肺结节分割方法的流程较烦琐，主要包括图像预处理、肺实质提取、感兴趣区域(region of interest，ROI)获取、实施分割、分割结果优化等步骤，具体见图 2。图像预处理的目的是使图像对比度增强，以凸显分割目标；肺实质提取主要是为了减少周围组织对分割的影响。在得到粗分割结果后，往往会再用形态学等算法对边界进行优化。 图2 传统方法分割肺结节流程 Segmentation of lung nodules by traditional methodFig 21.2各类传统方法分割结节阈值和区域生长方法主要利用不同区域间灰度值的差异实现分割。针对粘连型结节，往往会用阈值或区域生长方法进行粗分割，再用形态学开运算去除粘连结构。但是，形态学算子的半径过大会造成过分割，半径过小会造成欠分割。Kostis等人(2003)在阈值分割基础上，用半径固定的圆形算子执行开运算去除粘连的血管、胸膜，再用半径逐渐减小的圆形算子做迭代膨胀运算补充边界细节，但该操作也会造成过分割。而Kuhnigk等人(2006)根据血管半径确定圆形算子大小，更好地避免了去除血管时的过分割或欠分割；对粘连肺壁的去除，则在凸包粗分割后使用开运算，但该方法对胸膜凹陷处的肺壁粘连型结节并不适用。Moltz等人(2009)用椭圆近似拟合区域生长与光线投射算法定位结节边界，弥补了Kuhnigk等人(2006)方法的不足。为了提高方法的普适性，Kubota等人(2011)用耦合竞争扩散算法提取前景区域，结合区域生长方法除去背景结构得到初步分割结果。该方法对不同密度结节的分割均适用，不足之处是需在每张切片上手动选取种子点进行生长。在改进的区域生长方法中，只需给定一个坐标点，通过评估周围像素与该点的相似性判断生长条件，当连续切片中目标区域的平均CT值满足一定条件时，自动分割后一张切片内的结节(Ren等，2020)，但在多条血管贯穿结节等复杂情况下，该方法会造成欠分割。聚类方法主要通过目标区域像素的特征相似性实现像素聚簇。将结节像素的灰度及空间信息集成到模糊C均值(fuzzy C-means, FCM)聚类算法的目标函数中，对粘连型及GGO结节的分割均有效(Liu等，2015)。在后续研究中，Liu等人(2018a)提出的自适应FCM聚类算法实现了更快、更高精度的结节分割，但对直径 10 mm的结节分割效果不佳。充分利用结节的形态与空间信息，能提升聚类分割精度。除考虑空间信息外，利用GMM(Gaussian mixture mode)统计将结节先验信息引入传统FCM算法中，通过消除结节强度不均匀和周围组织的干扰，大幅度提升了分割精度(Li等，2020)。同时，该方法从多尺度增强滤波器的响应结果中自动选取聚类中心，突破了传统FCM算法需人工随机选取聚类中心的局限。另外，将结节的强度、形状特征组成一组特征向量，用元启发式搜索策略搜寻特征空间中最符合该组向量的像素并聚类，也能自动分割不同类型的结节(Shakibapour等，2019)。活动轮廓模型(active contour model, ACM)等可变形方法主要利用曲线在边界停止演化得到目标轮廓。Nithila和Kumar(2016)将ACM结合FCM聚类方法用于分割结节，虽然基于ACM重建肺实质降低了结节分割错误率，但参数的不确定性大。水平集(level set)方法隶属几何活动轮廓模型，将结节的先验形状表示为训练形状的稀疏线性组合，集成到level set目标函数中实现了结节3D分割(Farhangi等，2017)。该方法普适性较好，但函数的非自动初始化差强人意。可变形模型用得越来越多，分割效果也较令人满意。针对GGO结节分割，先基于强度直方图分别提取结节的实性和纯磨玻璃影区域，再用非对称多相变形模型细化各区域边界，可解决GGO结节分割易发生活动轮廓泄露的问题(Jung等，2018)。此外，也有基于数学模型寻优方法分割结节的研究。对于各类结节，Wang等人(2007)利用一系列自3D结节中心发出的射线将3D结节投影到2D平面上，再用动态规划算法确定最优轮廓。将3D结节表面投射成一条曲线，简化了分割方法，同时使分割结果更可靠。对于实性结节，Gonçalves等人(2016)基于每个体素点的3D Hessian矩阵特征值，计算形状指数和曲率，结合二者设置最佳阈值分割结节，实现了结节的多尺度分割，但该方法对管状结构敏感。1.3传统方法总结肺结节内部密度不均匀，外部形态多样化为其分割带来了困难，且部分结节与血管、胸膜等结构粘连，更增加了其分割难度，以致目前仍缺乏能适于所有类型结节分割的传统方法，表 1总结了各方法适用的结节类型。 表1 传统方法适用的结节类型 分割方法 适用的结节类型 不适用的结节类型 Kostis等人(2003) 血管、胸膜粘连型结节 - Kuhnigk等人(2006) 血管粘连型结节 肺壁粘连型结节 Moltz等人(2009) 血管、胸膜、肺壁粘连型结节 - Kubota等人(2011) 不同密度的结节 - Ren等人(2020) - 血管粘连型结节 Liu等人(2015) 血管、胸膜、肺壁粘连型及GGO结节 - Liu等人(2018a) 血管、胸膜、肺壁粘连型及GGO结节 直径 10 mm的结节 Li等人(2020) 所有类型结节 - Shakibapour等人(2019) 所有类型结节 - Nithila和Kumar(2016) 血管、胸膜粘连型结节 - Farhangi等人(2017) 所有类型结节 - Jung等人(2018) GGO结节 - Wang等人(2007) 所有类型结节 - Gonçalves等人(2016) - 血管粘连型结节 Types of nodules suitable for traditional methodsTable 1 “-”代表相应文献未报道。传统方法是基于数学知识表示的，鲁棒性强，精确的分割效果无需大量的标签数据参与模型训练，且易与临床医生的解剖知识和经验融合，如通过提供的结节大小、体积和位置等信息确定阈值和初始轮廓等大小，能提升方法的自动化性能。但该类方法对人工干预的依赖性较强，如阈值方法分割效率高，可重复性好，但阈值设定过于经验化，且对粘连型结节的分割效果不理想；聚类、区域生长和动态规划等方法纳入了像素邻域信息，计算复杂度低，但对初始种子点的位置、目标边界与背景的区分度敏感，且与先验知识结合的难度较大，易出现过分割和欠分割现象；ACM可与结节形状、灰度等先验知识结合，能自我调整能量泛函参数，提高分割精度，但依赖于初始轮廓的位置、对噪声敏感，且随着迭代次数的增加，计算复杂度也会增加。2深度学习分割方法传统分割方法已不能满足临床需求，迅速发展起来的深度学习已应用于肺结节分割。与传统方法不同，深度学习利用神经网络模型训练大量影像数据，主动学习结节的低层特征并形成更抽象的高层特征，从而对影像进行预测分割。深度学习方法根据网络结构可分为3类：基于卷积神经网络的分割方法、基于全卷积神经网络的分割方法和基于编码-解码结构网络的分割方法。2.1深度学习方法基本流程深度学习方法的基本流程见图 3，主要分为4个部分：数据准备、模型搭建、模型训练和超参数微调等，其中医生标注的结节轮廓为“金标准”。数据准备阶段主要包含原始CT图像和对应金标准图像的预处理，如对Dicom图像降噪或滤波、归一化，对金标准图像进行one-hot编码处理。之后，将数据集合划分为训练集、验证集和测试集，其中训练集和验证集包含原始图像和金标准图像，而测试集只包含原始图像。数据集的划分可采用K折交叉验证法(Farhangi等，2017；Aresta等，2019)和随机划分法(Liu等，2019；Cao等，2020)。将划分好的数据输入模型训练，通过损失函数反映预测值与金标准的差异，进而微调批处理、学习率和训练轮数等超参数，反复训练、验证模型并保存验证集上损失率最小的模型的偏置和权重，利用该偏置和权重对测试集进行分割预测。 图3 深度学习方法基本流程 Basic process of deep learning methodFig 32.2基于卷积神经网络分割结节自Cernazanu-Glavan等人(2013)将卷积神经网络(convolutional neural network，CNN)用于分割X线图像以来，CNN就因其良好的特征提取和特征表达能力得到广泛使用。经典的CNN通过多个卷积层提取目标的特征，再经过最大池化层对特征降维，然后利用全连接层将局部特征整合成全局特征，最后使用softmax等激活函数逐像素分类，精确定位目标区域。CNN结构见图 4。 图4 CNN结构 CNN structureFig 4深度学习方法用于分割肺结节，采用神经网络模型训练大量结节切片，主动提取相关特征完成分割。Wang等人(2017)并联两个CNNs分割结节，一条分支用核大小不同的6个卷积层训练3D切片，提取结节的空间特征；另一分支用同样层数的卷积层训练2D切片，提取结节的平面特征；两条分支均采用2个中心池化层保留结节的大量中心信息并对特征图降维；经softmax全连接层进行逐像素分类后，融合两分支产生的像素分类概率，自动定位结节。CNNs在图像分割方面取得了较好的效果，Mask-RCNN(region CNN)更成为近年的研究热点。Mask-RCNN是1个多任务网络，可同时实现目标检测和分割(He等，2017)。由于引入了特征金字塔网络(feature pyramid network，FPN)，Mask-RCNN在小目标检测方面有很好的性能，但对不同的任务，网络的许多参数需要调整。为了优化Mask-RCNN以适应结节分割，Yan等人(2019)用focal-loss代替以往的损失函数，解决了结节与背景大小悬殊导致的模型退化问题，取得了比Liu等人(2018b)用多任务损失函数更好的分割效果。3D网络能提取更全面的特征，用3D Mask-RCNN分割结节的结果显示，网络的特征学习能力比2D的更好(Kopelowitz和Engelhard，2019；Cai等，2020)，但网络训练效率有所降低。长期以来，能用于深度学习的医疗数据有限，对带标注图像的获取更是难上加难，利用3D Mask-RCNN与自步和主动学习策略结合，Wang等人(2019)构建了弱监督模型，在只采用14.85%带标签图像参与模型训练的条件下，获得了与采用100%带标签数据参与训练下相差无几的分割精度。该网络可成为小样本下深度学习分割的范本。2.3基于全卷积神经网络分割结节为减少CNN中全连接层丢失过多信息，Long等人(2015)将全连接层换为卷积层的全卷积神经网络(full convolutional network, FCN)并得到认可。FCN的参数量更小，计算时间更短，通过最后的反卷积层可将特征图恢复到输入图像的大小，完成端到端的图像预测。FCN结构见图 5。 图5 FCN网络结构 FCN structureFig 5将卷积层用残差块代替便得到残差网络，在用双分支全卷积残差网络分割结节时，能多视角、多尺度提取结节的局部特征和丰富的上下文信息，提升分割精度(Liu等，2019)。在此基础上，以中心强度池化层替代最大池化层，保留了结节中心与强度的大量信息，进一步提升了结节分割效果(Cao等，2020)。然而，利用深度学习方法完全独立地处理单个任务是比较耗费资源的，相关任务的联合学习有助于提高单个任务的性能(Wang等，2020)。集结节检测与分割于一体的多任务网络日渐增多。分割结果表明，先用Faster R-CNN合并CNNs快速检测结节位置，再用FCNs分割结节，比单独使用FCNs分割的结果要好(Huang等，2019)；用3D CNNs检测结节并减少假阳性区域后，再用3D FCNs分割结节，结节的检测和分割准确率都有明显上升(Tang等，2019)。2.4基于编码-解码结构网络分割结节在FCN网络中，采用反卷积直接将图像恢复至输入图像大小，造成分割结果不够细致。2015年，以U-Net(Ronneberger等，2015)为代表的编码-解码结构网络问世，它使用编码器提取目标特征，通过解码器整合信息并恢复分辨率，使用的上采样方式是根据特征值的位置将特征映射到新的特征图中。该类网络实现了更精细的结节分割，其结构见图 6。 图6 编码-解码结构 Encode-decode structureFig 6U-Nets因数据需求量小、分割效果好而得到广泛使用并衍生出众多优化网络。在U-Nets的编、解码器中引入Bottleneck块(见图 7(b))，利用线性整流函数(rectified linear unit, ReLU)、Dropout层及用Dice损失函数代替传统的交叉熵损失函数提高了网络的训练效率，但分割性能一般(Tong等，2018)。而将U-Nets瓶颈区的卷积层换成Bottleneck块，结合主动学习策略，可实现结节的半监督分割，但分割精度有待提高(Zotova等，2019)。特别地，在Bottleneck块的ReLU函数前加入批量标准化(batch normalization，BN)层得到改进的Bottleneck块(见图 7(c))，并将其加入卷积层和反卷积层中，不仅使网络深度得以加深，也加快了网络收敛速度，结节分割效果也好(Singadkar等，2020)。与此不同，Rocha等人(2020)在U-Nets的最大池化层与上采样层之间加入池化索引(Badrinarayanan等，2017)，并用反池化技术做上采样，减少网络计算成本的同时提升了网络的存储效率，但结节分割精度与FCN相较并无明显提升。对于3D结节分割，Aresta等人(2019)将两个精简的U-Nets串联得到iW-Nets，可自动分割结节得到3D掩膜，并允许用户在此掩膜边界上引入两个点进行分割校正。该网络的卷积层通道数较小，在一定程度上减少了训练参数，对非实性结节的分割效果提升最大。类似地，在并联3个U-Nets的监督学习阶段，将结节3个切面的图像及对应金标准分别输入3个分支进行训练，并采用10折交叉验证和优化算法提升分割精度(Amorim等，2019)，结果表明，多分支3D结构能同时多方向提取结节的丰富的空间信息，使分割效果更稳健。 图7 残差结构 Residual structure ((a) residual block; (b) Bottleneck block; (c) improved Bottleneck block)Fig 72.5深度学习3D分割方法与临床应用3D分割方法的应用来自对结节体积测量的临床需求。在传统方法中，2D方法占据着主要地位。在深度学习方法中，2D分割网络采用切片输入，借助2D卷积提取结节的灰度、纹理和形态等平面特征，但却忽略了切片与切片之间的关系特征，损失了分割目标的空间信息。随着深度学习技术的发展和计算机性能的提升，3D分割网络因其空间特征挖掘能力在医学图像分割领域日渐流行。3D网络借助3D卷积可提取结节的全局特征，具有更强的学习能力。在基于卷积神经网络分割结节中，Feng等人(2019)提出3D CNNs训练不同尺度的结节超体素，提取结节的3D拓扑结构特征，提升了分割效果。在基于全卷积神经网络分割结节中，Yaguchi等人(2019)使用3D FCNs完成了端到端的结节预测。在基于编码-解码结构网络分割结节中，Wu等人(2020)将3D U-Net与3D条件随机场(conditional random field，CRF)相连，训练过程中CRF用于优化网络偏置和权重，并将结果反馈到3D U-Net中实现网络参数优化，结节分割结果显示该网络的性能很好；另外，作为3D U-Nets的变体网络，V-Nets在每两个卷积层之间加入残差块，并使用参数线性整流函数(PReLU)代替ReLU加快网络收敛，也获得了较好的结节分割效果(Kumar和Raman，2020)。然而，由于3D卷积核的参数量和计算量均远远大于2D网络，训练难度大大增加，且3D网络对数据量的需求也更大。目前，3D网络的分割性能较2D网络而言并无明显优势，未来2D与3D网络融合用于结节分割或会成为有前景的研究方向(Liao等，2018)。表 2总结了部分深度学习3D分割对比2D分割方法的差异与优缺点，及适用的其他任务。 表2 3D分割方法简要总结 经典网络 2D 3D 其他任务 优点 缺点 CNN Liu等人(2018)Yan等人(2019) Feng等人(2019)Kopelowitz和Engelhard(2019)Cai等人(2020)Wang等人(2020) 2D：脑肿瘤分割(Chang等，2019) 3D：结节检测(Cao等，2020)2D：利用2D卷积基于2D切片提取结节特征，模型的计算复杂度较低，可训练参数较少，同时便于迁移预训练模型参数，模型训练时间一般更短。 3D：利用3D卷积基于3D体积块提取结节特征，进一步学习了结节与周围组织的空间关系，能提取结节的3D拓扑结构信息。 2D：只能显示区域的部分信息，无法充分利用其结构信息。 3D：模型的计算复杂度高，可训练参数多，需更多训练数据以避免过拟合。 FCN Huang等人(2019)Liu等人(2019)Cao等人(2020) Yaguchi等人(2019)Tang等人(2019) 2D：肝脏、肿瘤分割(Christ等，2016) 3D：左心室分割(Jin等，2018) U-Net Tong等人(2018)Zotova等人(2019)Singadkar等人(2020)Rocha等人(2020) Aresta等人(2019)Amorim等人(2019)Kumar和Raman(2020)Wu等人(2020) 2D：皮肤病灶分割(Ibtehaz和Rahman，2020) 3D：肝脏血管提取(Huang等，2018)脑肿瘤分割(Chang等，2018) A brief summary of the 3D segmentation methodsTable 2深度学习分割方法主要通过计算机辅助诊断系统(computer aided diagnosis system，CAD)在临床上发挥作用。目前已有很多关于CAD设计的研究：Wu等人(2018)利用改进的3D U-Net实现了结节分割、属性预测和良恶性分类的多任务CAD；Khosravan和Bagci (2018)利用3D深度多任务CNN实现了结节分割和假阳性减少的CAD等。尽管深度学习技术已经在日常的自动化生活中占据了一席之地，但由于医疗数据的敏感性和挑战性，目前基于深度学习的结节分割乃至其他临床任务在医疗邻域的渗透速度仍相当缓慢(Razzak等，2018)。2.6深度学习方法总结深度学习方法能有效分割各类结节，突破了单个传统方法难以满足所有类型结节分割的局限。在高性能计算机的支持下，深度学习方法能快速完成全自动分割结节的任务，然而目前大部分深度学习模型都依赖大量的手动标记切片进行监督训练，这是极其耗费资源的，但在追求分割精度高的肺结节分割方法研究领域，深度学习方法适逢其时，并将在今后很长一段时间内成为人们密切关注的方法。深度学习模型对医学图像的数量和质量要求较高，尽管单次CT扫描会带来大量的结节影像数据，但医学数据的共享更加复杂和困难，基于深度学习的结节分割仍面临小样本数据的限制。对此，研究者通过数据扩增技术、使用弱监督网络和多任务学习来解决有限训练样本下网络不收敛的问题；通过对神经网络进行优化以提升模型的泛化能力；通过改进激活函数、损失函数来加快收敛速度；通过调整结构实现结节的2D或3D准确迅速分割；通过优化结构及使用不同优化器如Adam、随机梯度下降(stochastic gradient descent, SGD)算法等提高分割精度和效率。然而，网络模型中超参数的设置方式有待改进；3D网络的使用会伴随数据量的增加，其分割效果优于2D网络的结论有待更多实验验证；利用带少量标签或不带标签的小样本数据实现结节的全自动分割，仍需面临很多挑战；深度学习分割方法在临床应用中落地仍要经受很多考验。3深度学习与传统方法结合分割结节为研制出分割精度更高的方法体系，有学者将深度学习与传统方法相结合用于结节分割，这类方法一般分两个阶段实施：1)结节检测联合假阳性减少；2)结节分割。Sun等人(2017)用传统的图割(graph cut)法分割出候选结节区域，再用CNN减少假阳性区域对结节进一步精确定位，最后利用softmax计算像素点概率，得到了不错的分割效果。而在U-Net预测得到的结节掩膜中，采用graph cut算法优化该分割结果，可使模型的分割性能较粗分割网络提升20%(Mukherjee等，2017)。深度学习与传统方法相融为分割方法研究打开了新的大门。Roy等人(2019)用SegNet(Badrinarayanan等，2017)对大量结节切片进行全监督训练，得到稳定模型后，对测试集进行预测得到粗分割结果，此阶段分割效果不佳，存在大量欠分割现象；粗分割结果为level set隐函数的初始化曲线，利用曲线迭代演化实现精细的边界分割。单独使用传统的形态学方法分割结节，在一定程度上可以准确提取结节边界，但相关参数不易控制，在Bhandary等人(2020)的肺部病灶检测框架中先用改进的AlexNet深度学习网络提取结节特征，再用形态学方法分割结节，得到了很好的结果。深度学习与传统方法相结合用于分割结节仍不多见，二者的结合形式主要有两种：1)用传统方法处理结节图像，再输入深度学习模型；2)用网络模型学习结节的特征表示，再用传统方法做后处理。但该类方法能获得更精确、更鲁棒的结节分割结果，深度学习方法能准确定位结节，而传统方法具备处理复杂形态学目标特点的体现。然而，该类方法也有其适用的结节类型(见表 3)。临床应用追求精确分割的同时也追求高分割效率，如何在二者结合时保持深度学习的高分割效率与传统方法的稳健性仍需找到最佳的融合形式。 表3 混合方法适用的结节类型 分割方法 适用的结节类型 Sun等人(2017) 适用血管或胸膜粘连型、孤立型结节 Mukherjee等人(2017) 适用非纯磨玻璃影结节 Roy等人(2019) 适用胸膜粘连型、孤立型结节 Bhandary等人(2020) 适用所有类型结节 Types of nodules suitable for mixed methodsTable 34分割方法评价指标评估肺结节的分割结果能定量评价算法的性能，即用客观的数值形式表示分割结果与金标准的差异性。分割效果的评价一般使用Dice相似系数(dice similarity coefficient, $ {\rm{DSC}}$)、重叠率(intersection over union, $ {\rm{IoU}}$)、阳性预测值(positive prediction value, PPV)、敏感性(sensitivity, SEN)和平均表面距离(average surface distance, ASD)等量化指标。$ {\rm{DSC}}$和$ {\rm{IoU}}$指分割结果与金标准之间的拟合程度；PPV指分割正确的结节像素占分割结果中总像素的比例；SEN则表示分割正确的像素占金标准中总像素的比例；ASD是指分割结果与金标准之间的平均Hausdorff距离。在上述5种评价指标中，以$ {\rm{DSC}}$和$ {\rm{IoU}}$指标最为常用，其客观衡量了分割结果与金标准之间的相似度和重叠度，能有效评价分割方法的精确性。$ {\rm{DSC}}$和$ {\rm{IoU}}$指标可表示为 1 $DSC = \frac{{2\left| {\mathit{\boldsymbol{Gt}} \cap \mathit{\boldsymbol{Seg}}} \right|}}{{\left| {\mathit{\boldsymbol{Gt}}} \right| + \left| {\mathit{\boldsymbol{Seg}}} \right|}}$ 2 $IoU = \frac{{\left| {\mathit{\boldsymbol{Gt}} \cap \mathit{\boldsymbol{Seg}}} \right|}}{{\left| {\mathit{\boldsymbol{Gt}} \cup \mathit{\boldsymbol{Seg}}} \right|}}$ 式中，$ \left| {\mathit{\boldsymbol{Gt}}} \right|$和${\left| {\mathit{\boldsymbol{Seg}}} \right|} $分别代表金标准面积和方法分割得到的轮廓面积，$ {\left| {\mathit{\boldsymbol{Gt}} \cap \mathit{\boldsymbol{Seg}}} \right|}$代表金标准与分割结果的重叠面积，$ {\left| {\mathit{\boldsymbol{Gt}} \cup \mathit{\boldsymbol{Seg}}} \right|}$代表金标准与分割结果面积的并集。$ {\rm{DSC}}$和$ {\rm{IoU}}$值均在0~1之间，值越大表明分割结果与金标准越接近，分割效果越好。训练肺结节分割模型最常用的数据来源主要有两个：1)肺部图像数据库联盟(lung image database comsortium, LIDC)公共数据库; 2)临床数据。LIDC包含1 010个病例的1 018套肺部CT扫描数据，每套数据包含扫描影像和4位经验丰富的放射科医生标注的结节信息，结节直径在2~40 mm之间；LUNA16数据集是LIDC的子集，共包含888套扫描数据，包含至少由3名放射科医生认定的半径大于3 mm的结节。临床数据收集于医院，并不对外公布。表 4和表 5总结了部分方法所用结节信息及其评价指标结果，其中，CF-CNN为central focused convolutional neural network, CDP-ResNet为cascaded dual-pathuay residual network, DB-ResNet为dual-branch residual network, DDRN为deep deconvolutional residual network。 表4 肺结节分割的传统方法和深度学习方法评价指标结果 方法分类 主要方法 分割的结节类型 实验结节数量/大小 $ {\rm{DSC}}$ $ {\rm{IoU}}$ 主观评价 传统方法 阈值+形态学方法(Kostis等，2003) 边界清晰/粘连血管/胸膜的结节 200(LIDC)直径： 10 mm - 0.57 代表了第1个临床应用的该类系统。 形态学方法+凸包运算(Kuhnigk等，2006) 实性结节 700(临床)直径：- - 0.56 Bland-Altman分析一致性达95%。 区域生长方法(Kubota等，2011) 不同密度的结节 105(LIDC)+820(临床)LIDC直径：-临床直径：3~30 mm - 0.69 测量值存在30%差异，被认为可接受。 level set(Farhangi等，2017) 边界清晰/粘连血管/胸膜的结节 542(LIDC)直径：≥3 mm 0.70 0.57 4名专家的分割结果均值：$ {\rm{DSC}}$=0.73，一致性差异为2.92%。 非对称多相变形模型(Jung等，2018) GGO结节 18(LIDC)+58(临床)LIDC直径：3~22 mm临床直径：4~29 mm 0.82 0.66 与人工分割结果之间存在线性关系，但存在一些高估和低估情况。 元启发式算法(Shakibapour等，2019) 所有类型 764(LIDC)直径：2~39 mm 0.77 0.65 4名专家的分割结果均值：$ {\rm{DSC}}$=0.80，一致性差异为3.45%。 GMM+FCM(Li等，2020) 所有类型 893(LIDC)直径：≥3 mm 0.90 0.86 - 深度学习方法 CF-CNN(Wang等，2017) 所有类型 训练集 验证集 测试集 0.82 0.71 4名专家的分割结果均值：$ {\rm{DSC}}$=0.84，一致性差异为1.98%。 350(LIDC) 50(LIDC) 493(LIDC)+74(临床) LIDC直径：4~24 mm临床直径：1.64~58.94 mm CDP-ResNet (Liu等，2019) 所有类型 训练集 验证集 测试集 0.83 - 4名专家的分割结果均值：$ {\rm{DSC}}$=0.83，一致性差异为-0.03%。 391(LIDC) 56(LIDC) 539(LIDC) LIDC直径：3~14 mm DB-ResNet(Cao等，2019) 所有类型 训练集 验证集 测试集 0.83 - 4名专家的分割结果均值：$ {\rm{DSC}}$=0.83，一致性差异为-0.49%。 387(LIDC) 55(LIDC) 544(LIDC) LIDC直径：3~14 mm SegU-Net(Rocha等，2020) 所有类型 训练集 验证集 测试集 0.82 - - 1 591(LIDC) 531(LIDC) 531(LIDC) LIDC直径：- DDRN(Singadkar等，2020) 所有类型 训练集 验证集 测试集 0.95 0.89 - 272(LIDC) 54(LIDC) 89(LIDC) LIDC直径：- 3D U-Net+3D CRF(Wu等，2020) 所有类型 训练集 验证集 测试集 0.80 - - 662(LIDC) 74(LIDC) 200(LIDC)+50(临床) LIDC直径： 30 mm临床直径：- Evaluation indicators results of traclitional methods and deep learning methods for lung nodule segmentationTable 4 “-”表示相应文献未报道。 表5 肺结节分割的传统方法与深度学习相结合方法的评价指标结果 方法分类 主要方法 分割的结节类型 实验结节数量/大小 $ {\rm{DSC}}$ $ {\rm{IoU}}$ 主观评价 训练集 验证集 测试集 Graph Cut + CNN(Sun等，2017) 孤立型/粘连血管/胸膜的结节 305(LIDC) 0.85 - - LIDC直径：3 mm 训练集 验证集 测试集 深度学习+传统方法 SegNet + Level Set(Roy等，2019) 实性/孤立型/粘连胸膜的结节 220(LIDC) 63 0.92 - - LIDC直径：- 训练集 验证集 测试集 AlexNet+形态学方法(Bhandary等，2020) 所有类型 777(LIDC) 0.9 - - LIDC直径：- Evaluation indicators results of traditional methods combined with deep learning methods for lung nodule segmentationTable 5 “-”表示相应文献未报道。根据指标结果，传统方法有其适用的结节类型，对数据量需求不大，分割精度较低；深度学习方法的普适性更好，实验数据需求量大，分割精度更高；深度学习结合传统方法在结节分割上取得了很好的效果，但模型分割效率有所降低。各方法在结节大小上有其针对范围，一般地，直径越小、与解剖结构粘连越多的结节分割难度也越大，当其评价指标越好时，方法的性能也越佳。分割方法定量评价的最终目的是衡量方法在临床应用上的有效性和可行性。方法性能除使用上述客观的数值描述以外，还有赖于主观评价，即以专业临床医生的视觉效果作为评判标准。表 4给出了各方法的主观评价，能更直观地了解各方法性能。5未来展望为满足临床对肺结节分割精度和分割效率的需求，越来越多的研究者将目光投向深度学习技术，使基于深度学习的肺结节分割方法研究热极一时。本文通过整理部分肺结节分割方法的评价指标表现，对深度学习方法的发展趋势进行展望：1) 随着人工智能时代的到来，基于深度学习的肺结节分割方法会在分割精度上更上一层楼，并成为该领域的首选方法；2) 对现有的网络模型进行改进或结合传统方法分割结节的效果较好，将成为一个流行趋势；3) 目前的神经网络需要大量手动标注的样本进行有监督训练，但囿于医学数据的复杂性，可用数据有限，未来研究出一种无监督或弱监督的深度学习网络，以适用粘连型、GGO等分割难度大的结节乃至所有类型结节的分割是研究的终极目标；4) 随着计算机性能的提升，深度学习3D分割网络应用广泛，但其依赖更多的数据参与训练，未来研究中，2D与3D结合的网络用于图像分割或成为可能;5) 多模态数据能从多种层面提供结节信息，基于PET(positron emission tomography)-CT图像分割结节或能提供更好的分割结果。6结语本文简要总结了传统肺结节分割方法的优缺点，重点介绍了深度学习及其与传统方法结合的新方法，对现有的肺结节分割方法进行了比较全面的综述。传统方法主要依据结节的形状、灰度和纹理等特征确定其边界，但由于结节的特征各异，且部分结节与血管、胸膜等结构粘连，给结节分割增加了困难，使传统方法的准确度较低，适用范围受限，且对用户干预的依赖性较强。深度学习方法使用大量数据训练网络，主动学习特征后可自动分割出结节，且其分割精度高、速度快，对结节类型的自适应性强；对于大数据下模型训练中出现的过拟合或欠拟合，深度学习可利用正则化、权值衰减、Dropout、改进激活函数和损失函数等优化模型来避免，同时缩短模型的训练时间；即使在结节样本量有限的情况下，通过数据扩增和网络设计，充分利用各个神经网络的优势，也能取得较好的分割效果。深度学习方法在结节分割上取得了一定的成就，在今后一段时间里会继续占据主流地位，而传统方法凭借其稳固的理论支撑，其研究也并不会止步不前。此外，目前网络中的超参数是以无数次训练模型为代价获得的，大量数据的快速训练以及超参数的确定也是深度学习未来需解决的问题。