Print

发布时间: 2022-03-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.210769
2022 | Volume 27 | Number 3




    综述    




  <<上一篇 




  下一篇>> 




CT图像肺及肺病变区域分割方法综述
expand article info 冯龙锋1, 陈英1, 周滔辉1, 胡菲1, 易珍2
1. 南昌航空大学软件学院, 南昌 330063;
2. 江西省肿瘤医院放射科, 南昌 330029
收稿日期: 2021-09-08; 修回日期: 2021-10-31; 预印本日期: 2021-11-07
基金项目: 江西省自然科学基金项目(20202BABL202029)；国家自然科学基金项目(61762067)
作者简介: 冯龙锋，1998年生，男，硕士研究生，主要研究方向为医学图像处理。E-mail：flf1998@qq.com
陈英，通信作者，男，副教授，硕士生导师，主要研究方向为生物特征识别和医学图像处理与模式识别、机器学习和深度学习及其在医学诊断中的应用。E-mail：c_y2008@nchu.edu.cn
周滔辉，男，硕士研究生，主要研究方向为医学图像处理。E-mail：3156574420@qq.com
胡菲，女，硕士研究生，主要研究方向为医学图像处理。E-mail：3297200198@qq.com
易珍，女，主管护师，主要研究方向为影像学检查。E-mail：709008558@qq.com
*通信作者: 陈英  c_y2008@nchu.edu.cn
中图法分类号: TP391.4
文献标识码: A
文章编号: 1006-8961(2022)03-0722-28

摘要

计算机断层扫描(computed tomography，CT)技术能为新冠肺炎(corona virus disease 2019，COVID-19)和肺癌等肺部疾病的诊断与治疗提供更全面的信息，但是由于肺部疾病的类型多样且复杂，使得对肺CT图像进行高质量的肺病变区域分割成为计算机辅助诊断的重难点问题。为了对肺CT图像的肺及肺病变区域分割方法的现状进行全面研究，本文综述了近年国内外发表的相关文献：对基于区域和活动轮廓的肺CT图像传统分割方法的优缺点进行比较与总结，传统的肺CT图像分割方法因其实现原理简单且分割速度快等优点，早期使用较多，但其存在分割精度不高的缺点，目前仍有不少基于传统方法的改进策略；重点分析了基于卷积神经网络(convolutional neural network，CNN)、全卷积网络(fully convolutional network，FCN)、U-Net和生成对抗网络(generative adversarial network，GAN)的肺CT图像分割网络结构改进模型的研究进展，基于深度学习的分割方法具有分割精度高、迁移学习能力强和鲁棒性高等优点，特别是在辅助诊断COVID-19病例时，基于深度学习方法的性能明显优于基于传统方法的性能；介绍肺及肺病变区域分割的常用数据集和评价指标，在解决如COVID-19数据样本量少等问题时，使用GAN以合成高质量的对抗性图像用以扩充数据集，从而增加训练样本的数量和多样性；讨论了肺CT图像的肺及肺病变区域的高精度分割策略的研究趋势、现有挑战和未来的研究方向。

关键词

计算机断层扫描(CT); 医学图像分割; 肺CT图像分割; 肺病变区域; 深度学习; 新冠肺炎(COVID-19)

Review of human lung and lung lesion regions segmentation methods based on CT images
expand article info Feng Longfeng1, Chen Ying1, Zhou Taohui1, Hu Fei1, Yi Zhen2
1. School of Software, Nanchang Hangkong University, Nanchang 330063, China;
2. Department of Radiology, Jiangxi Provincial Cancer Hospital, Nanchang 330029, China
Supported by: Natural Science Foundation of Jiangxi Province, China(20202BABL202029);National Natural Science Foundation of China(61762067)

Abstract

Lung disease like corona virus disease 2019(COVID-19) and lung cancer endanger the health of human beings. Early screening and treatment can significantly decrease the mortality of lung diseases. Computed tomography (CT) technology can be an effective information collection method for the diagnosis and treatment of lung diseases. CT-based lung lesion region image segmentation is a key step in lung disease screening. High quality lung lesion region segmentation can effectively improve the level of early stage diagnosis and treatment of lung diseases. However, high-quality lung lesion region segmentation in lung CT images has become a challenging issue in computer-aided diagnosis due to the diversity and complexity of lung diseases. Our research reviews the relevant literature recently. First, it is compared and summarized the pros and cons of traditional segmentation methods of lung CT image based on region and active contour. The region-based method uses the similarity and difference of features to guide image segmentation, mainly including threshold method, region growth method, clustering method and random walk method. The active-contour-based method is to set an initial contour line with decreasing energy. The contour line deforms in the internal energy derived from its own characteristics and the external energy originated from image characteristics. Its movement is in accordance with the principle of minimum energy until the energy function is in minimization and the contour line stops next to the boundary of lung region. The active contour method is divided into parametric active contour method and geometric active contour method in terms of the contour curve analysis. Low segmentation accuracy lung CT image segmentation methods are widely used in the early stage diagnosis. Next, the improved model analysis of lung CT image segmentation network structure is based on convolutional neural networks (CNNs), fully convolutional networks (FCNs), and generative adversarial network (GAN). In respect of the CNN-based deep learning segmentation methods, the segmentation methods of lung and lung lesion region can be divided into two-dimensional and three-dimensional methods in terms of the dimension of convolution kernel, the segmentation methods of lung and lung lesion region can also be divided into two-dimensional and three-dimensional methods based on the dimension of convolution kernel for the FCN-based deep learning segmentation methods. In respect of the U-Net based lung CT image segmentation methods, it can be divided into solo network lung CT image segmentation method and multi network lung CT image segmentation method according to the form of U-Net architecture. Due to the CT image containing COVID-19 infection area is very different from the ordinary lung CT imageand the differentiated segmentation characteristics of the two in the same network, the solo network lung CT image segmentation method can be analyzed that whether the data-set contains COVID-19 or not. The multi-network lung CT image segmentation method can be divided into cascade U-Net and dual path U-Net based on the option of serial mode or parallel mode. For the GAN-based lung CT image segmentation methods, it can be divided into GAN models based on network architecture, generator and other methods according to the ways to improve the different architectures of GAN. Deep-learning-based segmentation method has the advantages of high segmentation accuracy, strong transfer learning ability and high robustness. In particular, the auxiliary diagnosis of COVID-19 cases analysis is significantly qualified based on deep learning. Next, the common datasets and evaluation indexes of lung and lung lesion region segmentation are illustrated, including almost 10 lung CT open datasets, such as national lung screening test(NLST) dataset, computer vision and image analysis international early lung cancer action plan database(VIA/I-ELCAP) dataset, lung image database consortium and image database resource initiative(LIDC-IDRI) dataset and Nederlands-Leuvens Longkanker Screenings Onderzoek(NELSON) dataset, and 7 COVID-19 lung CT datasets analysis. It also demonstrates that the related lung CT images datasets is provided based on five large-scale competitions, including TIANCHI dataset, lung nodule analysis 16(LUNA16) dataset, Lung Nodule Database(LNDb) dataset, Kaggle Data Science Bowl 2017(Kaggle DSB) 2017 dataset and Automatic Nodule Detection 2009(ANODE09) dataset, respectively. Our 8 evaluation index is commonly used to evaluate the quality of lung CT image segmentation model, including involved Dice similarity coefficient, Jaccard similarity coefficient, accuracy, precision, false positive rate, false negative rate, sensitivity and specificity, respectively. To increase the number and diversity of training samples, GAN is used to synthesize high-quality adversarial images to expand the dataset. At the end, the prospects, challenges and potentials of CT-based high-precision segmentation strategies are critical reviewed for lung and lung lesion regions. Because the special structure of U-Net can effectively extract target features and restore the information loss derived from down sampling, it does not need a large number of samples for training to achieve high segmentation effect. Therefore, it is necessary to segment lung and lung lesions based on U-Net. The integration of GAN and U-Net is to improve the segmentation accuracy of lung and lung lesion areas. GAN-based network architecture is to extend the dataset for good training quality. The further U-Net application has its priority for qualified segmentation consistently.

Key words

computed tomography(CT); medical image segmentation; lung CT image segmentation; lung lesion region; deep learning; corona virus disease 2019(COVID-19)

0 引言

新型冠状病毒肺炎(corona virus disease 2019，COVID-19)爆发后迅速席卷全球，据约翰·霍普金斯大学系统科学与工程中心的全球病例计数系统统计数据显示，截至2021年10月31日，已有246 416 630例新冠肺炎确诊病例，其中有4 995 525人死亡，影响了192个国家与地区。除此之外，肺癌作为全球死亡率最高的癌症之一(Henley等，2020)，严重地威胁了人类的生命健康。然而，通过早期的发现和治疗可以大幅度地降低死亡率(Cressman等，2017)，低剂量计算机断层扫描(computed tomography，CT)筛查可显著降低肺癌死亡率(Aberle等，2011)。此外，一项对1 014例患者的临床研究表明，胸部CT对于分析检测COVID-19可达0.97的敏感度和0.68的准确率(Ai等，2020)，其他研究(Ng等，2020；Fang等，2020)也报道了类似的观察结果并附有RT-PCR(reverse transcription-polymerase chain reaction)测试结果作为参考，这表明CT成像技术有助于早期COVID-19的筛查。因此，本文基于肺CT图像，对所选的数据集、评价指标和分割方法进行分析与研究。

通常，肺结节、COVID-19感染区域和磨玻璃影等肺病变区域与正常肺组织之间的对比度较低，肺病变区域的特征高度变化造成肺疾病患者的肺边界难以识别，因此从CT图像中自动分割肺及肺病变区域是一项极具挑战性的任务。实现肺及肺病变区域的自动化分割能减轻放射科医生的负担，对患者后续的诊断与治疗有极大的帮助。对肺及肺病变区域的分割方法大体上可分为传统分割方法和深度学习分割方法两大类：1)传统分割方法，主要是基于肺及肺病变区域的灰度与形态进行分割，一般要对原始肺CT图像进行预处理，以及优化分割后的结果；2)深度学习分割方法，其核心是依赖大量数据的训练来产生分割模型，通过构建多层人工神经网络从目标数据中提取更为抽象的特征信息，从而实现高精度的图像分割。

与以往的综述相比，本文不仅对肺实质和肺结节的分割文献进行比较与总结，还包括对COVID-19感染区域、磨玻璃影和肺间质疾病等肺病变区域的分割研究进展进行重点分析与总结，从CT图像中检测并分割感染区域，可为助力传统的医疗保健策略应对诊断COVID-19疾病提供巨大的可能性。本文旨在对肺及肺病变区域的分割进行综述，可作为研究人员的学习指南，为肺疾病患者后续的诊断与治疗提供帮助。此外，为避免与以往的综述重复内容，本文主要关注2019—2021年发表的文献，但也包括2019年之前提出的小部分相关研究。

1 传统分割方法

传统肺CT图像分割方法主要按纹理、形状和结构等物理特征对图像进行分割，这些方法按像素区域和图像轮廓两种实现原理的不同可分为两大类：基于区域的分割方法和基于活动轮廓的分割方法。图 1展示了传统方法分割肺CT图像的工作流程。



图 1 传统方法分割流程
Fig. 1 Segmentation processing based on traditional methods

1.1 基于区域的肺CT图像分割方法

基于区域的方法利用区域中特征的相似性和差异性指导图像的分割，主要包括：阈值法、区域生长法、聚类法和随机游走法等。其中，阈值法计算简单且分割速度快，但当肺部区域与其他组织灰度值相似时，分割效果并不理想。区域生长法虽然在阈值法基础上引入空间信息，但需手动选择初始点导致无法实现自动分割。聚类法通过类内数据的相似性和类间数据的差异性分割图像，对参数敏感且容易陷入局部最优。随机游走法通过随机选取初始点进行每轮的迭代直至满足条件为止，其随机性导致分割性能极不稳定。

为解决最优阈值的选取难题，可在分割过程中对阈值进行实时更新。Prasad等人(2021)设计基于阈值的肺CT图像自动分割算法，先采用中值滤波和高斯滤波对二值化后的肺CT图像进行预处理，再通过粒子群智能优化算法和人工蜂群优化算法查找最优阈值，最后使用实时更新的阈值进行肺实质分割。Zhao等人(2021b)提出一种改进的粒子群优化(particle swarm optimization，PSO)2维Otsu肺CT图像分割算法，该算法利用2维Otsu算法降低计算和搜索范围来提高操作速度，同时在PSO算法迭代过程中通过调整粒子的位置提高阈值搜索的精度。基于区域生长的分割算法关键在于种子点的选取以及像素区域的生长与合并，Samundeeswari和Gunasundari(2020)提出自动单种子区域生长算法(automatic single seed region growth algorithm，ASSRG)的肺CT图像分割模型，ASSRG先对左右肺叶区域进行分割，然后通过混合边界凹度封闭算法提取肺边界，最后使用连接成分分析方法和基于阈值的数学结节细化方法对肺结节进行细化分割。为探究多种子点对算法性能的影响，Soltani-Nabipour等人(2020)提出改进的区域生长算法用于肺肿瘤的精确分割，该算法先根据先验信息限制生长区域和自动检测阈值，然后再从几个不同的点运行生长算法并在每一步更新比较值以及边缘校正，进而细化肿瘤的分割。

对类内及类间信息的处理是聚类分割算法的核心思路，Chong等人(2019)提出一种基于聚类的肺结节分割算法，中值滤波预处理后的图像经过变分水平集方法分割得到结节的基本信息，然后采用人工神经网络对肺结节进行检测与分类。针对磨碎玻璃结节(ground glass nodule，GGN)的分割，Wang和Yue(2020)提出一种基于区域自适应的马尔可夫随机场(Markov random field，MRF)模型，首先使用滚球和凸壳方法修复阈值分割和形态学操作后的肺壁轮廓，然后通过模糊聚类算法和原始MRF模型粗分割GGN，同时利用顶帽转换(top cap transformation，TCT)排除血管并定位肺结节，最后利用区域自适应MRF模型优化结节边缘。为克服传统随机游走分割算法的不稳定性，Wang等人(2021)提出多模板快速行进算法用于肺分割，采用孔填充和最大类间方差对肺实质进行提取。与增加模板数量不同，Savic等人(2021)通过增加初始点数量改进传统随机游走算法，提出一种基于多种子点的快速行进方法(fast marching method，FMM)分割肺结节，FMM通过生成种子网格和速度函数将图像分为具有相似特征的区域，然后根据平均强度标准递归将图像和k均值结合生长的区域进行合并得到肺结节的分割结果。基于区域的分割方法比较与总结如表 1所示。

表 1 基于区域的分割方法比较与总结
Table 1 Comparison and summary of region-based segmentation methods

下载CSV
编号 文献 数据集 方法 分割类型 最优表现性能
1 Prasad等人(2021) LIDC-IDRI 基于阈值优化的肺CT图像分割算法 肺实质 Acc, Sen分别为0.95, 1
2 Samundeeswari和Gunasundari(2020) LIDC-IDRI 基于自动单种子区域生长(ASSRG)算法 肺结节 Acc, DSC, Spec, Sen分别为0.999 7, 0.99, 0.999, 0.994
3 Soltani-Nabipour等人(2020) — 基于改进的区域生长算法 肺肿瘤 Acc为0.98
4 Chong等人(2019) LIDC-IDRI 基于变分水平集方法 肺结节 Acc为0.970 4
5 Wang和Yue(2020) — 基于区域自适应的马尔可夫随机场(MRF)模型 肺结节 平均JS为0.914 4
6 Wang等人(2021) — 基于多模板快速行进算法 肺实质 平均Acc为0.891 8
7 Savic等人(2021) LIDC-IDRI 基于多种子点的快速行进算法 肺结节 实心圆结节DSC为0.933±0.034
注：“—”表示相应文献未报道；数据集详情如3.1节和3.3节所示；最优表现性能的评价指标详情如3.2节所示。

1.2 基于活动轮廓的肺CT图像分割方法

基于活动轮廓的分割方法主要取决于初始轮廓线的形变对感兴趣区域(region of interest，ROI)进行分割，按线表达形式的不同，可将其分为参数活动轮廓方法和几何活动轮廓方法。参数活动轮廓方法直接以参数化的形式表达轮廓曲线的运动，模型简单且快速，但是难以处理拓扑结构的变化；几何活动轮廓方法基于前者中的Snake模型拓展而来，以非参数形式的水平集方法和曲线演化理论表达轮廓曲线的运动，且能快速地处理拓扑结构的变化。

对于参数活动轮廓方法的改进，Bruntha等人(2019)提出基于无边缘主动轮廓的肺分割算法，采用全局阈值设定和无边的主动轮廓方法对肺区域进行提取，并在弱边界或无边界的肺CT图像上取得较好的分割结果。Kasinathan等人(2019)通过结合局部图像偏场公式与主动轮廓方法进行肺实质的分割，但该算法对强度分布不均的肺CT图像分割效果较差。为解决此问题，Liu和Pang(2020)提出一种肺自动分割算法，先基于图像分解的滤波策略去除肺轮廓以及采用形态学操作和小波变换粗分割肺实质，再通过快速角检测技术的轮廓校正方法纠正和平滑肺轮廓，从而进一步细化分割结果。为实现肺分割的快速计算以及结节覆盖区域的低误差，Nurfauzi等人(2021)提出一个肺边界自动校正算法，先使用阈值和Otsu形态填充孔来提取2维肺面积，采用3维标记控制实现肺气管的提取以及利用2维多阈值分离左右肺，然后使用改进的角点检测方法提取角点特征，最后通过自适应边界行进算法对肺边界进行校正。Rakesh和Mahesh(2021)提出一种基于主动轮廓的肺结节分割算法，先利用杜鹃搜索优化算法进行肺实质的分割，然后再通过主动轮廓方法分割肺结节，最后采用MRF精细化处理分割结果。为研究不同形式的2维肺形态对分割结果的影响，Afzali等人(2021)结合主动形状模型和标准主成分分析方法对肺实质进行分割，选择不同的参考点建立两种肺形态，并且通过交叉验证法检测模型的精确度与鲁棒性。

对于几何活动轮廓方法的改进，Nithila和Kumar(2019)提出一种基于变分水平集函数的主动轮廓模型应用于肺实质分割，使用选择性二进制和高斯滤波函数(selective binary and gaussian filtering，SBGF)作为压力函数，SBGF通过惩罚水平集函数以及高斯正则化控制水平集函数的进化方向以便调节肺边界轮廓，进而有效减少模型迭代的次数和响应时间。与关注图像灰度值的几何活动轮廓方法不同，Manickavasagam和Selvan(2019)以图像梯度信息作为切入点，提出一种梯度驱动的主动轮廓模型(gradient based active contour model，GACM)分割肺实质，然后再从归一化图像中提取结节形状以及灰度共生矩阵(gray level co-occurrence matrix，GLCM)特征集，最后利用支持向量机对肺结节进行检测和分类，以及基于特征的一致性对GLCM特征集进行最优评估。基于活动轮廓的分割方法比较与总结如表 2所示。

表 2 基于活动轮廓的分割方法比较与总结
Table 2 Comparison and summary of segmentation methods based on activity contours

下载CSV
编号 文献 数据集 方法 分割类型 最优表现性能
1 Bruntha等人(2019) LIDC-IDRI 基于无边缘主动轮廓模型 肺结节 Acc为0.915
2 Kasinathan等人(2019) LIDC-IDRI 结合局部图像偏场公式与主动轮廓法的活动轮廓模型 肺实质 Acc, Sen, Spec分别为0.97, 0.95, 0.91
3 Liu和Pang(2020) — 基于改进的参数活动轮廓模型 肺实质 平均DSC, JS分别为0.980 4, 0.949 1
4 Rakesh和Mahesh(2021) — 基于主动轮廓的肺分割算法 肺结节 平均DSC为0.789
5 Afzali等人(2021) — 基于主动形状模型和标准主成分分析方法 肺实质 左右肺的平均DSC分别为0.961, 0.971
6 Nithila和Kumar(2019) LIDC-IDRI 基于变分水平集函数的主动轮廓模型 肺实质 Acc为0.989 5
7 Manickavasagam和Selvan(2019) LIDC-IDRI 基于梯度的主动轮廓模型(GACM) 肺实质 Acc, Sen分别为0.953, 0.921 7
注：“—”表示相应文献未报道。

综上所述，基于区域的肺分割方法计算简单、分割速度快，但对参数敏感且无法精确分割相互粘连的肺部区域。基于活动轮廓的分割方法计算稳定、对噪声不敏感，能在不丧失拓扑性的同时分割精度达到亚像素级，但存在初始轮廓位置敏感、非正常肺边界凹陷难收敛和可重复性差等问题。由于肺CT图像结构复杂多变以及存在噪声、部分容积效应等因素，一般结合多个传统方法对肺CT图像进行分割。此外，面对庞大的肺CT图像数据集涌现出较多将传统方法与深度学习方法相结合的肺CT图像分割方法，利用传统方法对肺CT图像进行预处理，如修复由疾病病灶或肺内其他组织造成非正常凹陷的肺边界，以便后续使用深度学习方法进一步提取相关特征信息进行定量分析。

2 深度学习分割方法

对于目前数据量庞大且对精度与时间要求更高的肺CT图像分割任务，传统的分割方法已不能满足临床需求，而深度学习方法更具发展潜力。因此，本文将深度学习方法按其网络结构分为4类进行论述。

2.1 基于CNN的肺CT图像分割方法

卷积神经网络(convolutional neural network, CNN)旨在发现图像之间的潜在关系并自动提取最具描述性的特征。Lecun等人(1998)提出针对手写数字识别设计的LeNet，其使用的卷积层、池化层和全连接层架构流行至今，卷积层和池化层执行特征提取，而全连接层则将提取的特征映射到最终输出。CNN是一种多层神经网络，通常由3种类型的层(卷积层、池化层和全连接层)和激活函数组成，其网络架构如图 2所示。对于医学图像特有的非局部依赖性和空间相关性，经典的CNN通过卷积层和池化层的组合不断地提取目标特征以及实现特征降维，然后把局部特征经过全连接层整合为全局特征，最后在精确定位目标区域时，使用softmax等激活函数逐像素分类从而输出对应原图的分割掩膜(董婷等，2021)。Krizhevsky等人(2017)提出的AlexNet在比赛中的优异表现证明了深度卷积神经网络优异的图形学特征学习和刻画能力。此后，CNN在计算机视觉领域的应用研究开始呈现井喷状态。根据卷积核的维数，可将肺及病变区域的分割方法划分为2维和3维的方法。



图 2 经典的CNN架构(Lecun等，1998)
Fig. 2 Classical CNN architecture(Lecun et al., 1998)

2.1.1 基于2D CNN的肺CT图像分割方法

CNN用于分割肺实质或病变区域，采用神经网络模型对大量的肺CT图像进行训练，提取相关特征并将其映射到最终输出，从而完成分割的任务。Sathish等人(2020)提出使用图灵测试对肺部区域进行逆向训练的2D CNN，在每次的迭代训练过程中，都执行一个图灵测试来识别真实掩膜(ground truth，GT)和分割预测图(prediction，Pred)，然后将GT和Pred共同作为网络的输入以随机化两个通道的输入，从而确保最小化损失函数计算的是其预测与真实标签之间的二进制交叉熵损失。CNN在图像分割方面取得较好的结果，而其变体Mask R-CNN(region-CNN)更成为近年的研究热点，由于引入了特征金字塔网络(feature pyramid network，FPN)，Mask R-CNN在小目标检测方面具有很好的性能。Yan等人(2019)提出一种基于Mask R-CNN的肺结节分割方法，其网络主干由ResNet50和FPN组成，肺CT图像先采用拉普拉斯算子进行特征降维从而滤除部分噪声，再由主干生成特征图，最后由ROI Align生成类别和坐标以及由FPN进行分割和生成掩膜。为解决肿瘤与背景大小悬殊导致的模型退化问题，Hesamian等人(2019)提出一种基于深度残差网络结构的空洞卷积分割方法，通过使用空洞卷积增加过滤器的视野，从而提高分割的精度；此外，为解决肿瘤和背景像素之间的不平衡问题，通过提出加权损失函数，将不同系数分配给肿瘤和非肿瘤像素来推动网络计算损失，这样少数肿瘤和大多数非肿瘤像素的损失就不会被平等地对待，从而促使网络从前景相对背景学到更多的信息。

除了在单一网络上进行改进，结合两个网络组成的模型在肺实质或病变区域的分割任务中同样表现出色。Jiang等人(2019)提出两种多分辨率残差连接网络(multiple resolution residually connected network，MRRN)，即增量MRRN和密集MRRN：通过残余连接同时结合多个图像分辨率和特征来检测和分割肺肿瘤，同时使用迁移学习方法，通过在癌症影像档案(the cancer imaging archive，TCIA)数据集上进行训练，并在纪念斯隆·凯特琳癌症研究中心(memorial Sloan Kettering cancer center，MSKCC)以及肺图像数据库联盟和图像数据库资源倡议数据集(lung image database consortium and image database resource initiative，LIDC-IDRI)上进行测试的结果表明该方法取得了较好的结果。Cao等人(2020)提出一种双分支残差网络，该网络通过结合两种新的方法提高模型的泛化能力：1)提出一种称为中心强度折叠层的混合方法用于提取块中心体素的强度特征，然后利用CNN获得块中心体素的卷积特征；2)设计基于结节边界的加权采样策略，利用加权得分选择边界体素，从而提高模型的精度。表 3是使用2D CNN模型实现肺或肺病变区域分割性能的比较与总结。

表 3 2D CNN的肺CT图像分割方法比较与总结
Table 3 Comparison and summary of 2D CNN for lung CT image segmentation methods

下载CSV
编号 文献 数据集 方法 分割类型 最优表现性能
1 Wang等人(2018) — 下采样带残差块并通过跳跃连接与上采样做叠操作 肺实质 平均DSC为0.988 ± 0.012
2 Yan等人(2019) LIDC-IDRI 由ResNet50和FPN组成的Mask R-CNN 肺结节 平均Prec为0.78
3 Hesamian等人(2019) LIDC-IDRI 应用空洞卷积和加权损失函数 肺结节 平均DSC为0.812 4
4 Huang等人(2019) LIDC-IDRI 由区域建议网络和目标检测网络组成的2D Faster R-CNN 肺结节 平均DSC为0.793
5 Anthimopoulos等人(2019) — 由卷积层和扩张滤波器组成的CNN ILDs Acc为0.818
6 Jiang等人(2019) TCIA, MSKCC和LIDC-IDRI 多尺度CNN组成的MRRN 肺肿瘤 在TCIA, MSKCC, LIDC-IDRI数据集上的DSC分别为0.74, 0.75, 0.6
7 Cao等人(2020) LIDC-IDRI 双分支残差网络(DB-ResNet) 肺结节 DSC为0.827 4
8 Sathish等人(2020) LUNA16 图灵测试对肺部区域进行逆向训练的CNN 肺实质 DSC, AUC分别为0.983, 0.994 8
注：ILDs(interstitial lung diseases)为肺间质性疾病；“—”表示相应文献未报道。

2.1.2 基于3D CNN的肺CT图像分割方法

医学图像的大多数格式都是3D，通常看到的CT图像只是3D图像的切片。因此，如果要分割肺部病变区域，使用3D卷积核能提取更全面的特征，充分利用空间信息的优势，进而实现更为准确的分割。Hossain等人(2019)提出一种新的扩展混合3D CNN肿瘤分割模型，该模型先使用扩张卷积从每个2D切片中提取特征图，接着通过3D卷积将叠加的图进行融合，然后再把CT扫描体积中存在的3维结构信息合并到输出中。为了提高从不同模态分割医学图像的准确性，Soliman等人(2018)提出一种基于使用形状和外观特征的新型CNN分割框架，该框架将深度3D CNN与预学习的Markov-Gibbs随机场模型、重新学习的自适应形状先验模型以及一阶条件随机场模型相结合，通过将其高阶预学习概率模型与在演化形状每个当前位置勾勒出对象的简单一阶外观模型耦合，可以精确量化对象外观。以上分割方法会导致特别小的器官和血管边界分割不准确，为了克服这个限制，Qin等人(2019)利用异质地图来提取结节的纹理结构和边界信息，使高层次的特征学习更有助于进行肺结节的分割。

除此之外，将3D CNN与2D CNN合并到同一个模型以最大限度利用3D空间信息的同时能简化训练过程，减少内存的消耗。Chen等人(2019)提出一种用于小细胞肺癌分割的混合分割网络，通过设计一个轻量级的3D CNN和2D CNN来分别学习长距离的3D上下文信息以及学习细粒度的语义信息，再提出一种混合特征融合模块，对2维和3维特征进行有效融合，并对这两种CNN进行联合训练。基于山东大学附属肿瘤医院收集到134幅对比增强CT图像的评估结果表明，该方法具有较好的效果。表 4是使用3D CNN模型实现肺或肺部病变区域分割性能的比较与总结。

表 4 3D CNN的肺CT图像分割方法比较与总结
Table 4 Comparison and summary of 3D CNN for lung CT image segmentation methods

下载CSV
编号 文献 数据集 方法 分割类型 最优表现性能
1 Anirudh等人(2016) SPIE-LUNGx 通过使用无监督学习方法估计3D标签来训练3D CNN 肺结节 Sen为0.80
2 Hamidian等人(2017) LIDC-IDRI 具有固定视野的3D CNN 肺结节 Sen为0.80
3 Jin等人(2017) Kaggle DSB 2017 由11层卷积构成的3D CNN 肺体积 Acc为0.875
4 Soliman等人(2018) — 基于使用形状和外观特征的新型CNN分割框架 肺器官 Acc为0.983 7±0.006 8
5 Wang等人(2018) — 2D CNN分割肺实质后，使用3D密集CNN分割肺叶 肺叶 DSC为0.959 ± 0.087
6 Hossain等人(2019) NSCLC- Radiomics 扩展混合的3D CNN 肺肿瘤 平均DSC为0.657
7 Kasinathan等人(2019) LIDC-IDRI 将局部图像偏场公式与活动轮廓模型相结合的CNN 肺肿瘤 Acc为0.97
8 Chen等人(2019) — 轻量级的3D CNN与2D CNN组成的混合分割网络 SCLC 平均DSC, Sen, Prec分别为0.888, 0.872, 0.909
9 Kopelowitz和Engelhard(2019) LUNA16 基于RCNN和Mask的3DMaskRCNN 肺结节 DSC为0.70±0.01
10 Qin等人(2019) LIDC-IDRI 使用合成样本和异质地图的3D CNN 肺结节 DSC, Sen, Acc分别为0.848 3, 0.851 1, 0.990 4
注：SCLC (small cell lung cancer)为小细胞肺癌；“—”表示相应文献未报道。

综上，基于CNN的肺或肺病变区域分割方法的共性大多都是利用共享卷积核来发现不同图像类别的潜在关系，进而提取最具描述性的特征，从而实现目标区域的分割。当要分割的ROI是肺结节、小细胞肺癌等小目标时，可以考虑引进特征金字塔网络进行小目标的检测。同时，由于小目标与背景大小悬殊可能会导致模型退化，可使用Yan等人(2019)提出的focal-loss或Hesamian等人(2019)提出的加权损失函数替代以往的损失函数去解决小目标像素和背景像素之间的不平衡问题。此外，为了使同一模型的不同模块更专注于某一功能的实现，无论是2D CNN还是3D CNN，如Jiang等人(2019)、Cao等人(2020)和Chen等人(2019)均尝试结合两种或两种以上的网络来提高模型的泛化能力与鲁棒性。综上所述，基于CNN模型出色的特征提取能力为图像分割方向奠定了基础，后续提出基于深度学习的图像分割方法绝大部分都是从CNN上发展、改进而来。

2.2 基于FCN的肺CT图像分割方法

为减少CNN中全连接层丢失过多的空间信息，Long等人(2015)首次提出将全连接层换为卷积层的FCN(fully convolutional network)，解决了CNN存在的只能提取局部特征的问题。FCN是在CNN的基础上进行改进的，将CNN最后的3个全连接层换成3个卷积层，通过最后的反卷积层将特征图恢复到原始图像的大小，以实现精确的分割效果，其网络架构如图 3所示。基于FCN的肺及肺病变区域的分割方法核心是通过对图像进行像素级的分类以实现ROI的分割(马金林等，2020)。在具体实施过程中，FCN通过卷积和池化实现编码过程中的下采样，可以提取高层次的语义信息，但其空间分辨率较低，通过转置卷积(也称反卷积)实现解码过程中的上采样，可以在像素级预测每一类的分数，此外，FCN可接受任意尺寸的输入图像, 从而解决不同数据集的图像规格大小不一致的问题。由于上采样过程输出的图像丢失了很多细节，FCN通过提出跳跃连接，在做分类预测时将来自深层的语义信息和来自浅层的外观信息结合起来，使分割结果更具精确和鲁棒性。类似地，根据卷积核的维数，可将肺及病变区域的分割方法划分为2维和3维的方法。



图 3 经典的FCN架构(Long等，2015)
Fig. 3 Classic FCN architecture(Long et al., 2015)

2.2.1 基于2D FCN的肺CT图像分割方法

FCN基于CNN进行改进，与CNN最大的区别是把全连接层替换成卷积层。Huang等人(2019)使用VGG16(Visual Geometry Group)作为FCN的主干网络，由ImageNet VGG16预训练模型初始化所有卷积层的权重以及随机分配反卷积的权重；卷积层和池化层能在不额外增加参数的情况下增大图像的感受野，但由于池化操作会将空间分辨率降低，从而丢失图像细节信息；在FCN中的上采样操作虽然能恢复部分空间信息，但仍然有少量信息难以恢复；空洞卷积(也称扩张卷积)利用更大的感受野覆盖图像，但只采用感受野中的部分像素进行卷积操作，相当于在卷积核各个权重之间插入空洞。因此，空洞卷积能在不做池化损失信息的情况下，增大感受野同时控制特征映射的分辨率(肖汉光等，2021)。Wu和Lin(2020)提出一种基于扩张卷积的加权FCN进行肺实质的分割，其主干网络是由VGG16转换而来，空洞卷积使用相同的模型参数去扩展卷积核的接受场，以此保留更详细的信息。Xia等人(2020)提出一种用于CT图像分割的多尺度扩张卷积网络，利用不同大小的扩张卷积形成特征金字塔提取语义信息，此外在训练过程中使用一个加权的DiceLoss加速收敛，同时采用双线性插值和多重卷积的方法降低计算量。对于卷积层的改进，除了使用空洞卷积外，将卷积层用残差块代替便得到残差网络，Liu等人(2019)结合CT图像中不同结节的多视角和多尺度特征提出数据驱动的模型——级联双路径残差网络，该模型通过提取肺结节的局部特征和丰富的上下文信息，以及设计一种改进的加权抽样策略选择基于边缘的训练样本来进行肺结节的分割。

除此之外，针对多尺度目标分割问题，可以把残差块和空洞卷积相结合，Ali等人(2020)基于DeepLabV3+进行模型的扩展，将ResNet18、ResNet50、Mobilenetv2、Xception和inceptionresnetv2这些体系结构用做DeepLabV3+的主干，通过调整空洞空间金字塔池化(atrous spatial pyramid pooling，ASPP)的接收域，使用不同采样率的空洞卷积实现多尺度特征提取，从而改进DeepLabV3+的编码器模块。上述的2D FCN分割方法只适用于2D的CT切片，如果想要充分利用CT图像的3D空间信息的同时，又能减少内存的消耗，可考虑使用相邻切片作为网络的输入。Zhou等人(2017)通过使用3D-2D-3D变换扩展FCN进行3D CT图像分割，选择3个正交方向(横切面、矢状面和冠状面)的所有2D截面，然后使用FCN分割每个2D切面，最后对位于2D切片上的每一个体素投票决定进行3D图像的融合，故此方法实际上使用的是2D FCN去进行3D CT的分割，避免了3D卷积网络的巨大计算复杂度。表 5是使用2D FCN模型实现肺或肺部病变区域分割性能的比较与总结。

表 5 2D FCN的肺CT图像分割方法比较与总结
Table 5 Comparison and summary of lung CT image segmentation methods for 2D FCN

下载CSV
编号 文献 数据集 方法 分割类型 最优性能表现
1 Zhou等人(2017) — 通过3D-2D-3D变换扩展的FCN 肺实质 左右肺的平均Acc分别为0.890, 0.916
2 Liu等人(2019) LIDC-IDRI 级联双路径残差网络 肺结节 DSC为0.815 8±0.001 1
3 Huang等人(2019) LIDC-IDRI 增加两轮训练的改进FCN 肺结节 平均DSC为0.793
4 Wu和Lin(2020) LIDC-IDRI 基于扩张卷积的加权FCN 肺实质 DSC, Acc分别为0.970 2, 0.983 3
5 Xia等人(2020) — 多尺度扩张卷积网络 肺实质 Sen, Acc, AUC分别为0.986 1, 0.993 3, 0.982 6
6 Ali等人(2020) — 由多种体系结构组成主干的DeepLabV3+ 肺实质 JS为0.97
7 Xi等人(2021) — 视图识别辅助的FCN 肺实质 DSC, JS分别为0.979, 0.959
注：“—”表示相应文献未报道。

2.2.2 基于3D FCN的肺CT图像分割方法

随着GPU性能的提高，把3D FCN应用于3维医学图像的分割越来越多。Roth等人(2018)提出一种由粗到精的方法将3D FCN以级联的方式用于肺CT图像的分割，首先使用3D FCN粗略定义候选区域，然后将其输入到第2个3D FCN，更侧重于边界的区域，使其专注于细小器官和血管的分割。为了更高效地进行特征提取和融合，提升高分辨率的性能，Chen等人(2020a)设计基于线性组合的网络(linear combination based network，LC-Net)、基于多通道的网络(multi-channel based network，MC-Net)以及基于多图像的网络(multi-image based network，MI-Net)的3D FCN的DECT(dual-energy computed tomography)多器官自动分割算法，LC-Net使用alpha来合并两种通道的图像信息，但因alpha不能单独处理图像噪声，故在第1个卷积层后使用MC-Net和MI-Net结合重要图像信息最大限度地减少噪声带来的影响，从而提高分割的精度和鲁棒性。为处理相邻CT切片图像中的每一个像素与相邻切片像素之间的关系，引入3D条件随机场(conditional random field，CRF)可增强网络在目标区域的边界，从而进一步细化分割结果。Nie等人(2018)将3D FCN和CRF集成到端到端网络中，根据上下文信息获取肺结节的3维全局特征，再通过CRF描述每个像素和所有其他像素之间的关系，以实现在边界处尽可能地分割图像。

此外，Dong等人(2019)提出一种对抗性训练策略，用于从胸部CT图像中实现多器官分割的深层神经网络，联合训练一组U-Net作为生成器，FCNs作为鉴别器。其中，FCN能区分真实标签和生成器产生的分段桨，与生成器在对抗学习过程中相互竞争，从而产生多器官的最优分割图。Lee等人(2019)提出一种肺叶分割网络，旨在用高分辨率容积CT图像的3维空间信息，实现有效的容积到容积的学习和推理，该网络基于一种非对称的编码+解码结构，其具有3个新的组成部分：1)3D深度可分离卷积，通过将每个规则3D卷积分解为两个简单的操作来提高训练效率；2)扩展剩余密集块，有效扩展网络的接受域，聚合多尺度上下文信息进行分割；3)在每个下采样分辨率处的输入增强，以补偿由于卷积和下采样操作而导致的空间信息丢失。为了合理地融合正电子发射断层扫描(positron emission tomography，PET)与CT图像中的互补信息，Li等人(2020)提出一种新的基于深度学习的变分方法，用于PET和CT肿瘤分割中多模态信息的自动融合，从而实现准确的肿瘤分割。该方法首先设计并训练一个3D FCN从CT图像中生成概率图，然后再提出一种分裂Bregman算法最小化变分模型，将概率图和PET强度图像结合起来，以概率图作为隶属度先验，实现多模态肿瘤的准确分割。表 6是使用3D FCN模型实现肺或肺部病变区域分割性能的比较与总结。

表 6 3D FCN的肺CT图像分割方法比较与总结
Table 6 Comparison and summary of lung CT image segmentation methods for 3D FCN

下载CSV
编号 文献 数据集 方法 分割类型 最优表现性能
1 Roth等人(2018) — 从粗到精的两阶段3D FCN 肺实质 左右肺的平均DSC分别为0.932, 0.919
2 Chen等人(2020a) — 由3种分割算法组成: LC-Net, MC-Net和MI-Net 肺实质 左右肺的平均DSC分别为0.97, 0.98
3 Nie等人(2018) LIDC-IDRI 将条件随机场集成到3D FCN 肺结节 Sen为0.918
4 Dong等人(2019) AAPM 对抗性训练策略：U-Net作为生成器，FCN作为鉴别器 肺实质 DSC为0.97
5 Lee等人(2019) — 由3D深度可分离卷积和扩展
剩余密集块组成的PLS-Net		 肺叶 DSC为0.958 ± 0.045, ASD为0.777 ± 0.641
6 Li等人(2020) — 基于split-Bregman算法的3D FCN 肺肿瘤 DSC为0.86±0.05, Sen为0.86±0.07, Prec为0.87±0.10
注：“—”表示相应文献未报道；数据集详情如3.1节和3.3节所示。

总体而言，基于FCN的肺或肺病变区域分割方法可接受任意大小的图像输入，大多采用编码+解码的思想设计，对图像进行像素级的密集预测和有监督学习预训练。为解决因池化导致空间分辨率降低的问题，可通过设计跳跃连接将深层的语义信息和浅层的外观信息相结合。除此之外，还可像Wu和Lin(2020)、Xia等人(2020)和Ali等人(2020)引入空洞卷积，能在不做池化损失信息的情况下，增大感受野同时控制特征映射的分辨率。对于FCN各像素独立分类的问题，可借鉴Nie等人(2018)结合CRF来描述各像素之间的关系以实现在边界处尽可能地分割图像。FCN摒弃全连接而设计的下采样、上采样路径的思想开辟了一个新的图像分割方向，后续所提出的基于编码解码结构的图像分割网络大多由FCN发展、改进而来。

2.3 基于U-Net的肺CT图像分割方法

在FCN中，上采样路径仅使用转置卷积直接将特征图恢复至原始图像大小，导致分割结果不够细致。为解决此问题，Ronneberger等人(2015)在FCN的基础上提出编码解码结构对称的U-Net，包含收缩路径和扩张路径。收缩路径对应下采样部分，用于提取目标特征；扩张路径对应上采样部分，用于整合信息并恢复图像分辨率，每进行一次上采样，就与通道数相同的特征提取部分进行融合。除此之外，与FCN相比，U-Net的上采样部分在转置卷积后会跟随2层卷积；并且U-Net在跳跃连接上采用的是叠操作(concatenation)而非FCN所使用的加操作(summation)(马金林等，2020)。也正因有如此改进，使得U-Net在小样本数据集的训练下，都能取得出色的表现。因为医学图像处理所能提供的样本往往较少，而Ronneberger等人(2015)最初提出U-Net用于细胞核的分割时主要瞄准了医学图像结构固定、语义信息较为简单的特点，所以后续医学图像处理大多都以U-Net为基础进行改良，而大量的研究表明基于U-Net的分割方法由于其特殊的编码解码结构能很好地解决医学图像数据集样本不足的问题。经典基于U-Net的肺CT图像分割架构如图 4所示。到目前为止，U-Net已有很多的变种，根据U-Net架构的采用方式，可将其分为单网络肺CT图像分割方法和多网络肺CT图像分割方法。



图 4 典型的U-Net架构(Ronneberger等，2015)
Fig. 4 Typical U-Net architecture(Ronneberger et al., 2015)

2.3.1 单网络肺CT图像分割方法

单网络肺CT图像分割方法是一种基于单一形式的网络架构、对肺或病变区域进行分割的深度学习医学图像分割方法。该架构的主要思想是围绕Ronneberger等人(2015)提出的U-Net进行改进，总体而言，大多先通过收缩路径提取目标特征，再利用扩张路径整合信息并逐步恢复图像分辨率。自COVID-19爆发以来，许多科学研究者对COVID-19感染区域进行分割以方便后续的诊断与治疗。学术界已有相当的文献关注COVID-19感染区域的分割，且由于含COVID-19感染区域的CT图像与普通肺CT图像区别很大，同一网络对二者进行分割会有很大差别，故本节按数据集是否包含COVID-19分别进行分析。

1) 数据集不含COVID-19图像。为了提高模型的分割精度，研究者在原始U-Net结构上进行改良。Akila等人(2020)提出一种卷积深宽网络(convolutional deep and wide network, CDWN)，包含两个对称的编码、解码路径，并以多分类的softmax分类层结束。为确保网络中最大的信息流通，可考虑引入密集连接模块使块内的所有层相互连接，即每层的输入均来自前面所有层的输出。Zhang等人(2020)将残差模块和密集连接模块集成到U-Net结构中进行医学CT图像分割，通过设计残差模块来替换标准卷积层用以增加网络的宽度，利用密集连接模块在不增加参数的情况下提取特征，使网络更深入，从而提高分割任务的性能。Chen等人(2020b)基于U-Net提出一种肺部密集深度卷积神经网络，采用密集块、批量归一化和Dropout等常用的优化方法，通过改变网络结构的深度与密集块之间的连接方式，使肺实质分割的准确率达到99%以上。残差思想的引入，使用直接映射连接网络的不同层，能有效避免因网络层数增多而导致梯度消失的问题。Adarsh等人(2020)提出一种基于Inception块的残差路径自动编码器，通过引入残差路径而放弃使用跳跃连接，用以减少U-Net的编码器和解码器之间学习权重的语义差异。此外，设计Inception块用于捕捉不同尺度的空间变化。除了对跳跃连接产生影响外，还可使用已有的残差网络在编码器上进行改良。Jalali等人(2021)先通过形态学操作对肺CT图像进行预处理，然后再把预处理结果送入修改过的U-Net，其中编码器由一个预训练的ResNet-34网络替换，并使用双向卷积长短期记忆作为高级积分器模块来替换简单的传统串联器。

为了提取更全面的特征，使用3D U-Net对医学图像分割能产生更为精确的结果。Park等人(2020)提出一种使用3D U-Net的全自动肺叶分割方法，将原始U-Net中的2维卷积全部改为3维卷积，分别对左肺和右肺进行分割，其分割时间仅为6.49±1.19 s和8.61±1.08 s。Kadia等人(2021)为3D肺分割提出一种循环残差3D U-Net，该模型将3D卷积集成到基于U-Net的循环残差神经网络中。其中，利用循环神经网络学习多个步骤的空间依赖性进行特征积累，可以更好地表示分割任务的特征；使用残差神经网络增加3D特征的传播。数据集不含COVID-19的使用单网络实现肺或肺部病变区域分割性能的比较与总结如表 7所示。

表 7 数据集不含COVID-19的单网络肺CT图像分割方法总结
Table 7 Summary of lung CT image segmentation methods for single networks without COVID-19 dataset

下载CSV
编号 文献 数据集 方法 分割类型 最优表现性能
1 Akila等人(2020) LIDC-IDRI 一种卷积深宽网络 肺实质 平均DSC, Acc为0.95, 0.98
2 Zhang等人(2020) Kaggle DSB 2017 将初始Res块和密集连接卷积模块集成到U-Net 肺实质 平均DSC为0.985 7
3 Chen等人(2020b) LIDC-IDRI 一种密集深度卷积神经网络 肺实质 Acc为0.994 3
4 Adarsh等人(2020) Kaggle DSB 2017 使用基于初始块的残差路径自动编码器 肺实质 Sen, Acc为0.995 1, 0.994 1
5 Nemoto等人(2020) TCIA 使用2D, 3D U-Net进行语义分割 肺实质 在2D, 3D U-Net的DSC分别为0.989, 0.991
6 Park等人(2020) — 预处理后使用3D U-Net分割肺叶 肺叶 DSC为0.97±0.02, JSC为0.94±0.03
7 Jalali等人(2021) LIDC-IDRI 使用ResNet-34作为网络的编码器，并采用双向卷积长短期记忆作为高级积分器模块 肺实质 DSC为0.973 1
8 Vidal等人(2021) — 多阶段迁移学习的肺实质分割 肺实质 Acc为0.980 1 ± 0.010 4
9 Kumar等人(2021) LIDC-IDRI 使用Adam, Adagrad和AdaDelta作为优化器的改进U-Net 肺实质 Acc, DSC为0.9871, 0.820 5
10 Kadia等人(2021) LUNA16, VESSEL12 将3维卷积与基于U-Net的循环残差神经网络相结合 肺实质 DSC为0.992 0
11 Dutande等人(2021) LIDC-IDRI SquExUNet: 在编码器中引入压缩和激励模块 肺结节 DSC为0.80
注：“—”表示相应文献未报道。

2) 数据集包含COVID-19图像。因为U-Net对于医学图像领域出色的性能表现，所以研究者大多基于U-Net对COVID-19进行分割。Fan等人(2020)较先提出一种新颖的COVID-19肺部感染区域分割深度网络，该网络通过设计一个并行部分解码器用于聚合高层特征并生成全局映射图，然后利用隐式反向注意力和显式边缘注意力来对边界建模并增强表达能力。此外，为缓解数据标注不足的问题，他们提出一个基于随机选择传播策略的半监督分割框架，该框架仅需少量标注数据并主要依赖未标注数据，解决了COVID-19数据集样本严重不足的问题。在医学上，COVID-19肺部感染区可分为3种类型：磨玻璃影(ground glass opacity，GGO)、间质浸润和实变。Zhang等人(2021b)提出一种COVSeg-Net模型对COVID-19肺部CT图像中的GGO进行分割，该模型通过多次下采样和上采样操作提取图像特征信息，对不同层次的信息进行多尺度信息融合，从而达到综合分析图像全局和局部细节的效果。为了比较SegNet和U-Net在检测与分割COVID-19感染区域的性能，Saood和Hatem(2021)对两种网络均进行二元分割和多类分割，实验结果表明，与其他方法相比，SegNet在对感染/未感染组织进行分类方面具有优越的能力(平均准确度为0.95)，而U-Net作为多类分割器显示出更好的结果(平均准确度为0.91)。为了使后续的诊断更为精确，Zheng等人(2020)提出一种多尺度判别网络对COVID-19肺部感染CT图像进行多类分割，同时独立分割GGO、间质浸润和实变三类感染区域，把金字塔卷积块(pyramid convolution block，PCB)，通道注意块(channel attention block，CAB)和残差细化块(residual refinement block，RRB)这3大模块均融入到多尺度判别网络中。其中，PCB通过使用不同数量和大小的内核来增加感受野，从而增强分割不同大小感染区域的能力；接着把CAB用于融合两个阶段的输入并将特征集中在要分割的区域上；最后则把RRB用于细化特征图。

除上述方法外，将注意力机制与U-Net融合使模型能更专注于COVID-19感染区域，从而使分割结果更为精确。Joseph等人(2021)提出一种基于U-Net改进扩张卷积的注意力门密集网络，该模型使用密集网络取代卷积和最大池化函数以增强特征传播并解决梯度消失问题，同时改进的扩张卷积用于增加编码器输出的感受野，以进一步从小感染区域获得更多的边缘特征。Zhao等人(2021a)提出一种新的从空间到通道的由粗到细的注意网络，该网络以U-Net++为基本结构，引入专门设计的空间注意力模块和通道注意力模块，用以在像素级和通道级提取COVID-19肺部感染区域的有效特征。数据集包含COVID-19的使用单网络实现COVID-19感染区域分割性能的比较与总结如表 8所示。

表 8 数据集包含COVID-19的单网络肺CT图像分割方法总结
Table 8 Summary of lung CT image segmentation methods for single networks with COVID-19 dataset

下载CSV
编号 文献 数据集 方法 分割类型 最优表现性能
1 Fan等人(2020) COVID- SemiSeg 具有并行部分解码器、反向注意和边缘注意模块的Inf-Net COVID-19感染区域 DSC, Sen, Spec分别为0.682, 0.692, 0.943
2 Bressem等人(2021) RICORD, Coronacases, MosMed 带有18层3D ResNet的3D U-Net COVID-19感染区域 在3个数据集的DSC分别为0.679, 0.648, 0.405
3 Zhang等人(2021b) — 主要包括卷积层、最大池化层、批量归一化层、合并层和sigmoid层的COVseg-Net 磨玻璃影 Dice, Sen, Spec分别为0.561, 0.447, 0.996
4 Saood和Hatem(2021) — U-Net用做二元分割器和多类分割器 肺实质和COVID-19感染区域 肺实质的Acc为0.949, COVID-19感染区域的DSC为0.733
5 Zheng等人(2020) — 包含金字塔卷积块、信道注意块和剩余反馈块的多尺度判别网络 磨玻璃影、间质浸润和实变区域 3种分割类型的DSC分别为0.742 2, 0.738 4, 0.876 9
6 Joseph等人(2021) MedSeg 注意门密集网络—改进的扩张卷积U-Net COVID-19感染区域 DSC, F1分别为0.803 1, 0.82
7 Zhao等人(2021a) — 从空间到通道、由粗到细的注意力网络 COVID-19混浊区域 DSC为0.889 9
注：“—”表示相应文献未报道；RICORD(RSNA international COVID-19 open radiology database)：RSNA国际COVID-19开放放射学数据集。

在单网络肺CT图像分割方法中，以U-Net为基础进行改良，一般可考虑引入密集连接模块或残差模块来增加网络的深度与宽度，如Zhang等人(2020)、Chen等人(2020b)、Adarsh等人(2020)、Kadia等人(2021)和Zheng等人(2020)。密集连接使块内的所有层相互连接，从而降低高分辨率语义信息的丢失，残差模块的引入，使用直接映射连接网络的不同层，能有效避免因网络层数增多而导致梯度消失的问题。除此之外，Jalali等人(2021)直接把预训练的网络替换U-Net的编码器，并使用双向卷积长短期记忆作为高级积分器模块来替换简单的传统串联器；Kadia等人(2021)使用循环神经网络学习多个步骤的空间依赖进行特征积累，并集成残差神经网络增加3D特征的传播。对于分割COVID-19这种小目标区域，由于其样本量少且与正常肺CT相差很大，故更多地考虑引入注意力机制使模型能更专注于COVID-19感染区域，从而使分割结果更为精确，如Fan等人(2020)、Zheng等人(2020)、Joseph Raj等人(2021)和Zhao等人(2021a)。Fan等人(2020)使用隐式反向注意力和显式边缘注意力对边界建模并增强表达能力；Zheng等人(2020)使用通道注意力融合两阶段输入使特征集中在分割区域上；Zhao等人(2021a)同时结合空间注意力和通道注意力两个模块，用以在像素级和通道级提取COVID-19肺部感染区域的有效特征。此外，还可通过增大下采样路径的感受野来获取更细致的边界信息。如Joseph Raj等人(2021)在编码器使用扩张卷积和Zheng等人(2020)融入PCB，通过使用不同数量和大小的内核来增加感受野，用以提升COVID-19的分割精度。

2.3.2 多网络肺CT图像分割方法

多网络肺CT图像分割方法是一种利用两种或以上的网络架构，对肺或肺病变区域进行分割的深度学习方法。与单网络肺CT图像分割方法相比，多网络肺CT图像分割方法的分割精度相对较高，对机器的性能要求也较高。按照在肺CT图像分割方法中多网络架构采取串行还是并行方式，又可分为级联U-Net和双路径U-Net(马金林等，2020)。

1) 级联U-Net。级联U-Net的核心思想是下一个网络的输入，使用的是上一个网络的输出。在肺CT图像分割任务中，上一个网络通过学习待分割目标的特征以排除大部分的干扰，为下一个网络实现更精细的分割奠定基础。Huang等人(2021)采用结合两阶段3D ResU-Net的方法分割肺部疾病，在第1阶段，从低分辨率的下采样图像中学习病变的特征，得到粗分割结果后与原始图像连接并编码到第2阶段，从图像中获取更准确的分割信息。除此之外，还可在上一个网络先执行粗略的ROI分割，再在下一个网络执行其他任务。He等人(2021)开发一个多任务多实例深度网络(multi-task multi-instance deep network，MUNet)，用以联合执行肺叶分割和多实例分类。MUNet由一个补丁级编码器、一个用于肺叶分割的分割子网络和一个用于COVID-19严重程度评估的分类子网络组成。3D肺CT图像先经过补丁级编码器和肺叶分割子网络，然后再在分类子网络分割COVID-19感染区域并进行多层多实例学习，从而评估COVID-19的严重程度。Xie等人(2021)提出一种级联的双U形扩张注意网络用于COVID-19肺CT图像感染区域的分割，其网络以U-Net为主干，首先构建一个粗分割网络来提取肺区域，然后再在精细分割网络的编解码过程中引入扩张注意力机制，使网络能够专注于更好的量化信息，从而增强网络对病变细微区域的分割能力。

2) 双路径U-Net。与级联U-Net不同，双路径U-Net的核心思想是两个网络同时并行执行不同的任务，然后再将两个网络的输出合并以实现肺CT图像的分割。Xu等人(2021)提出一种边界引导网络，该网络包含两个辅助分支：一个用于提取肺边界；另一个聚集分支利用肺边界线索指导网络进行更准确的肺分割。二者之间通过边界注意指导模块来聚合肺分割的特征图和相应的边界。此外还可将两个U-Net通过共用一个编码器并行地提取目标区域与边界的特征，Guo等人(2021)提出一个双U-Net框架来整合目标区域和边界，该网络由一条下采样路径和两条对称的上采样路径组成，其中，一条上采样路径用于预测对象区域；另一条上采样路径用于预测边界的图像，训练过程中通过整合区域和边界的信息，使双U-Net的输出是目标区域和边界的预测概率图像。上述方法都是基于同一种输入并行执行不同的任务，除此之外还可对两种输入并行执行再融合以结合两种输入的优势。在医学上，PET和CT成像一直是医学图像处理中成功的研究领域。Zhong等人(2018)通过设计两个独立的U-Net分别在PET和CT上进行训练，用以学习高级的肺肿瘤判别特征，分别生成PET和CT图像的肿瘤掩膜和概率图，然后再把两个概率图同时用于基于图切割的共分割模型，以产生最终的肿瘤分割结果。使用多网络实现肺或肺部病变区域分割性能的比较与总结如表 9所示。

表 9 多网络的肺CT图像分割方法总结
Table 9 Summary of lung CT image segmentation methods for multiple networks

下载CSV
编号 文献 数据集 方法 分割类型 最优表现性能
1 Huang等人(2021) — 两阶段3D ResU-Net结合注意力机制 胸前纵膈疾病 平均DSC为0.877 3
2 He等人(2021) — 一个多任务多实例深度网络 COVID-19感染区域 DSC, Sen分别为0.785, 0.783
3 Xie等人(2021) — 级联双U-Net扩张注意网络 COVID-19感染区域 DSC, Sen, Spec, AUC分别为0.870 6, 0.908 5, 0.995 9, 0.965
4 Xu等人(2021) StructSeg, HUG, VESSEL12, COVID-19- CT-Seg 包含两个辅助分支和一个聚集分支的边界引导网络 肺实质 在4个数据集的DSC分别为0.964 7, 0.988 9, 0.994 5, 0.967 1
5 Guo等人(2021) JSRT 双U-Net整合目标区域和边界 肺实质 左右肺的平均DSC分别为0.93, 0.98
6 Zhong等人(2018) — 基于图割的双U-Net分割模型 肺肿瘤 DSC为0.869 ± 0.049
注：“—”表示相应文献未报道；数据集详情如3.1节和3.3节所示。

综上所述，无论是级联U-Net还是双路径U-Net，二者均是通过联立两种或以上的网络架构去实行更为准确的肺CT图像分割。在级联U-Net中，后一个网络架构对前一个网络架构的依赖性很大，因为前一个网络的输出是后一个网络的输入，如果前一个网络的输出结果不理想，则会直接导致后一个网络的崩溃；在双路径U-Net中，两个网络架构之间的关系虽然不像级联U-Net的关联性那么强，但均会对最终的聚合结果产生影响。总体而言，级联U-Net和双路径U-Net都是利用不同的网络结合多层次的信息，每个网络只专注于一项任务以提取更多的图像特征来提高分割精度，最终模型对于肺或肺病变区域的分割会更为精确。

2.4 基于GAN的肺CT图像分割方法

Goodfellow等人(2014)首次提出一种训练生成模型以生成对抗网络的新方法，其网络结构如图 5所示。生成对抗网络(generative adversarial network, GAN)由生成器和鉴别器组成，生成器接收一个随机噪声并通过这个噪声生成图像；鉴别器则用于判断输入图像的真伪。生成器试图产生无限接近真实的图像来欺骗鉴别器，而鉴别器也在不断地加强鉴伪能力，二者之间相互博弈形成对抗性关系，这种对抗性学习的方法使GAN能不断地捕获高级语义信息的特征表示，通过无监督学习生成伪标签，从而解决数据集样本量少的问题。在基于GAN的肺CT图像分割方法中，生成器用于肺或肺病变区域的分割，鉴别器用于细化生成器对ROI分割的训练。按照GAN不同体系架构进行改进的方式，可将肺CT图像分割方法分为基于网络架构改进的、基于生成器改进的和其他方法改进的GAN模型。



图 5 GAN的架构(Goodfellow等，2014)
Fig. 5 Architecture of GAN(Goodfellow et al., 2014)

2.4.1 基于网络架构改进的GAN的分割方法

在肺CT图像分割中，对GAN的网络架构进行改进一般是在原始GAN的基础上，添加额外模块或对生成器、鉴别器进行修改。Tan等人(2021)提出一种基于深度学习的GAN分割模型，用以分割CT图像中的肺实质，该模型主要由3部分组成：1)生成器被训练以基于灰度输入的CT切片来预测肺掩膜；2)鉴别器计算预测掩膜与真实掩膜之间的EM(earth mover)距离，以帮助生成器学习准确和真实的肺分割掩膜；3)使用二元交叉熵作为训练损失函数。鉴别器的分类结果帮助生成器生成更精确的图像，同时该图像作为鉴别器的输入能够帮助其提高分类准确率，二者之间的性能在博弈之间得到相互提升，此方法虽然提高了分割精度，但对于肺部存在密集异常的情况，其分割效果较差。Pawar和Talbar(2021)提出一种基于GAN的方法对包含间质性肺病的CT图像进行肺实质的分割，其中生成器由编码器块、多尺度密集特征提取模块(multi-scale dense-feature extraction，MSDFE)和解码器块3个模块组成。含间质性肺病的CT图像经过编码器的踪迹进行处理编码为一组特征图，然后再由MSDFE从中提取多尺度特征，最后使用解码器从多尺度特征中获得肺分割图。其中，MSDFE使网络学习密集异常的相关特征，而迭代下采样后上采样使其对密集异常的大小保持不变，当要分割的目标具有很大的感染变异性和域转移问题时，由于对未知领域的不可预测，往往需要在先验知识的驱动下进行自校正的学习。Jin等人(2021)提出一种基于域自适应的自校正模型用于分割COVID-19感染区域，该模型由注意力和特征增强域适应模型(attention and feature domain enhanced domain adaptation model，AFD-DA)以及双域增强自校正学习算法组成。作为在全局对齐过程中更好地执行语义一致性并通过对抗性学习的网络，AFD-DA模型由一个特征编码器、两个辅助解码器和一个特征级鉴别器组成，通过先验知识驱动的分割和语义特征的分层特征级对齐，纠正从标签丰富的源域到标签稀缺的目标域的差异，从而使模型对未知领域的泛化能力大幅提升。

2.4.2 基于生成器改进的GAN的分割方法

随着CNN、FCN、U-Net等深度学习网络的不断发展，这些先进的网络架构被部分研究者迁移到GAN的生成器，从而提升分割精确度。Zhao等人(2018)先使用形态学方法来分割肺实质，然后利用基于补丁的3D U-Net作为GAN的生成器进行肺结节的分割，生成器试图生成逼真的肺结节掩膜(伪标签)，同时鉴别器会对抗性地将伪标签与真实标签进行区分，二者之间的性能在迭代过程中不断提升，这对后续使用3D CNN确定肺体积是否包含恶性结节极具意义。Bu等人(2021)提出一种基于条件生成对抗网络(conditional generative adversarial network，cGAN)的新样本生成方法，该方法采用基于SE(squeeze-and-excitation)机制和残差学习的3D cGAN，生成器是基于3D U-Net结构去合成具有真实随机位置的肺结节，为使肺结节与其他组织自然融合，基于周围信息的cGAN会比把随机噪声作为输入的GAN生成更好的图像来对抗鉴别器，同时鉴别器也会更加细化生成器的训练，最终利用合成样本对肺结节检测网络的训练结果表明，合成样本覆盖原始数据未填充的部分数据分布，可以在固定假阳性率下提高结节检测网络的整体性能。除了把先进的网络架构迁移到生成器，类似地也可将其迁移到鉴别器上，两个先进的网络架构利用对抗性学习捕获高级语义信息的特征表示能力。Dong等人(2019)提出一种对抗性训练策略来训练用于从胸部CT图像中实现多器官分割的深层神经网络，联合训练一组U-Net作为生成器，FCNs作为鉴别器。其中，U-Net通过从CT图像到多器官分割的端到端映射生成多器官的图像分割图，再与鉴别器在对抗学习过程中相互竞争，从而产生多器官的最优分割图。无独有偶，Shi等人(2020b)提出一种基于Aggregation-U-Net的GAN网络，用于胸部CT图像中肺结节的自动分割。该网络的生成器是基于U-Net++的深层聚合，鉴别器是一个分类网络。与U-Net相比，生成器在跳跃连接上组合更多的层与连接，通过加入密集层与短连接，在解码器中实现了灵活的特征融合而不再受限于原始U-Net只能融合相同尺寸的特征图。

2.4.3 其他方法

GAN不仅可以提高医学图像分割的性能，还有助于医学图像分割的数据处理。由于大多数专业放射科医生需要在第一线筛选和诊断患者，他们没有足够的精力标记大量的图像数据；而且医疗数据因为其隐私的重要性，导致医学数据集的样本数量普遍较少。为了使深度学习的医学图像分割方法有足够的训练数据，基于GAN的数据增强(data augmentation，DA)技术广泛应用于不同的医学图像。Zhang等人(2021a)提出一种改进的Dense GAN扩展数据集的方法来解决COVID-19肺部CT图像样本过少的问题，并结合U-Net的COVID-19肺部CT图像分割提出一种多层注意力机制方法，该机制包含边缘注意力模块、形状注意力模块和局部注意力模块。除了把随机噪声作为生成器的输入，还可使用cGAN接收特定条件的输入来精准生成目标图像, 从而达到数据扩充的目的。Qin等人(2019)提出的肺结节分割框架包含两部分：1)采用cGAN生成合成的CT图像去扩充数据集；2)建立3D CNN模型去进行肺结节的分割。为了重新定义合成样本的真实性，在cGAN中引入重建误差损失，将空间中的上下文信息传递到网络中去生成语义标签, 从而进行数据集的扩充。除此之外，Han等人(2019)提出3D多条件GAN来实现DA以扩充肺结节的训练数据集，多条件GAN通过采用两种鉴别器进行条件的处理：1)上下文判别器学习以噪声盒为中心的环境对真实结节与合成结节进行分类；2)结节鉴别器试图根据大小或衰减条件对真实结节与合成结节进行分类。实验结果表明，由多条件GAN生成的扩充结节，即使专家医师在视觉图灵测试中也无法将其与真实结节区分开来。在Qin等人(2019)提出的cGAN基础上，Shi等人(2020a)提出一种基于样式GAN的DA方法，再使用3D U-Net去进行肺结节的分割。在DA过程中，首先从整个数据集中提取样式和语义标签，然后使用随机选择的样式为每个语义标签合成增强CT图像。在DA期间使用区域感知网络架构，可以更精细地控制特定语义区域的风格，从而增加样本的多样性。

使用GAN模型实现肺或肺部病变区域分割性能的比较与总结如表 10所示。

表 10 GAN的肺CT图像分割方法总结
Table 10 Summary of lung CT image segmentation methods for GAN

下载CSV
编号 文献 数据集 方法 分割类型 最优表现性能
1 Qin等人(2019) LIDC-IDRI cGAN扩充数据集后再使用3D CNN分割肺结节 肺结节 DSC, Sen, Acc分别为0.848 3, 0.851 1, 0.990 4
2 Shi等人(2020a) LIDC-IDRI 基于样式GAN扩充数据集后再使用3D U-Net分割肺结节 肺结节 DSC, Sen分别为0.852 1, 0.862 2
3 Zhang等人(2021a) — 密集GAN扩充数据集后，再使用U-Net分割COVID-19感染区域 COVID-19感染区域 DSC, Sen分别为0.683, 0.698
4 Shi等人(2020b) LIDC-IDRI 将U-Net与聚集网络结合作为生成器的GAN 肺结节 DSC为0.869
5 Dong等人(2019) AAPM 使用U-Net作为生成器，FCN作为鉴别器 肺实质 DSC为0.97
6 Tan等人(2021) LIDC-IDRI, QIN Lung CT 采用深度学习GAN分割肺实质 肺实质 DSC为0.985±0.03
7 Pawar和Talbar(2021) ILD 包含多尺度密集特征提取模块的GAN 肺实质 DSC, JS分别为0.989 9, 0.980 0
8 Jin等人(2021) CIR, ISMIR，MOSMEDDATA 域自适应自校正模型 COVID-19感染区域 Dice, Sen分别为0.763 3, 83.24
注：“—”表示相应文献未报道；数据集详情如3.1节和3.3节所示。

综上，基于GAN的肺CT图像分割方法，在训练阶段可通过生成器生成高质量逼真的肺CT图像，以此解决数据样本不平衡的问题，使深度学习网络得到充分的训练以实现高精度的分割效果。与此同时，鉴别器也在不断地加强鉴伪能力，二者之间互相博弈形成对抗性关系，从而促使双方的性能得到相互提升。

2.5 深度学习方法总结

在4类肺CT深度学习分割方法中，U-Net是在FCN上进行改良发展，而FCN是从CNN上发展、改进而来，GAN的生成模型与鉴别模型均可由CNN、FCN、U-Net这些先进的网络架构迁移组成。每一类肺CT图像分割方法既可由单一的网络架构改进对ROI进行分割，也可与其他网络架构组合共同分割肺或肺病变区域。通过对4类深度学习分割方法的分析与研究，可针对性地解决在分割肺CT图像时所面临的一些共性问题：对于ROI与背景大小悬殊导致的模型退化问题，可考虑引入空洞卷积增加感受野或提出加权损失函数促使网络从前景中学习更多的信息；对于边缘模糊的问题，可考虑结合CRF或异质地图等先验知识提取ROI的纹理结构和边界信息；对于网络层数增多导致高分辨率语义信息丢失甚至梯度消失的问题，可通过引入密集连接模块与残差模块使块内的所有层相互连接并直接映射连接网络的不同层；对于数据集标注不足的问题，可利用半监督或自监督分割框架，该框架仅需少量标注数据并主要依赖未标注数据生成伪标签, 从而实现数据增强。总之，无论哪种肺CT深度学习分割方法在临床应用时仍面临许多挑战与考验。

3 相关数据集及评价指标

为了客观全面地评价各分割算法的性能，介绍常用的数据集和评价指标。训练肺CT图像分割需要大量的肺部CT扫描，因此公共数据集的获取至关重要。为了公平地验证各种算法的性能，需要可靠的评价指标。此外，与肺相关的大型比赛数据集因其极具挑战性而往往吸引大量研究者将其用于验证分割算法的优劣。

3.1 肺CT公共数据集

3.1.1 NLST数据集

全国肺部筛查试验(national lung screening test，NLST)数据集由美国国家癌症研究所癌症预防部和癌症治疗与诊断部所创建，是一组针对肺癌筛查试验的随机对照临床试验数据集。NLST的CT图像是由25 000名参与者经过筛选检查所得，每次筛查生成1个定位器图像和2~3个螺旋CT扫描的轴向重建，经过75 000次的CT检查共有200 000个图像序列可用，其中包括参与者特征、筛选结果、诊断程序和癌症诊断结果等数据信息。虽然NLST数据集包含类型全面，但由于其收集标准的危险因素未考虑肺基础病史和职业暴露史等因素，导致诊断的假阳性率偏高，从而导致患者遭受不必要的干预和过度的焦虑。

如图 6所示，NLST数据集的CT图像按结节等病变区域的大小分为3类：2~5 mm，6~10 mm，≥11 mm，其结节位置如图 6中箭头所指。



图 6 NLST数据集
Fig. 6 NLST dataset

3.1.2 VIA/I-ELCAP数据集

计算机视觉与图像分析国际早期肺癌行动计划数据库(computer vision and image analysis international early lung cancer action plan database，VIA/I-ELCAP)由ELCAP和VIA研究小组合作创建，主要为不同计算机辅助检测系统(computer aided detection system，CAD)的性能评估提供一个通用的数据集，于2003年12月首次发布。VIA/I-ELCAP数据集由50个低剂量记录的全肺CT扫描图像组成，切片厚度为1.25 mm，其结核相对较小，并且数据集还提供放射科医生检测到的结节类型、结节位置等信息，与X线胸片相比，该数据集检出肺癌的灵敏度要高。相关肺CT数据集图像如图 7所示，按照图像中肺结节的大小分为两类：3~10 mm，11~20 mm，同时图 7中箭头指明了结节所在位置。



图 7 VIA/I-ELCAP数据集
Fig. 7 VIA/I-ELCAP dataset

3.1.3 LIDC-IDRI数据集

肺图像数据库联盟和图像数据库资源倡议数据集(lung image database consortium and image database resource initiative，LIDC-IDRI)是由威尔康奈尔医学院、加利福尼亚大学洛杉矶学院、芝加哥、爱荷华大学和密歇根大学等5个机构共同创建的一个具有良好特征的胸部CT扫描库，旨在促进肺结节检测、分类和定量评估计算机辅助检测系统方法的发展。该数据集从参与学术机构的图片存档和通信系统中收集了1 010名患者的1 018个螺旋CT扫描，每次CT扫描的准直和重建间隔不大于3 mm，同时扫描范围限制在6个肺结节以内，最长尺寸不大于30 mm。此外，每个CT扫描切片的像素大小控制在0.48~0.72之间，厚度在1.25~2.5 mm之间变化，并且数据集中每个实例的图像均由4位经验丰富的放射科医生进行诊断标注。LIDC-IDRI数据集等间隔地从不同轴切方向对患者进行扫描更有利于判别结节，但由于该数据集带标注的数据点所占比例太低导致数据样本不平衡、不对称。图 8展示了该数据集的肺CT图像，按照肺结节大小将其分为3类：1~2 mm，3~5 mm，6~15 mm。



图 8 LIDC-IDRI数据集
Fig. 8 LIDC-IDRI dataset

3.1.4 COVID-19相关数据集

由于COVID-19爆发迅猛，放射科医生难以在短时间内标记大量的图像数据，另一方面由于医疗数据的隐私性等问题，导致收集与COVID-19相关的CT数据集较为困难，故此类数据集相关实例数量较少，目前主要包括以下几个数据集：

1) COVID-19 CT Segmentation Dataset(MedSeg)。其被认为是与COVID-19相关的标准数据集之一，图 9 (a)为该数据集的展示图像，该数据集由不同COVID-19患者经过100次横向CT扫描组成，包括1 838个带注释的标签，且所有CT扫描均由放射科医生进行分段注释。



图 9 COVID-19相关数据集
Fig. 9 COVID-19 related dataset
((a)COVID-19 CT SegmentationDataset; (b)COVID-19 CT dataset; (c)COVID-CS; (d)COVID-19-CT-Seg)

2) COVID-19 CT dataset。该数据集为由加州大学创建的开源数据集，共有349幅CT图像，其中COVID-19阳性和阴性分别为183幅和146幅，图 9 (b)为该数据集相关肺CT图像。

3) COVID-CS。该数据集收集了750例患者的CT扫描图像，其切片厚度在0.75~1.25 mm之间变化，其中COVID-19阳性400例，阴性350例，图 9 (c)展示了该数据集的肺CT图像。此外，该数据集中400例COVID-19阳性患者经过肺CT扫描后分别得到3 855个像素级标记的CT扫描图像以及64 771个非像素级标记的CT扫描图像。

4) CIR(Coronacases Initiative and Radiopaedia)数据集。该数据集收集了20个3维CT扫描，并且由放射科医生对肺以及感染区域进行手动注释，包含3 520个轴向CT切片，其中1 844个呈现COVID-19阳性的样本由手动注释，另外1 676个呈现COVID-19阴性的样本未被注释。

5) ISMIR(Italian Society of Medical and Interventional Radiology)。该数据集包含100幅COVID-19患者的轴向CT图像，同时由放射科医生手动注释COVID-19感染区域，此外每个CT图像都经过灰度化处理并且以单个NIFTI文件格式进行编译。

6) MOSMEDDATA。该数据集收集了50个COVID-19病例的CT体积扫描，并且由专家手动注释COVID-19感染区域，该数据集包含2 049个轴向切片，其中呈现COVID-19阳性的样本有785个，另外1 246个切片样本显示为阴性。

7) COVID-19-CT-Seg。该数据集收集了20名COVID-19患者的肺CT图像，肺部感染比例在0.01%~59%之间变化，并且感染区域由放射科医生手动注释，图 9(d)为该数据集的展示图像。

3.1.5 其他数据集

NELSON数据集收集了15 822名参与者的数据，由厚度为1 mm和0.7 mm的重叠间隔重建的肺CT图像组成。QIN LUNG CT数据集主要包含混合分期和组织学的非小细胞肺癌患者的肺CT图像。癌症影像档案(the cancer imaging archive, TCIA)数据集是由NCI(National Cancer Institute)计划资助的医学图像开放获取数据库，主要为以DICOM格式存储的CT、MRI(magnetic resonance imaging)和核医学图像。美国医学物理学家协会会议(American Association of Physicists in Medicine，AAPM)数据集包括了安德森癌症中心(MD Anderson Cancer Center，MDACC)、马斯特罗放射肿瘤学(Maastricht Radiation Oncology，MAASTRO)、MSKCC等CT扫描案例，所有CT扫描均覆盖整个胸部，切片数量在103~279之间变化。StrctSeg 2019数据集包含50名肺癌患者CT扫描的GTV注释，并且每次CT扫描均由放射科医生进行注释和验证。VESSEL 12数据集收集了各种适应症的临床检查和两个肺癌筛选实验的CT扫描图像。基准间质性肺病(interstitial lung diseases，ILD)数据集包含108个高分辨率肺CT扫描，每20个肺CT切片组成一个肺CT扫描。这些数据集虽然对系统的敏感性提升不大，但是此类数据集可以用于模型的鲁棒性测试。

HUG(University Hospitals of Geneva)数据集由108名患者对应正常护理周期的DICOM格式的高分辨率CT(high resolution CT，HRCT)图像序列构成，在HRCT图像序列中由放射科医生精确注释共1 946个ROI区域，图 10展示了该数据集的肺CT图像，图 10(a)为正常CT图像，图 10(b)均为不同肺疾病的CT图像。



图 10 HUG数据集
Fig. 10 HUG dataset
((a)normal CT image; (b)CT images of different lung diseases)

表 11总结了相关数据集的详细信息，包括数据集的发布时间、样本数量、图像类型、是否公开获取、收集状态和图像注释等数据信息，其中收集状态表示数据集是否完成数据图像收集的进度状态。

表 11 公共数据集的总结与对比
Table 11 Summary and comparison of public datasets

下载CSV
数据集 发布年份 患者数量 样本数量 类型 是否公开获取 收集状态 备注
NLST 2009 54 000 75 000+ CT 是 完成 特征和诊断信息
VIA/I-ELCAP 2003 — 50 CT 是 完成 结节位置和类型
LIDC-IDRI 2011 — 1 018 CT, CR, DX 是 完成 结节特征及诊断部位
MedSeg 2020 100 1 838 CT 是 完成 图像数据
COVID-19 CT dataset 2020 216 812 CT 是 完成 图像数据
COVID-CS 2020 400 68 626 CT 否 完成 图像数据
CIR 2020 20 3 520 CT 是 完成 图像数据
ISMIR 2020 60 100 CT 是 完成 临床资料
MOSMEDDATA 2020 50 2 049 CT 是 完成 临床资料
COVID-19-CT-Seg 2020 20 1 800+ CT 是 完成 图像数据
NELSON 2003 15 822 — CT 否 完成 —
NSCLC-Radiomics 2014 1 019 1 019 CT 否 完成 临床资料
LungCT-Diagnosis 2015 61 61 CT 是 完成 图像数据
QIN LUNG CT 2015 47 47 CT 是 完成 —
TCIA 2017 — 3 268 664 CT, MR, PT 是 未完 临床资料和图像数据
MSKCC 2017 — 10 000 — 是 完成 临床资料
AAPM 2017 60 60 CT 是 完成 临床资料
StrctSeg 2019 2019 50 50 CT 是 完成 图像数据
HUG 2012 108 108 CT 是 完成 临床资料
VESSEL 12 2012 20 20 CT 是 完成 临床资料
ILD 2011 128 108 HRCT 是 完成 临床资料
注：“—”表示相应数据集未报道。

3.2 评价指标

为了评估算法分割肺CT图像的性能，常采用以下指标对分割结果进行评价：DICE系数(Dice similarity coefficient，DSC)、Jaccard系数(Jaccard similarity coefficient，JS)、准确率(accuracy，Acc)、精度(precision，Prec)、灵敏度(sensitivity，Sen)和特异度(specifificity，Spec)等量化指标。

DSC常用于医学图像分割算法性能的评价，表示算法分割结果与标记结果之间的重复率；JS表示算法分割结果与标记结果之间的相似性和差异性；Acc表示算法正确分割的样本占总样本的比例；Prec表示正确分割的肺部像素区域占总肺部像素

区域的比例；Sen表示感兴趣区域被正确分割为感兴趣区域所占比例；Spec表示非感兴趣区域被正确分割为非感兴趣区域所占比例。在上述6种评价指标中以DSC和Acc最为常用，其取值均在0~1之间，0表示分割结果最差，1表示分割结果最好。

3.3 与肺CT图像有关的大型比赛

随着计算机技术以及人工智能的发展，出现了许多与肺相关的医学图像竞赛，这类比赛通常会提供使用的数据集、各类评价指标以及参考算法，研究者可以从相应的平台获取学习资源。本文挑选了近年来与肺相关的5个大型比赛，分别为天池医疗AI大赛(TIANCHI)、2016肺结节分析大赛(LUNA16)、LNDb、Kaggle DSB 2017以及ANODE09。具体说明如下：

1) TIANCHI数据集提供1 000名患者MHD格式的肺部CT影像数据，其原始图像为不同数量的2维图像组成的3维图像，包含多个轴向切片，其CT图像均包含肺结节，其中一半肺结节大小在6~10 mm，另一半结节大小在10~30 mm之间变化，并均由放射科医生标注结节位置和大小。

2) LUNA16数据集为LIDC-IDRI数据集的子集，排除了切片厚度大于2.5 mm的CT扫描，共包含888次CT扫描，并由放射科医生将数据集标记为非结节、结节大小小于3 mm和结节大小大于等于3 mm共3类。

3) LNDb数据集包含294次肺CT扫描，与LIDC-IDRI只关注结节大小大于等于3 mm的图像不同，放射科医生需要标注所有结节，这使得数据集不会出现特征呈现极不平衡的问题，图像特征更加多样化，该数据集中确诊肺部疾病的CT图像如图 11所示。



图 11 LNDb数据集
Fig. 11 LNDb dataset

4) Kaggle DSB 2017数据集来自1 000名患者DICOM格式的低剂量CT图像，每个CT包含数量不等的2D切片图像，但由于该数据集的图像来源较广，因而存在图像之间差异较为明显的情况。

5) ANODE09数据集由55个来自NELSON数据集的肺CT扫描组成，其中仅有5个CT扫描提供放射科医生的注释，该数据集主要挑选肺结节相对较小且存在明显间质性肺疾病的CT扫描。

表 12详细描述了各挑战赛数据集的相关信息，包括数据集创建时间、样本数量、图像类型、是否公开获取、图像收集状态和图像注释等数据信息，其中收集状态表示数据集是否完成数据图像收集的进度状态。

表 12 挑战赛数据集的总结与对比
Table 12 Summary and comparison of the challenge datasets

下载CSV
数据集 发布年份 患者数量 样本数量 类型 是否公开获取 收集状态 备注
TIANCHI 2017 1 000 3 000 CT 否 完成 结节大小和位置
LUNA16 2016 888 888 CT 是 完成 结节大小和位置
LNDb 2019 294 294 CT 是 完成 结节特征、类型和位置
Kaggle DSB 2017 2017 1 000 1 594 CT 否 完成 S1数据的癌症基准
ANODE09 2009 55 55 CT 是 完成 结节类型和位置

4 讨论

从上述的肺CT图像分割方法来看，无论是传统方法还是深度学习方法都在肺或肺病变区域分割领域取得了显著的进展，尤其是深度学习方法在分割精度与鲁棒性方面都表现优异。尽管随着CT扫描技术和深度学习方法的普及，出现越来越多高精度且泛化能力强的肺CT图像分割方法，但仍存在一些问题。本文分析上述研究工作的趋势，并提出在肺CT图像分割领域中一些尚未解决的挑战和未来的方向。

4.1 研究趋势

本文已对肺及肺病变区域的分割方法进行了大量的分析与总结。据观察，随着机器性能的提高，研究者更倾向于使用深度学习的方法而不是传统的方法来对肺CT图像进行分割。

在本文论述的深度学习方法中，将其按网络结构分成4类进行详细分析：1)基于CNN的肺CT图像分割；2)基于FCN的肺CT图像分割；3)基于U-Net的肺CT图像分割；4)基于GAN的肺CT图像分割。在这4类深度学习方法中，基于U-Net对肺及肺病变区域的分割是最多的，这是因为U-Net的收缩路径、扩张路径以及跳跃连接的结构可以有效地提取目标特征以及还原下采样所带来的信息损失，并不需要大量样本进行训练就能取得较高的分割效果，而这正符合医学图像样本量小的特点，所以自Ronneberger等人(2015)首次提出U-Net用于医学图像的分割并取得优异的结果后，证实了U-Net符合小样本学习理论，是对数据集不够大的一个很好补充，故后续研究者大多基于U-Net进行改良以分割医学图像。不仅如此，基于U-Net的模型在迁移学习方面具有较强的鲁棒性。自新冠肺炎爆发以来，已经有很多的研究者使用基于U-Net的网络对COVID-19感染区域进行分割并取得不错的结果。这些均证明了U-Net其强大的稳定性和出色的分割性能，值得研究者们继续在此方向提升对肺及肺病变区域的分割精度。

此外，面对突如其来的新型冠状病毒肺炎，许多研究者利用GAN对COVID-19感染区域进行分割以帮助医生更好地对新冠肺炎患者进行后续的治疗。基于GAN的COVID-19感染区域分割方法可分为两类：一类是直接使用改进的GAN对肺CT数据进行感染区域的分割；另一类是先用GAN进行数据扩充以增加样本的数量与多样性，然后再结合其他先进的网络结构对扩充的数据集进行训练与分割。目前基于GAN的COVID-19感染区域分割方法已取得一定的成果，未来可继续在此方向结合其他优秀的网络对肺及肺病变区域进行高精度的分割。

4.2 现有挑战和未来的方向

众所周知，大量高质量的标记数据对于训练有效的医学图像分析深度学习模型至关重要。然而，现有的肺部CT公共数据集没有以有组织的方式进行标记，这导致不同数据集之间的注释信息混乱。对包含COVID-19的原始CT公共数据集更是凤毛麟角，同时，由于很多对COVID-19感染区域进行分割的研究者大多使用医院内部数据集，导致不同网络之间缺乏比较性。因此，收集大量具有准确标签的肺部CT数据仍然是一个巨大的挑战：一方面，个人隐私问题是收集个人肺部CT扫描的最大障碍，很多国家政策和医院规定都十分注重个人信息保护；另一方面，大多数专业放射科医生需要在第一线筛查和诊断患者，导致他们没有足够的精力标记大量的图像数据。

对于COVID-19相关数据集标记不足的问题，可通过建立半监督分割框架进行解决，利用少量的标记数据和大量的未标记数据来提高模型的分割性能。半监督学习一般通过对随机扰动具有鲁棒性的方式对网络进行正则化或探索伪标签等知识对监督信号进行丰富，还可基于随机采样策略利用未标记数据来逐步增加训练数据集。

为了缓解数据集稀缺的问题，可以对CT图像和标签进行旋转、翻转、平移、缩放或剪裁等传统的数据增强策略来增加训练样本的数量和多样性。除此之外，还可通过采用GAN来合成高质量逼真的对抗性图像用以扩充数据集。而且采用GAN以实现数据增强的策略在分割COVID-19感染区域尤为常见，一方面是因为新冠肺炎爆发迅猛，专业放射科医生没有足够的精力标记大量的数据集；另一方面是因为含COVID-19的肺CT图像变异性强，传统的数据增强策略无法保证训练样本的多样性。GAN可以通过生成器与鉴别器之间的博弈不断地捕获高级语义的信息，从而使生成的数据样本非常逼真，即使专家医师在视觉图灵测试中也无法将其与真实图像区分开来(Han等，2019)。因此，未来可以考虑结合GAN与U-Net提升肺及肺病变区域的分割精度，使用基于GAN的网络架构来扩充数据集以使模型得到充分的训练，让U-Net继续发挥其强大的稳定性和出色的分割性能。

5 结语

本文对肺及肺病变区域分割方法进行比较全面的综述，归纳总结传统方法的优缺点，深入详细地分析深度学习方法的实际应用与未来的发展方向。传统方法分为基于区域的分割方法和基于活动轮廓的分割方法；深度学习方法按其使用的网络分为基于CNN、FCN、U-Net、和GAN的这4类肺CT图像分割方法。本文对上述方法分别进行了详细的介绍。

深度学习方法在肺及肺病变区域分割上取得了较大的成就，特别是基于U-Net的这一类方法尤为突出，其独特的编码解码结构在小样本数据集的训练下，都能取得出色的分割表现。正因如此，面对突如其来的新冠肺炎病毒，研究者大多采用基于U-Net的方法对COVID-19感染区域进行分割并取得一定的成效。目前，对COVID-19的研究还处于初步阶段，在COVID-19感染区域的分割精确率等方面具有很大的提升空间，主要原因受限于目前尚未建立大量的公共数据集。为解决上述难题，一些研究者使用GAN进行数据集的扩充，未来可以进一步将GAN这类无监督学习方法与其他更高性能网络结合，以对肺及肺病变区域开展更深入的研究。

参考文献

  • Aberle D R, Adams A M, Berg C D, Black W C, Clapp J D, Fagerstrom R M, Gareen I F, Gatsonis C, Marcus P M, Sicks J D. 2011. Reduced lung-cancer mortality with low-dose computed tomographic screening. New England Journal of Medicine, 365(5): 395-409 [DOI:10.1056/NEJMoa1102873]
  • Adarsh R, Amarnageswarao G, Pandeeswari R and Deivalakshmi S. 2020. Inception block based residual auto encoder for lung segmentation//Proceedings of the 4th International Conference on Computer, Communication and Signal Processing (ICCCSP). Chennai, India: IEEE: 1-5 [DOI: 10.1109/ICCCSP49186.2020.9315264]
  • Afzali A, Babapour Mofrad F, Pouladian M. 2021. 2D statistical lung shape analysis using chest radiographs: modelling and segmentation. Journal of Digital Imaging, 34(3): 523-540 [DOI:10.1007/s10278-021-00440-7]
  • Ai T, Yang Z L, Hou H Y, Zhan C N, Chen C, Lv W Z, Tao Q, Sun Z Y, Xia L M. 2020. Correlation of chest CT and RT-PCR testing for coronavirus disease 2019 (COVID-19) in China: a report of 1014 cases. Radiology, 296(2): E32-E40 [DOI:10.1148/radiol.2020200642]
  • Akila A S, Anitha J, Dinesh P J. 2020. Automatic lung segmentation in low-dose chest CT scans using convolutional deep and wide network (CDWN). Neural Computing and Applications, 32(20): 15845-15855 [DOI:10.1007/s00521-018-3877-3]
  • Ali R, Hardie R C and Ragb H K. 2020. Ensemble lung segmentation system using deep neural networks//2020 IEEE Applied Imagery Pattern Recognition Workshop (AIPR). Washington, USA: IEEE: 1-5 [DOI: 10.1109/AIPR50011.2020.9425311]
  • Anirudh R, Thiagarajan J J, Bremer T and Kim H. 2016. Lung nodule detection using 3D convolutional neural networks trained on weakly labeled data//Proceedings Volume 9785, Medical Imaging 2016: Computer-Aided Diagnosis. San Diego, USA: SPIE: #978532 [DOI: 10.1117/12.2214876]
  • Anthimopoulos M, Christodoulidis S, Ebner L, Geiser T, Christe A, Mougiakakou S. 2019. Semantic segmentation of pathological lung tissue with dilated fully convolutional networks. IEEE Journal of Biomedical and Health Informatics, 23(2): 714-722 [DOI:10.1109/JBHI.2018.2818620]
  • Bressem K K, Niehues S M, Hamm B, Makowski M R, Vahldiek J L and Adams L C. 2021. 3D U-Net for segmentation of COVID-19 associated pulmonary infiltrates using transfer learning: state-of-the-art results on affordable hardware[EB/OL]. [2021-08-20]. https://arxiv.org/pdf/2101.09976.pdf
  • Bruntha P M, Pandian S I A and Mohan P. 2019. Active contour model (without edges) based pulmonary nodule detection in low dose CT images//Proceedings of the 2nd International Conference on Signal Processing and Communication (ICSPC). Coimbatore, India: IEEE: 222-225 [DOI: 10.1109/ICSPC46172.2019.8976813]
  • Bu T, Yang Z Y, Jiang S, Zhang G B, Zhang H Y, Wei L. 2021. 3D conditional generative adversarial network-based synthetic medical image augmentation for lung nodule detection. International Journal of Imaging Systems and Technology, 31(2): 670-681 [DOI:10.1002/ima.22511]
  • Cao H C, Liu H, Song E M, Hung C C, Ma G Z, Xu X Y, Jin R C, Lu J G. 2020. Dual-branch residual network for lung nodule segmentation. Applied Soft Computing, 86: #105934 [DOI:10.1016/j.asoc.2019.105934]
  • Chen S Q, Zhong X, Hu S Y, Dorn S, Kachelrieβ M, Lell M, Maier A. 2020a. Automatic multi-organ segmentation in dual-energy CT (DECT) with dedicated 3D fully convolutional DECT networks. Medical Physics, 47(2): 552-562 [DOI:10.1002/mp.13950]
  • Chen W, Wei H F, Peng S T, Sun J W, Qiao X, Liu B Q. 2019. HSN: hybrid segmentation network for small cell lung cancer segmentation. IEEE Access, 7: 75591-75603 [DOI:10.1109/ACCESS.2019.2921434]
  • Chen Y, Wang Y R, Hu F, Wang D. 2020b. A lung dense deep convolution neural network for robust lung parenchyma segmentation. IEEE Access, 8: 93527-93547 [DOI:10.1109/ACCESS.2020.2993953]
  • Chong S Y, Tan M K, Yeo K B, Ibrahim M Y, Hao X X and Teo K T K. 2019. Segmenting nodules of lung tomography image with level set algorithm and neural network//Proceedings of the 7th IEEE Conference on Systems, Process and Control (ICSPC). Melaka, Malaysia: IEEE: 161-166 [DOI: 10.1109/ICSPC47137.2019.9067987]
  • Cressman S, Peacock S J, Tammemägi M C, Evans W K, Leighl N B, Goffin J R, Tremblay A, Liu G, Manos D, MacEachern P, Bhatia R, Puksa S, Nicholas G, McWilliams A, Mayo J R, Yee J, English J C, Pataky R, McPherson E, Atkar-Khattra S, Johnston M R, Schmidt H, Shepherd F A, Soghrati K, Amjadi K, Burrowes P, Couture C, Sekhon H S, Yasufuku K, Goss G, Ionescu D N, Hwang D M, Martel S, Sin D D, Tan W C, Urbanski S, Xu Z L, Tsao M S, Lam S. 2017. The cost-effectiveness of high-risk lung cancer screening and drivers of program efficiency. Journal of Thoracic Oncology, 12(8): 1210-1222 [DOI:10.1016/j.jtho.2017.04.021]
  • Dong T, Wei L, Nie S D. 2021. Research progress of lung nodule segmentation based on CT images. Journal of Image and Graphics, 26(4): 751-765 (董婷, 魏珑, 聂生东. 2021. CT影像肺结节分割研究进展. 中国图象图形学报, 26(4): 751-765) [DOI:10.11834/jig.200201]
  • Dong X, Lei Y, Wang T H, Thomas M, Tang L, Curran W J, Liu T, Yang X F. 2019. Automatic multiorgan segmentation in thorax CT images using U-Net-GAN. Medical Physics, 46(5): 2157-2168 [DOI:10.1002/mp.13458]
  • Dutande P, Baid U, Talbar S. 2021. LNCDS: a 2D-3D cascaded CNN approach for lung nodule classification, detection and segmentation. Biomedical Signal Processing and Control, 67: #102527 [DOI:10.1016/j.bspc.2021.102527]
  • Fan D P, Zhou T, Ji G P, Zhou Y, Chen G, Fu H Z, Shen J B, Shao L. 2020. Inf-Net: automatic COVID-19 lung infection segmentation from CT images. IEEE Transactions on Medical Imaging, 39(8): 2626-2637 [DOI:10.1109/TMI.2020.2996645]
  • Fang Y C, Zhang H Q, Xie J C, Lin M J, Ying L J, Pang P P, Ji W B. 2020. Sensitivity of chest CT for COVID-19: comparison to RT-PCR. Radiology, 296(2): E115-E117 [DOI:10.1148/radiol.2020200432]
  • Goodfellow I J, Pouget-Abadie J, Mirza M, Xu B, Warde-Farley D, Ozair S, Courville A and Bengio Y. 2014. Generative adversarial nets [EB/OL]. [2021-08-20]. https://arxiv.org/pdf/1411.1784.
  • Guo W, Zhou H X, Gong Z X, Zhang G D. 2021. Double U-Nets for image segmentation by integrating the region and boundary information. IEEE Access, 9: 69382-69390 [DOI:10.1109/ACCESS.2021.3075294]
  • Hamidian S, Sahiner B, Petrick N and Pezeshk A. 2017. 3D convolutional neural network for automatic detection of lung nodules in chest CT//Proceedings Volume 10134, Medical Imaging 2017: Computer-Aided Diagnosis. Orlando, USA: SPIE: #1013409 [DOI: 10.1117/12.2255795]
  • Han C, Kitamura Y, Kudo A, Ichinose A, Rundo L, Furukawa Y, Umemoto K, Li Y Z and Nakayama H. 2019. Synthesizing diverse lung nodules wherever massively: 3D multi-conditional GAN-based CT image augmentation for object detection//Proceedings of 2019 International Conference on 3D Vision (3DV). Quebec City, Canada: IEEE: 729-737 [DOI: 10.1109/3DV.2019.00085]
  • He K L, Zhao W, Xie X Z, Ji W, Liu M X, Tang Z Y, Shi Y H, Shi F, Gao Y, Liu J, Zhang J F, Shen D G. 2021. Synergistic learning of lung lobe segmentation and hierarchical multi-instance classification for automated severity assessment of COVID-19 in CT images. Pattern Recognition, 113: #107828 [DOI:10.1016/j.patcog.2021.107828]
  • Henley S J, Ward E M, Scott S, Ma J M, Anderson R N, Firth A U, Thomas C C, Islami F, Weir H K, Lewis D R, Sherman R L, Wu M X, Benard V B, Richardson L C, Jemal A, Cronin K, Kohler B A. 2020. Annual report to the nation on the status of cancer, part I: national cancer statistics. Cancer, 126(10): 2225-2249 [DOI:10.1002/cncr.32802]
  • Hesamian M H, Jia W J, He X J and Kennedy P J. 2019. Atrous convolution for binary semantic segmentation of lung nodule//ICASSP 2019—2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). Brighton, UK: IEEE: 1015-1019 [DOI: 10.1109/ICASSP.2019.8682220]
  • Hossain S, Najeeb S, Shahriyar A, Abdullah Z R and Haque M A. 2019. A pipeline for lung tumor detection and segmentation from CT scans using dilated convolutional neural networks//ICASSP 2019—2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). Brighton, UK: IEEE: 1348-1352 [DOI: 10.1109/ICASSP.2019.8683802]
  • Huang S, Han X W, Fan J F, Chen J, Du L, Gao W W, Liu B, Chen Y, Liu X X, Wang Y G, Ai D N, Ma G L, Yang J. 2021. Anterior mediastinal lesion segmentation based on two-stage 3D ResUNet with attention gates and lung segmentation. Frontiers in Oncology, 10: #618357 [DOI:10.3389/fonc.2020.618357]
  • Huang X, Sun W Q, Tseng T L, Li C Q, Qian W. 2019. Fast and fully-automated detection and segmentation of pulmonary nodules in thoracic CT scans using deep convolutional neural networks. Computerized Medical Imaging and Graphics, 74: 25-36 [DOI:10.1016/j.compmedimag.2019.02.003]
  • Jalali Y, Fateh M, Rezvani M, Abolghasemi V, Anisi M H. 2021. ResBCDU-Net: a deep learning framework for lung CT image segmentation. Sensors, 21(1): #268 [DOI:10.3390/s21010268]
  • Jiang J, Hu Y C, Liu C J, Halpenny D, Hellmann M D, Deasy J O, Mageras G, Veeraraghavan H. 2019. Multiple resolution residually connected feature streams for automatic lung tumor segmentation from CT images. IEEE Transactions on Medical Imaging, 38(1): 134-144 [DOI:10.1109/TMI.2018.2857800]
  • Jin Q G, Cui H, Sun C M, Meng Z P, Wei L Y, Su R. 2021. Domain adaptation based self-correction model for COVID-19 infection segmentation in CT images. Expert Systems with Applications, 176: #114848 [DOI:10.1016/j.eswa.2021.114848]
  • Jin T L, Cui H, Zeng S and Wang X Y. 2017. Learning deep spatial lung features by 3D convolutional neural network for early cancer detection//Proceedings of 2017 International Conference on Digital Image Computing: Techniques and Applications (DICTA). Sydney, Australia: IEEE: 1-6 [DOI: 10.1109/DICTA.2017.8227454]
  • Joseph R A N, Zhu H P, Khan A, Zhuang Z M, Yang Z B, Mahesh V G V, Karthik G. 2021. ADID-UNET—a segmentation model for COVID-19 infection from lung CT scans. PeerJ Computer Science, 7: #e349 [DOI:10.7717/peerj-cs.349]
  • Kadia D D, Alom M Z, Burada R, Nguyen T V, Asari V K. 2021. R2U3D: recurrent residual 3D U-Net for lung segmentation. IEEE Access, 9: 88835-88843 [DOI:10.1109/ACCESS.2021.3089704]
  • Kasinathan G, Jayakumar S, Gandomi A H, Ramachandran M, Fong S J, Patan R. 2019. Automated 3-D lung tumor detection and classification by an active contour model and CNN classifier. Expert Systems with Applications, 134: 112-119 [DOI:10.1016/j.eswa.2019.05.041]
  • Kopelowitz E and Engelhard G. 2019. Lung nodules detection and segmentation using 3D Mask-RCNN[EB/OL]. [2021-08-20]. https://arxiv.org/pdf/1907.07676v1.pdf
  • Krizhevsky A, Sutskever I, Hinton G E. 2017. ImageNet classification with deep convolutional neural networks. Communications of the ACM, 60(6): 84-90 [DOI:10.1145/3065386]
  • Kumar S N, Bruntha P M, Daniel S I, Kirubakar J A, Kiruba R E, Sam S and Pandian S I A. 2021. Lung nodule segmentation using UNet//Proceedings of the 7th International Conference on Advanced Computing and Communication Systems (ICACCS). Coimbatore, India: IEEE: 420-424 [DOI: 10.1109/ICACCS51430.2021.9441977]
  • Lecun Y, Bottou L, Bengio Y, Haffner P. 1998. Gradient-based learning applied to document recognition. Proceedings of the IEEE, 86(11): 2278-2324
  • Lee H, Matin T, Gleeson F and Grau V. 2019. Efficient 3D fully convolutional networks for pulmonary lobe segmentation in CT images[EB/OL]. [2021-08-20]. https://arxiv.org/pdf/1909.07474v1.pdf
  • Li L Q, Zhao X M, Lu W, Tan S. 2020. Deep learning for variational multimodality tumor segmentation in PET/CT. Neurocomputing, 392: 277-295 [DOI:10.1016/j.neucom.2018.10.099]
  • Liu C X, Pang M Y. 2020. Automatic lung segmentation based on image decomposition and wavelet transform. Biomedical Signal Processing and Control, 61: #102032 [DOI:10.1016/j.bspc.2020.102032]
  • Liu H, Cao H C, Song E M, Ma G Z, Xu X Y, Jin R C, Jin Y, Hung C C. 2019. A cascaded dual-pathway residual network for lung nodule segmentation in CT images. Physica Medica, 63: 112-121 [DOI:10.1016/j.ejmp.2019.06.003]
  • Long J, Shelhamer E, Darrell T. 2015. Fully convolutional networks for semantic segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 39(4): 640-651 [DOI:10.1109/TPAMI.2016.2572683]
  • Ma J L, Deng Y Y, Ma Z P. 2020. Review of deep learning segmentation methods for CT images of liver tumors. Journal of Image and Graphics, 25(10): 2024-2046 (马金林, 邓媛媛, 马自萍. 2020. 肝脏肿瘤CT图像深度学习分割方法综述. 中国图象图形学报, 25(10): 2024-2046) [DOI:10.11834/jig.200234]
  • Manickavasagam R and Selvan S. 2019. GACM based segmentation method for Lung nodule detection and classification of stages using CT images//Proceedings of the 1st International Conference on Innovations in Information and Communication Technology (ICIICT). Chennai, India: IEEE: 1-5 [DOI: 10.1109/ICIICT1.2019.8741477]
  • Nemoto T, Futakami N, Yagi M, Kumabe A, Takeda A, Kunieda E, Shigematsu N. 2020. Efficacy evaluation of 2D, 3D U-Net semantic segmentation and atlas-based segmentation of normal lungs excluding the trachea and main bronchi. Journal of Radiation Research, 61(2): 257-264 [DOI:10.1093/jrr/rrz086]
  • Ng M Y, Lee E Y P, Yang J, Yang F F, Li X, Wang H X, Lui M M S, Lo C S Y, Leung B, Khong P L, Hui C K M, Yuen K Y, Kuo M D. 2020. Imaging profile of the COVID-19 infection: radiologic findings and literature review. Radiology: Cardiothoracic Imaging, 2(1): #e200034 [DOI:10.1148/ryct.2020200034]
  • Nie Y, Zhuo D Y, Song G H and Wen S T. 2018. Pulmonary nodule segmentation method of CT images based on 3D-FCN//Web and Big Data, Lecture Notes in Computer Science. Macau, China: Springer: 134-141 [DOI: 10.1007/978-3-030-01298-4_13]
  • Nithila E E, Kumar S S. 2019. Segmentation of lung from CT using various active contour models. Biomedical. Signal Processing and Control, 47: 57-62 [DOI:10.1016/j.bspc.2018.08.008]
  • Nurfauzi R, Nugroho H A, Ardiyanto I, Frannita E L. 2021. Autocorrection of lung boundary on 3D CT lung cancer images. Journal of King Saud University-Computer and Information Sciences, 33(5): 518-527 [DOI:10.1016/j.jksuci.2019.02.009]
  • Park J, Yun J, Kim N, Park B, Cho Y, Park H J, Song M, Lee M, Seo J B. 2020. Fully automated lung lobe segmentation in volumetric chest CT with 3D U-Net: validation with intra-and extra-datasets. Journal of Digital Imaging, 33(1): 221-230 [DOI:10.1007/s10278-019-00223-1]
  • Pawar S P, Talbar S N. 2021. LungSeg-Net: lung field segmentation using generative adversarial network. Biomedical Signal Processing and Control, 64: #102296 [DOI:10.1016/j.bspc.2020.102296]
  • Prasad J M N, Chakravarthy S, Krishna M V. 2021. A novel approach to CAD for the detection of small cell and non-small cell lung cancers. Materials Today: Proceedings [DOI:10.1016/j.matpr.2020.12.1064]
  • Qin Y L, Zheng H, Huang X L, Yang J, Zhu Y M. 2019. Pulmonary nodule segmentation with CT sample synthesis using adversarial networks. Medical Physics, 46(3): 1218-1229 [DOI:10.1002/mp.13349]
  • Rakesh S, Mahesh S. 2021. Nodule segmentation of lung CT image for medical applications. Global Transitions Proceedings, 2(1): 80-83 [DOI:10.1016/j.gltp.2021.01.011]
  • Ronneberger O, Fischer P and Brox T. 2015. U-Net: convolutional networks for biomedical image segmentation//Proceedings of 18th International Conference on Medical Image Computing and Computer-Assisted Intervention—MICCAI 2015. Munich, Germany: Springer: 234-241 [DOI: 10.1007/978-3-319-24574-4_28]
  • Roth H R, Oda H, Zhou X R, Shimizu N, Yang Y, Hayashi Y, Oda M, Fujiwara M, Misawa K, Mori K. 2018. An application of cascaded 3D fully convolutional networks for medical image segmentation. Computerized Medical Imaging and Graphics, 66: 90-99 [DOI:10.1016/j.compmedimag.2018.03.001]
  • Samundeeswari P and Gunasundari R. 2020. A novel multilevel hybrid segmentation and refinement method for automatic heterogeneous true NSCLC nodules extraction//Proceedings of the 5th International Conference on Devices, Circuits and Systems (ICDCS). Coimbatore, India: IEEE: 226-235 [DOI: 10.1109/ICDCS48716.2020.243586]
  • Saood A, Hatem I. 2021. COVID-19 lung CT image segmentation using deep learning methods: U-Net versus SegNet. BMC Medical Imaging, 21: #19 [DOI:10.1186/s12880-020-00529-5]
  • Sathish R, Sathish R, Sethuraman R and Sheet D. 2020. Lung segmentation and nodule detection in computed tomography scan using a convolutional neural network trained adversarially using turing test loss//2020 42nd Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC). Montreal, Canada: IEEE: 1331-1334 [DOI: 10.1109/EMBC44109.2020.9175649]
  • Savic M, Ma Y H, Ramponi G, Du W W, Peng Y H. 2021. Lung nodule segmentation with a region-based fast marching method. Sensors, 21(5): 1908 [DOI:10.3390/s21051908]
  • Shi H Q, Lu J G and Zhou Q J. 2020a. A novel data augmentation method using style-based GAN for robust pulmonary nodule segmentation//Proceedings of 2020 Chinese Control and Decision Conference (CCDC). Hefei, China: IEEE: 2486-2491 [DOI: 10.1109/CCDC49329.2020.9164303]
  • Shi Z F, Hu Q X, Yue Y H, Wang Z Q, Al-Othmani O M S, Li H L. 2020b. Automatic nodule segmentation method for CT images using aggregation-U-Net generative adversarial networks. Sensing and Imaging, 21: #39 [DOI:10.1007/s11220-020-00304-4]
  • Soliman A, Shaffie A, Ghazal M, Gimel'farb G, Keynton R and El-Baz A. 2018. A novel CNN segmentation framework based on using new shape and appearance features//Proceedings of the 25th IEEE International Conference on Image Processing (ICIP). Athens, Greece: IEEE: 3488-3492 [DOI: 10.1109/ICIP.2018.8451534]
  • Soltani-Nabipour J, Khorshidi A, Noorian B. 2020. Lung tumor segmentation using improved region growing algorithm. Nuclear Engineering and Technology, 52(10): 2313-2319 [DOI:10.1016/j.net.2020.03.011]
  • Tan J X, Jing L L, Huo Y M, Li L H, Akin O, Tian Y L. 2021. LGAN: lung segmentation in CT scans using generative adversarial network. Computerized Medical Imaging and Graphics, 87: #101817 [DOI:10.1016/j.compmedimag.2020.101817]
  • Vidal P L, de Moura J, Novo J, Ortega M. 2021. Multi-stage transfer learning for lung segmentation using portable X-ray devices for patients with COVID-19. Expert Systems with Applications, 173: #114677 [DOI:10.1016/j.eswa.2021.114677]
  • Wang X W, Cheng L Y, Huang D Y, Gao X S, Liang D L, He L Y, Zhang Z M, Li N and Tan W J. 2021. Segmentation of pulmonary vessels based on MSFM method//Proceedings of 2020 IEEE International Conference on E-Health Networking, Application and Services (HEALTHCOM). Shenzhen, China: IEEE: 1-4 [DOI: 10.1109/HEALTHCOM49281.2021.9399043]
  • Wang X Y, Teng P Y, Lo P, Banola A, Kim G, Abtin F, Goldin J and Brown M. 2018. High throughput lung and lobar segmentation by 2D and 3D CNN on chest CT with diffuse lung disease//Image Analysis for Moving Organ, Breast, and Thoracic Images. Granada, Spain: Springer: 202-214 [DOI: 10.1007/978-3-030-00946-5_21]
  • Wang Y Q and Yue S H. 2020. Ground glass nodule segmentation based on regional adaptive MRF model//Proceedings of the 39th Chinese Control Conference (CCC). Shenyang, China: IEEE: 6295-6300 [DOI: 10.23919/CCC50068.2020.9188408]
  • Wu Y C, Lin L. 2020. Automatic lung segmentation in CT images using dilated convolution based weighted fully convolutional network. Journal of Physics: Conference Series, 1646: #012032 [DOI:10.1088/1742-6596/1646/1/012032]
  • Xi Y H, Zhong L M, Xie W J, Qin G G, Liu Y B, Feng Q J, Yang W. 2021. View identification assisted fully convolutional network for lung field segmentation of frontal and lateral chest radiographs. IEEE Access, 9: 59835-59847 [DOI:10.1109/ACCESS.2021.3074026]
  • Xia H Y, Sun W F, Song S X, Mou X W. 2020. Md-Net: multi-scale dilated convolution network for CT images segmentation. Neural Processing Letters, 51(3): 2915-2927 [DOI:10.1007/s11063-020-10230-x]
  • Xiao H G, Ran Z Q, Huang J F, Ren H J, Liu C, Zhang B L, Zhang B L, Dang J. 2021. Research progress in lung parenchyma segmentation based on computed tomography. Journal of Biomedical Engineering, 38(2): 379-386 (肖汉光, 冉智强, 黄金锋, 任慧娇, 刘畅, 张邦林, 张勃龙, 党军. 2021. 基于电子计算机断层扫描图像的肺实质分割方法研究进展. 生物医学工程学杂志, 38(2): 379-386) [DOI:10.7507/1001-5515.202008032]
  • Xie F, Huang Z, Shi Z J, Wang T Y, Song G L, Wang B L, Liu Z H. 2021. DUDA-Net: a double U-shaped dilated attention network for automatic infection area segmentation in COVID-19 lung CT images. International Journal of Computer Assisted Radiology and Surgery, 16(9): 1425-1434 [DOI:10.1007/s11548-021-02418-w]
  • Xu R, Wang Y, Liu T T, Ye X C, Lin L, Chen Y W, Kido S and Tomiyama N. 2021. BG-Net: boundary-guided network for lung segmentation on clinical CT images//Proceedings of the 25th International Conference on Pattern Recognition (ICPR). Milan, Italy: IEEE: 8782-8788 [DOI: 10.1109/ICPR48806.2021.9412621]
  • Yan H L, Lu H J, Ye M C, Yan K, Xu Y G and Jin Q. 2019. Improved mask R-CNN for lung nodule segmentation//Proceedings of the 10th International Conference on Information Technology in Medicine and Education (ITME). Qingdao, China: IEEE: 137-141 [DOI: 10.1109/ITME.2019.00041]
  • Zhang J, Yu L D, Chen D C, Pan W D, Shi C, Niu Y, Yao X W, Xu X B, Cheng Y. 2021a. Dense GAN and multi-layer attention based lesion segmentation method for COVID-19 CT images. Biomedical Signal Processing and Control, 69: #102901 [DOI:10.1016/j.bspc.2021.102901]
  • Zhang X Q, Wang G Y, Zhao S G. 2021b. COVSeg-NET: a deep convolution neural network for COVID-19 lung CT image segmentation. International Journal of Imaging Systems and Technology, 31(3): 1071-1086 [DOI:10.1002/ima.22611]
  • Zhang Z A, Wu C D, Coleman S, Kerr D. 2020. DENSE-INception U-net for medical image segmentation. Computer Methods and Programs in Biomedicine, 192: #105395 [DOI:10.1016/j.cmpb.2020.105395]
  • Zhao C, Han J G, Jia Y and Gou F. 2018. Lung nodule detection via 3D U-Net and contextual convolutional neural network//Proceedings of 2018 International Conference on Networking and Network Applications (NaNA). Xi'an, China: IEEE: 356-361 [DOI: 10.1109/NANA.2018.8648753]
  • Zhao S X, Li Z D, Chen Y, Zhao W, Xie X Z, Liu J, Zhao D, Li Y J. 2021a. SCOAT-Net: a novel network for segmenting COVID-19 lung opacification from CT images. Pattern Recognition, 119: #108109 [DOI:10.1016/j.patcog.2021.108109]
  • Zhao Y Q, Yu X Y, Wu H B, Zhou Y, Sun X M, Yu S, Yu S C, Liu H. 2021b. A fast 2-D Otsu lung tissue image segmentation algorithm based on improved PSO. Microprocessors and Microsystems, 80: #103527 [DOI:10.1016/j.micpro.2020.103527]
  • Zheng B B, Liu Y Q, Zhu Y, Yu F L, Jiang T J, Yang D W, Xu T. 2020. MSD-Net: multi-scale discriminative network for COVID-19 lung infection segmentation on CT. IEEE Access, 8: 185786-185795 [DOI:10.1109/ACCESS.2020.3027738]
  • Zhong Z S, Kim Y, Zhou L X, Plichta K, Allen B, Buatti J and Wu X D. 2018. 3D fully convolutional networks for co-segmentation of tumors on PET-CT images//Proceedings of the 15th IEEE International Symposium on Biomedical Imaging (ISBI 2018). Washington, USA: IEEE: 228-231 [DOI: 10.1109/ISBI.2018.8363561]
  • Zhou X R, Takayama R, Wang S, Hara T, Fujita H. 2017. Deep learning of the sectional appearances of 3D CT images for anatomical structure segmentation based on an FCN voting method. Medical Physics, 44(10): 5221-5233 [DOI:10.1002/mp.12480]