Print

发布时间: 2021-09-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.210160
2021 | Volume 26 | Number 9




    计算机断层扫描图像    




  <<上一篇 




  下一篇>> 





融合注意力机制和特征金字塔网络的CT图像肺结节检测
expand article info 张福玲1, 张少敏1,2,3, 支力佳1,2,3, 周涛1,3
1. 北方民族大学计算机科学与工程学院, 银川 750021;
2. 宁夏回族自治区人民医院医学影像中心, 银川 750000;
3. 北方民族大学图像图形智能处理国家民委重点实验室, 银川 750021

摘要

目的 针对现有肺结节检测算法存在的因肺部计算机断层扫描(computed tomography,CT)图像肺结节与周边组织复杂性导致结节本身结构差异性不明显的问题,以及特征提取网络多次下采样造成图像分辨率降低进而导致检测结果差、仅使用网络顶层特征图进行预测造成图像空间信息丢失进而导致小结节漏检等问题,提出了一种基于注意力机制和特征金字塔的肺结节检测算法。方法 根据语义与空间特征补偿机制以及卷积神经网络中网络深度所提取特征的信息量不同,在以ResNet为骨干网络的特征提取网络中设计通道—空间注意力机制,尽可能同时获取含有较多上下文语义以及空间位置信息的特征信息。在网络预测部分设计特征金字塔网络,将高维带有丰富语义信息的特征图与低维带有位置信息的特征图融合进行多尺度预测,增强网络对于小结节以及近血管结节等非显著性目标的检测性能。结果 在LUNA16(lung nodule analysis 16)数据集上进行十折交叉验证显示,当平均假阳性个数为25.99时敏感度达到了97.13%,与基准方法相比,敏感度提高了2.53%,平均假阳性降低了28.54,实现了高敏感度低假阳性;在0.125、0.25、0.5、1、2、4、8这7个假阳率点的敏感度平均值为0.854,其中在每个扫描4次和8次假阳性时敏感度分别达到了0.940和0.951,其效果优于主流的结节检测方法。结论 提出的结节检测模型,可以提高对3~10 mm小结节、近血管结节等非显著性目标的检测性能,并具有较低的假阳率。

关键词

肺结节检测; 注意力机制; 特征金字塔网络(FPN); 非显著性目标检测; 十折交叉验证

Detection of pulmonary nodules in CT images by combining an attention mechanism and a feature pyramid network
expand article info Zhang Fuling1, Zhang Shaomin1,2,3, Zhi Lijia1,2,3, Zhou Tao1,3
1. School of Computer Science and Engineering, North Minzu University, Yinchuan 750021, China;
2. Medical Imaging Center, Ningxia Hui Autonomous Region People's Hospital, Yinchuan 750000, China;
3. The Key Laboratory of Images & Graphics Intelligent Processing of State Ethnic Affairs Commission, North Minzu University, Yinchuan 750021, China
Supported by: National Natural Science Foundation of China (61561002, 62062003, 61962002)

Abstract

Objective The different structure of the nodules have not been clear in terms of the lung computer tomography (CT) images interpretation level for lung nodules and surrounding tissues. The detected image resolution has been reduced due to multiple downsampling of the feature extraction network. The feature map of the network top-layer has been predicted to the losses of spatial information and missing nodules. A algorithm called attention_FPN_RPN(attention_feature pyramid networks-region proposal network) for lung nodule detection have been demonstrated via attention mechanism and feature pyramid network. Method The detection performance has been improved for an end-to-end lung nodule detection model training via integrating nodule candidate detection and false positive reduction into a model for joint training. At the beginning, the lung parenchyma has been segmented to form the image dataset for training and testing via threshold and morphology. The designated nodule detection model has been based on the region proposal network (RPN) of the faster R-CNN(region convolutional neural network) network. The network model has been illustrated based on the U-Net network structure using low-dose chest CT thin-slice plain scan images as input and outputs candidate nodules position and probability information. Next, the channel-spatial attention mechanism in multi-layers network has been designed in the feature extraction network via the backbone network-ResNet in terms of the semantic and spatial feature compensation mechanism and the amount of extracted feature information. Multi-layers features have been refined to retain feature information each. The integration of lower and higher dimensional features have been spatially interpreted to obtain feature information with more contextual semantics and spatial location information. The semantic information has been qualified via the top-layer of feature map for prediction though the losses of spatial information extracted. The 3D spatial information in CT sequence has not been be fully utilized. The feature pyramid network has been fused high-dimensional feature maps via rich semantic information and low-dimensional feature maps with location information. Multi-scale information network-based detection for insignificant targets like small nodules and proximal vascular nodules has been enhanced. Data enhancement and hard negative data mining has been adopted to optimize the dataset. The sliding window analysis has been used to crop 208×208×208 patch in the preprocessed CT image-based lung parenchymal area. The step size has been consistent with the size of the nodule probability map based on network analysis. Based on convolution calculation, an overlap of 32 pixels amongst the divided blocks have been cropped to eliminate the undesired boundary. At the end, the probability map of the obtained small image block has been refilled into the CT image space to obtain the final probability based on the same size of the graph and the input CT image. Each voxel in the probability graph has illustrated the intended area of lung nodule. For the output result of each small block, the 100 nodules with the highest probability have been retained. Based on summing all patches to obtain candidate nodules, the candidate nodules with high overlap have merged via non-maximum suppression (NMS) method with a threshold of 0.5 for each image. The nodule based on the highest probability has been opted for each group of candidate nodules in the context of a high degree of overlap. Result 10-fold cross-validation on the lung nodule analysis 16(LUNA16) dataset has shown that the sensitivity of the proposed model can be reached 97.13% under the average of 25.99 false positives per scan. In the benchmark, the sensitivity has been increased by 2.53%. The false positive average value has been reduced simultaneously to achieve high sensitivity low false positive, the average sensitivity value of the seven false positive rate points has acquired 0.125, 0.25, 0.5, 1, 2, 4, and 8 respectively. The sensitivity of the proposed model has reached 0. 940 and 0.951 respectively under the average of 4, 8 false positives per scan, which is better than mainstream nodule detection methods. Conclusion In the context of fewer false positives, the demonstrated nodule detection model has improved the detection results of insignificant targets like 3~10 mm small nodules and proximal vessel nodules based on non-false positive reduction measures. A precise detection for tiny lung nodules has prior to the existing pulmonary nodule detection. The setup of an automatic screening system for small lung nodules and a clinical auxiliary diagnosis system for lung nodules have been benefited from the research.

Key words

pulmonary nodule detection; attention mechanism; feature pyramid network(FPN); insignificant target detection; 10-fold cross-validation

0 引言

在全球范围内,肺癌是发病率和死亡率位居癌症首位的恶性肿瘤,而肺结节是其在临床上的早期症状表现,因此对肺结节进行早期检测的意义重大。目前,计算机断层扫描(computed tomography,CT)是医生筛查肺结节的主要技术,但是随着CT扫描层数的增加,放射科医生的负担也随之加重。肺癌早期的症状并不明显,早期患者身体没有异样,等出现异样的时候,已经处于肺癌中期或者晚期,由于目前医学水平的限制,很多晚期患者会放弃治疗,但是早期患者可以通过临床手术的方式治疗,并且具有很高的存活率。因此,尽早诊断对肺癌患者来说特别重要,定期体检就显得尤为重要。在医学上,肺结节称为肺内类球形病灶,其直径一般在3~30 mm。根据肺结节的空间位置信息,可以把肺结节分为孤立型肺结节、近肺壁结节以及近血管结节。

基于深度学习的自然图像检测算法在医学图像上也表现出了巨大的潜能。以机器学习和深度学习为基础的计算机辅助检测系统(computer-aided detection,CAD)可以自动分析影像数据,定位可疑的病灶区域,从手动设计特征、用机器学习方法对结节进行简单的良恶性分类到利用深度学习方法进行精确识别结节,CAD技术越来越成熟。典型的基于深度学习的肺结节检测框架有两个主要任务。任务1是检测候选结节,尽可能从CT扫描图像中检测出所有的真实结节,结果通常包括大量的假阳性。任务2是区分结节和非结节,用于减少前一步产生的大量假阳性。这种检测方法称为两阶段的肺结节检测算法。而将结节候选检测和假阳性减少整合到一个模型中共同训练,使用一个端到端的结节检测框架进行肺结节检测更加符合临床应用。

深度学习方法中典型的结节检测网络模型主要包括卷积神经网络(convolutional neural network,CNN)、YOLO(you only look once)、全卷积神经网络(fully convolutional networks,FCN)、区域卷积神经网络(region-CNN,R-CNN)、更快速的区域卷积神经网络(faster R-CNN)和特征金字塔网络(feature pyramid networks,FPN)等(张福玲和张少敏,2020)。例如Ramachandran等人(2018)提出的检测框架使用了目前流行的目标检测体系结构YOLO来检测CT扫描中的结节。通过使用单个CNN同时预测多个边界框以及这些框的类概率来优化回归问题,该算法在LIDC-IDRI(the lung image database consortium)数据集上进行评测,在每个扫描有6个假阳性时敏感度为89 %。Ding等人(2017)采用2D faster R-CNN网络模型实现肺结节的检测,在LUNA16(lung nodule analysis 16)数据集上进行十折交叉验证,结果表明在每个扫描1次和4次假阳性时,检测敏感度分别为92.2 %和94.4 %。Xie等人(2019)为了整合结节的3D信息和学习结节不同的特征,分别采用3种不同方向的切片训练了3种faster R-CNN检测模型,最后将这3种模型融合获得最终检测模型,此方法在LUNA16数据集上验证,检测敏感度为86.42 %,竞争性能指标(challenge performance metric,CPM)为0.775。Liao等人(2019)设计3维区域生成网络来实现肺结节的检测,网络骨干采用U-Net网络,在DSB(data science bowl)数据集上CPM为0.856 2。在LUNA16挑战赛中,Guo等人(2017)提出的结节检测框架分别使用2维轴向切片和3维CT图像训练卷积神经网络来检测候选结节,在LUNA16数据集进行十折交叉验证评估模型,该框架在结节检测任务上表现出了较好的性能,CPM为0.949 9。赵鹏飞等人(2018)采用不同大小输入的卷积神经网络进行结节检测,在LIDC-IDRI(the lung imgage database consortium-image database resource initiative)数据集上评估模型,当假阳性率为0.1时达到80 % 的敏感度,平均检出率为85.51 %。Zhu等人(2018a)提出了一阶段的结节检测算法,通过端到端地训练3维深度双路径网络(dual path nets,DPN),敏感度为95.8 %,CPM为0.842;提出的3D faster R-CNN结节检测算法敏感度为94.6 %,CPM为0.834。Tang等人(2020)基于迁移学习的多尺度特征,建立了具有多尺度特征结构的3D U-Net卷积神经网络模型,可以从包含背景和噪声的胸腔区域检测肺结节。在LUNA16和阿里天池17(TIANCHI17)数据集上进行五折交叉验证,对小型结节的检测准确率达到70 % 以上。Fu等人(2020)提出了一种改进的3D U-Net深度学习模型,用于在胸部CT图像上自动检测肺结节。该模型在LIDC-IDRI数据集的89例CT扫描上进行验证,CPM为0.947,在日本一家城市大学医院提供的450例胸部CT扫描上进行验证,CPM为0.833,表明改进3D U-Net深度学习模型在肺结节检测性能上具有很好的鲁棒性。高智勇等人(2020)提出的基于特征金字塔网络的肺结节检测方法在平均每个扫描中的候选结节数为46.7时,检测敏感度为95.7 %。而刘秀玲等人(2020)在VGG16(Visual Geometry Group Network 16)网络上设计了具有3层模块结构的多尺度肺结节检测方法,平均检测精度达到90.9 %。曹宇等人(2020)也是通过对VGG16的改进实现对肺结节的检测。特征金字塔以及多尺度的方法在小结节的检测上表现出潜力。Liao等人(2019)赵鹏飞等人(2018)Zhu等人(2018a)以及Tang等人(2020)均采用了一阶段的检测方法,证明了一阶段方法在降低模型复杂度以及推理时间的情况下可以提高结节检测性能,在肺结节检测上表现出了巨大的潜力。

但是由于肺内环境复杂、肺结节体积变化大、形状各异,存在小结节(3~10 mm)漏检以及检测结果的低敏感度高假阳性的问题。针对以上问题,从算法复杂度、处理速度和计算效率上考虑,抛弃了传统的两阶段模式,提出了一个融合注意力机制和特征金字塔的端到端的肺结节检测模型。通过设计的基于通道—空间注意力机制的特征提取模块与基于特征金字塔的联结预测结构,能够较好解决结节检测问题中3~10 mm小结节漏检、近血管结节等非显著性目标的检测问题。

1 本文方法

本文提出的肺结节检测方法主要包括以下步骤:

1) 采用阈值化加形态学操作进行肺实质的分割,构成训练和测试的图像数据集。

2) 设计通道—空间注意力的特征提取模块,有效区分结节与正常组织、其他病变区,并且提高对实性结节、亚实性结节、非实性结节(磨玻璃结节)以及近血管、近肺壁结节的检测能力。

3) 将融合有前馈路径特征信息的特征图尺寸分别为6×6×6、12×12×12以及24×24×24的输出特征图构成特征金字塔,输出多个尺度融合下的预测结果。

融合注意力和特征金字塔可以从特征提取和结果预测两方面双管齐下提高对小结节的检测性能。

1.1 基于阈值方法的数据预处理

CT图像进行预处理步骤如下:

1) 重采样。将所有CT图像重新采样到1 mm×1 mm×1 mm,以消除扫描仪分辨率的差异。

2) 设定HU(Hounsfield unit,亨氏单位)阈值(石陆魁等,2020)。对肺部CT图像进行处理时,根据肺的CT值进行划分,肺的灰度值HU值为-500,所以保留HU值在[-1 000,400]的肺部区域,将其他无关的部分舍去。

3) 将原始数据的体素值裁剪到[-1 200,600]范围,并归一化为[0,255]。

4) 分割肺实质。采用阈值化加形态学操作进行肺实质的分割。

1.2 肺结节检测网络结构

肺结节检测网络结构如图 1所示,主要由数据预处理模块、注意力特征提取模块、特征金字塔多尺度预测模块和肺结节检测模块4部分组成。整体网络由U-Net主干和区域建议网络(region proposal network,RPN)输出层组成,U-Net主干使网络能够捕获多尺度信息,对肺部CT图像的精细层和粗糙层信息进行结合使模型能做出遵从全局结构的局部预测,以提升小结节的检测效果,RPN的输出格式使网络可以直接生成建议框,输出结节的位置和概率信息。

图 1 肺结节检测网络结构
Fig. 1 Network structure diagram of lung nodule detection

经过数据预处理模块后,输入图像块的像素数量为96×96×96。注意力特征提取模块是网络的前馈路径,以2个具有24个通道的3×3×3卷积层开始,结构如图 1(a),接着是由平均池化与最大池化组成的通道注意力模块,将通道注意力(channel attention,CA)的输出和原特征图相乘,然后是4个3D残差块和4个3D最大池化层(池化核大小为2×2×2,步长为2)交错排列。前两个3D残差块由2个残差单元组成,后两个3D残差块由3个残差单元组成,具体结构如图 1(b)。所有前馈路径的卷积核的大小为3×3×3,在该部分的结束是一个空间注意力模块,用原特征图与空间注意力(spatial attention,SA)的输出相乘。

特征金字塔多尺度预测模块是网络的反馈路径,由两个反卷积层和两个合并单元组成。每个反卷积层的步长为2,卷积核大小为2×2×2。每个合并单元将前馈块和反馈块连结起来,并将输出发送到残差块。在第2个组合单元中,将patch的裁切位置信息($x$$y$$z$)作为额外的输入,该组合单元的特征图的尺寸为24×24×24×131(131为通道数)。分别融合有前馈路径特征信息的6×6×6、12×12×12以及24×24×24输出特征图上构成特征金字塔,共享最后的输出层进行分类和回归。

肺结节检测模块中的输出层由两个通道分别为64和15的1×1×1卷积组成,结构如图 1(c),输出层的结果为24×24×24×15。将4D输出张量调整为24×24×24×3×5,最后两个维度分别对应于anchor的个数和回归框的参数个数。在RPN的启发下,该网络在每个位置都具有3个不同比例的anchor,分别对应于3个边界框,它们的长度分别为5 mm、10 mm和20 mm。因此,总共有24×24×24×3个anchor boxes。模型的输出包括5个回归值,分别是结节预测概率($o$)、结节的3维空间位置(${\rm{d}}x$${\rm{d}}y$${\rm{d}}z$)、结节的直径(${\rm{d}}r$),即为($o$${\rm{d}}x$${\rm{d}}y$${\rm{d}}z$${\rm{d}}r$)。

1.3 基于通道—空间注意力机制的特征提取模块

由于肺部CT图像肺结节周边的组织复杂,在检测时容易发生结节漏检并产生大量假阳性结节,因此,需较好地划分前背景信息以及增强近血管结节、磨玻璃结节的检测能力,故本文根据语义与空间特征补偿机制,设计基于通道—空间注意力机制的特征提取模块。

图 1所示,注意力特征提取模块以2个具有24个通道的3×3×3卷积层开始,之后通道个数递增为32和64。24个通道的特征是低维度特征,包含更多结节的空间位置信息。随着不断地卷积和池化,64个通道的特征图包含图像更多的语义信息。低维特征在保留结节空间信息的情况下应激活更多的语义信息,高维特征在保留结节语义信息的情况下应激活更多的空间信息。如图 1所示,采用通道注意力机制对通道为24、特征图大小为96×96×96的低维特征信息自适应激活,即通过响应图像的语义信息,增强结节的显著性特征通道;对于通道为64、特征图大小为6×6×6的高维特征信息采用空间注意力自适应激活,获取结节的空间位置信息。通过如此特征补偿机制,来提高对亚实性结节、非实性结节(磨玻璃结节)、近血管结节以及近肺壁结节的检测准确率。

1.3.1 通道注意力

图 2(a)所示,通道注意力(CA)采用自适应平均池化与自适应最大池化压缩特征图在空间维度(通道)上的数值信息,自适应平均池化对特征图上的每一个像素点都有反馈,而自适应最大池化在进行梯度反向传播计算时,只有特征图中响应最大的地方有梯度的反馈。两个连续的全连接层之后采用Sigmoid激活函数。表达为

$ {A_{{\rm{out }}}} = f{c_2}\left({\delta \left({f{c_1}({\mathop{ avgpool}\nolimits} (\mathit{\boldsymbol{F}}))} \right)} \right) $ (1)

$ {M_{{\rm{out }}}} = f{c_2}\left({\delta \left({f{c_1}({\mathop{ maxpool}\nolimits} (\mathit{\boldsymbol{F}}))} \right)} \right) $ (2)

$ CA = \sigma \left({{A_{{\rm{out }}}} + {M_{{\rm{out }}}}} \right) $ (3)

$ \begin{array}{l} CA = \sigma \left({f{c_2}\left({\delta \left({f{c_1}({\mathop{ avgpool}\nolimits} (\mathit{\boldsymbol{F}}))} \right)} \right) + } \right.\\ \left. {\;\;\;\;\;\;\;f{c_2}\left({\delta \left({f{c_1}({\mathop{ maxpool}\nolimits} (\mathit{\boldsymbol{F}}))} \right)} \right)} \right) \end{array} $ (4)

图 2 注意力机制
Fig. 2 Attention mechanism
((a)channel attention(CA); (b)spatial attention(SA))

式中,$A_\text{out}$表示平均池化输出,$M_\text{out}$表示最大池化输出,$avgpool$()为平均池化操作,$maxpool$()为最大池化操作,$\sigma$表示Sigmoid激活函数,$fc$表示FC全连接层,$fc_{1}$$fc_{2}$构成共享多层感知机,即一个encoder-decoder结构,$δ$表示ReLU函数,$\boldsymbol{F}$表示输入的特征图,最后用原特征图$\boldsymbol{F}$$CA$(通道注意力)的输出相乘, $\boldsymbol{F}′$为输出特征图。

1.3.2 空间注意力

图 2(b)所示,空间注意力(SA)首先将输入特征$\boldsymbol{F}$在空间维度上进行最大池化和平均池化,在通道维度上分别做mean和max操作,并将两种池化后的结果进行Cat连接;接着通过一个7×7×7的卷积核对拼接后的结果进行卷积,要保证最后得到的特征在空间维度上与输入的特征图一致;之后采用Sigmoid激活函数进行正规化处理。采用的空间注意力为

$ SA = \sigma (conv({\mathop{\rm mean}\nolimits} (\mathit{\boldsymbol{F}}) + \max (\mathit{\boldsymbol{F}}))) $ (5)

式中,$\sigma$表示Sigmoid激活函数,$\boldsymbol{F}$表示输入的特征图,最后用原特征图$\boldsymbol{F}$$SA$的输出相乘。

1.4 基于特征金字塔的多尺度预测模块

网络顶层特征在不断卷积池化过程中容易忽略小物体的一些信息,若只采用顶层特征图进行预测,对于肺结节来说,尤其是3~10 mm的结节很容易漏检。因此本文通过构造特征金字塔结构来提高小结节的检测性能。特征金字塔通过不同层次的特征融合,使得小物体的信息也能够比较完整地反映出来。

在6×6×6、12×12×12和24×24×24的特征图上进行联结预测,并且预测是在每个融合后的特征图上单独进行的。如图 3所示,左边自顶向下的部分是卷积神经网络的前向过程,进行特征提取。但是随着特征维度的上升,可以看出高维度特征更多是一个语义信息,包含全局图像的内在含义。而在右边自底向上的数据流向中,高维特征信息将其通过上采样降低维度信息,语义信息减少,在此过程中采用跳层连接来引导自顶向下的数据流特征还原检测目标细节信息。将语义信息和位置信息在对应层的特征金字塔网络中进行融合后,语义信息和位置信息都得到了增强。

图 3 特征金字塔结构
Fig. 3 Feature pyramid structure

为了突出特征金字塔对3~10 mm小结节的检测性能的影响,本文对只采用特征金字塔进行多尺度预测的模块进行了实验,实验模型名称为U_FPN_ RPN,将在实验部分详细讨论实验结果。

1.5 损失函数

网络的预测误差分为两部分,一部分为候选区域是否包含结节的分类误差;另一部分为候选区域中心点位置与结节位置偏移量的回归误差。分类误差的损失函数采用cross entropy,回归误差的损失函数使用smooth L1。

cross entropy计算为

$ {L_{{\rm{cls}}}} = {p_A}\log (p) + \left({1 - {p_A}} \right)\log (1 - p) $ (6)

$ p = \frac{1}{{1 + \exp (- o)}} $ (7)

式中,$L_{\rm{cls}}$表示分类损失,${p_{\rm{A}}} \in {\rm{ }}\left\{ {0, 1} \right\}$,为anchor box的标签,正样本为1,负样本为0,$p$为相同位置的预测概率$o$在经过Sigmoid函数之后的值。

回归损失smooth L1计算为

$ {L_{{\rm{reg}}}} = \sum\limits_{k \in \{ x, y, z, r\} } S \left({{d_k}, {{\hat d}_k}} \right) $ (8)

式中,$L_{\rm{reg}}$表示回归损失, $d_{k}$为球形候选区域在标签矩阵中的值,${\hat d}_{k}$为相同位置的网络预测值。$S$是平滑的一阶正则函数,表达式为

$ S\left({{d_k}, {{\hat d}_k}} \right) = \left\{ {\begin{array}{*{20}{l}} {\left| {{d_k} - {{\hat d}_k}} \right| - 0.5}&{\left| {{d_k} - {{\hat d}_k}} \right| > 1}\\ {0.5{{\left({{d_k} - {{\hat d}_k}} \right)}^2}}&{\rm{其他}} \end{array}} \right. $ (9)

总损失为分类损失和回归损失之和,表达式为

$ L = {L_{{\rm{cls}}}} + {L_{{\rm{reg}}}} $ (10)

2 实验与结果分析

2.1 数据集

本文实验使用公开数据集LUNA16,LUNA16数据集(Setio等,2017)是最大的公用肺结节数据集LIDC-IDRI的子集,包含888例低剂量胸部CT薄层平扫图像,结节的直径大小为3~30 mm,平均直径大小8.31 mm,分为10个子集,其中每套CT影像包含胸腔的多个轴向切片。

在888例CT影像中,共有36 378个结节被标出,由1、2、3或4位放射科医师标注的结节个数为2 290、1 602、1 186和777。LUNA16数据集选取至少由3位专家标注的1 186个结节作为最后要检测的区域,也就是做实验时下载的数据,其中直径在3~10 mm的结节有905个,10~20 mm结节有231个,大于20 mm结节有50个,3~10 mm结节占总结节数的76.3 %,因此对小结节的检测决定了模型的检测性能,结节直径分布直方图如图 4所示。

图 4 结节直径分布直方图
Fig. 4 Histogram of nodule diameter distribution

2.2 实验设置

实验使用的操作系统为Ubuntu18.04系统,主频3 GB Hz的Intel(R) Xeon(R) Gold 6154 CPU,内存为256 GB,网络模型使用Python2.7搭建,通过Pytorch并行计算框架在显存为12 GB的NVIDIA TITAN V显卡上展开实验。网络训练均使用SGD(stochastic gradient descent)优化方法,初始学习率为0.01,权重衰减为1×10-4,batchsize大小为8,模型迭代次数为120,训练一轮需要约700 s,训练一个模型需要约23 h,完成一个模型的十折交叉验证需要约一个月的时间。由于实验对显存的消耗很大,模型训练和测试需要花费很长时间,但是相比较两阶段的肺结节检测方法,一阶段的检测算法显著降低了模型复杂度和时间成本。

整个训练与测试采用十折交叉验证的方法。LUNA16数据集有10个子集,任意选择9组作为训练集,剩下的1组作为测试集。下一折验证的时候从上次的9组训练集里面选取1组用做测试集,剩下的9组用做训练集,依次迭代,直到所有的子集都做过测试,最终将所有测试集的结果汇总。针对数据不平衡问题,采用了数据增强和难例挖掘机制的方法对数据集进行了增强。

测试阶段,将肺部CT扫描裁剪为208×208×208的图像块,在裁剪的时候使分割块之间有32个像素的重叠,来消除卷积计算时的不期望的边界影响。然后对这些图像块分别继续预测,此步骤将输出目标结节的预测边界框{$x_{i}$$y_{i}$$z_{i}$$r_{i}$$p_{i}$},其中$x_{i}$$y_{i}$$z_{i}$代表预测边界框的中心,$r_{i}$代表半径,$p_{i}$代表置信度。最后将得到的小图像块的概率图填充回CT图像空间,得到完整CT图像的概率图,其大小与输入的CT图像相同,概率图中每个体素的值代表该点是肺结节的概率。对于每例图像,将所有patch的预测结果合并,通过非极大值抑制方法将重叠度高的预测边界框移除,输出每个结节最优的预测边界框。

本文基准算法为3D faster R-CNN(Zhu等,2018a),3D faster R-CNN为只采用ResNet网络、U-Net结构的结节检测网络;在此基础上进行了改进,初次改进为在3D faster R-CNN算法基础上设计了特征金字塔结构,联合不同尺度特征图做输出预测,记为U_FPN_RPN,其次在U_FPN_RPN基础上设计了通道—空间注意力机制,记为attention_FPN_RPN,也就是本文提出的融合注意力机制和特征金字塔的结节检测算法。

2.3 评价标准

敏感度(sensitivity)是指预测正确的正样本数目与所有正样本数目的比值,在机器学习中常称为召回率(recall),也称为检出率。敏感度指标计算为

$ {f_{{\rm{sen}}}} = \frac{{TP}}{{TP + FN}} $ (11)

式中,$TP$表示预测正确的正样本的数目(真阳性),$FN$表示预测错误的正样本的数目(假阴性)。敏感度取值范围为[0,1],值越大,表示检测出的结节个数越多,检测结果越好。

采用无限制受试者操作特征(free-response receiver operating characteristic,FROC)曲线验证检测模型的性能,并在图 5(d)中加以总结,其中横坐标是每幅CT切片中假阳率点(false positives per scan),记为FPs/scan,FPs/scan ∈ {0.125,0.25,0.5,1,2,4,8}。

图 5 本文算法与基准算法性能比较
Fig. 5 Performance comparison between the proposed algorithm and the benchmark algorithm
((a)sensitivity; (b)CPM; (c)false positives per scan; (d)FROC curves of U_FPN_RPN model)

竞争性能指标(challenge performance metric, CPM)是指FROC曲线中7个假阳率点(FPs/scan)(0.125,0.25,0.5,1,2,4,8)敏感度值的平均值,也就是平均假阳性个数下的平均敏感度,如将在平均每个CT扫描含有0.125个假阳性的敏感度记为$Sen$(0.125),竞争性能指标计算为

$ \begin{array}{*{20}{r}} {{f_{{\rm{CPM }}}} = (Sen(0.125) + Sen(0.25) + Sen(0.5) + }\\ {Sen(1) + Sen(2) + Sen(4) + Sen(8))/7} \end{array} $ (12)

2.4 通道—空间注意力机制设计方法实验验证

表 1给出了在特征提取网络的不同层设计注意力机制的实验效果,验证了本文提出的基于通道—空间注意力机制方法实验效果最好。表 1中结果分别为CPM值和敏感度值。

表 1 通道—空间注意力机制设计方法实验验证
Table 1 Experimental verification of channel-spatial attention mechanism design method

下载CSV
方法 Fold0 Fold1
CPM敏感度 CPM敏感度
3D faster R-CNN 0.848 2,0.964 2 0.853 8,0.945 3
U_FPN_RPN 0.864 8,0.982 1 0.854 9,0.961 0
(6×6×6,64)CA 0.829 0,0.955 4 -
(6×6×6,64)SA 训练精度很差 训练精度很差
(96×96×96, 24)SA 0.813 8,0.928 6 -
(96×96×96, 24)CA 训练精度很差 训练精度很差
(96×96×96, 24)SA,
(6×6×6,64)SA
0.840 6,0.973 2 -
(96×96×96, 24)CASA,
(6×6×6,64)CASA
训练精度很差 训练精度很差
(96×96×96, 24)SA,
(6×6×6,64)CA
0.831 6,0.964 3 0.834 8,0.953 1
(96×96×96, 24)CA,
(6×6×6,64)SA
0.880 1,1.000 0 0.876 1,0.953 1
注:将CPM值低于80以及SEN值低于90的结果标记为“训练精度很差”;“-”代表无数据,加粗字体代表每列最优结果。

在数据集的Fold0和Fold1上将不同设计方法进行了实验验证,例如(6×6×6,64)CA表示在大小为6×6×6、维度为64的特征图后添加通道注意力机制,可以看到,在大小为96×96×96、维度为64的特征图后添加通道注意力,在大小为6×6×6、维度为24的特征图后添加空间注意力的实验效果最好。这样低维特征在保留自身空间信息的情况下应激活更多的语义信息,高维特征在保留自身语义信息的情况下应激活更多的空间信息。

2.5 与基准实验比较十折交叉验证结果

图 5将本文提出的结节检测算法与基准算法进行了性能比较。

图 5(a)为在十折交叉验证下,10个Fold的敏感度指标的比较。U_FPN_RPN算法和attention_FPN_RPN算法的每折数据相比较基准实验3D fas-ter R-CNN算法提高了敏感度得分,且在4个Fold上敏感度达到了100 %,3D faster R-CNN算法的敏感度平均值为95.54 %,U_FPN_RPN算法的敏感度平均值为96.89 %,相比较3D faster R-CNN提高了1.35 %;attention_FPN_RPN算法的敏感度平均值为97.18 %,提高了0.29 %。

图 5(b)为U_FPN_RPN、attention_FPN_RPN与基线算法3D faster R-CNN在竞争性能指标(CPM)上的十折数据比较。可以看出本文算法U_FPN_RPN的每折数据都提高了竞争性能指标CPM得分,attention_FPN_RPN算法明显提高了Fold0、Fold1、Fold3、Fold7和Fold8的CPM得分,3D faster R-CNN算法的CPM平均值为0.833,U_FPN_RPN算法的CPM平均值为0.853,attention_FPN_RPN算法的CPM平均值为0.857,相比较3D faster R-CNN提高了0.040。说明特征金字塔结构比注意力机制更能提升结节检测性能。

图 5(c)为各个算法在平均假阳性个数上的数据对比,1—7折数据中有89个病人,所以平均假阳性的值为每折数据中的假阳性总数/89,8—9折数据中有88个病人。数据显示,本文算法attention_FPN_RPN在提高了检出率的同时,降低了假阳性率,性能最优。

图 5(d)以attention_FPN_RPN算法为例给出每一个Fold在7个假阳率点的敏感度的分布,除了Fold2和Fold3在0.125、0.25假阳率点具有低的敏感度之外,其他Fold均获得了不错的敏感度。

整体分析得出,采用注意力特征金字塔的算法attention_FPN_RPN明显提高了结节检测的准确率,有效解决了结节检测问题中低敏感度高假阳性的问题。

2.6 对不同大小结节的检测效果

本文算法主要是为了提高小结节(3~10 mm)的检测效果,表 2比较了肺结节检测系统对不同大小结节的检测效果。在LUNA16数据集中,总共有1 186个结节,其中3~10 mm结节有905个,3D faster R-CNN方法检测到了855个,U_FPN_RPN算法检测到了876个,attention_FPN_RPN方法检测到了882个,相比较3D faster R-CNN增加了27个结节。表明该算法可以提高小结节的检测性能。

表 2 肺结节检测系统对不同大小结节的检测效果
Table 2 The effect of lung nodule detection system on nodules of different sizes

下载CSV
方法 检测到的结节数量(3~10 mm) 检测到的结节数量(10~20 mm) 检测到的结节数量(>20 mm) 检测到的结节总数 敏感度/% 假阳性结节数量/FPs 平均假阳性/(FPs/scan)
3D faster R-CNN(Zhu等,2018a) 855 220 47 1 122 94.60 48 422 54.53
CNN_MIP(Zheng等,2020) 856 225 50 1 131 95.36 16 985 19.13
U_FPN_RPN(本文) 878 223 46 1 147 96.70 23 946 26.97
attention_FPN_RPN(本文) 882 223 47 1 152 97.10 23 084 25.99
注:结节总数:1 186 (3~10 mm:905;10~20 mm:231;>20 mm:50),CT scan数量:888。

表 2中的敏感度为该肺结节检测算法在进行十折交叉验证后得到的最高敏感度值,假阳性个数为获得此最高敏感度时的假阳性结节个数。平均假阳性是假阳性结节总数(FPs)/CT总数(888),可以看出,在使用了特征金字塔结构和注意力机制后,敏感度提高了2.5 %,平均每例CT中假阳性个数减少了28.54个,这得益于FPN结构中上采样结构以及通道—空间注意力机制的加入,使得网络能充分利用不同尺度的结节特征并且增强对于非显著性目标区域的分类,提高了对不同大小结节的检测率,同时降低了假阳性。

2.7 与其他检测方法比较

表 3将基于机器学习方法和基于深度学习方法的肺结节检测算法性能进行了比较。主要选取敏感度、平均假阳性、候选结节总数以及平均候选结节数指标。候选结节总数指的是网络预测出来的所有结果,其中包括结节和非结节;平均候选结节数是候选结节总数/CT总数。Murphy等人(2009)Jacobs等人(2014)Torres等人(2015)以及Tan等人(2011)采用了经典的机器学习方法,Zhang等人(2018)Setio等人(2017)Zhu等人(2018a)Zheng等人(2020)等以及本文算法均采用了深度学习方法。可以看出,深度学习方法的结节检测敏感度表现更优。Zhang等人(2018)Setio等人(2017)提出方法获得了高检测率,但是产生了大量假阳性。本文方法在每次扫描的候选结节数目较少的情况下获得了较优的敏感度。

表 3 基于机器学习方法和基于深度学习方法的肺结节检测算法性能对比
Table 3 Comparison of the performance of lung nodule detection algorithms based on machine learning methods and deep learning methods

下载CSV
方法 敏感度/% 平均假阳性/(FPs/scan) 候选结节总数 平均候选结节数
Murphy等人(2009) 85.60 - 298 256 335.87
Tan等人(2011) 92.90 - 295 686 332.98
Jacobs等人(2014) 36.10 - 258 075 290.63
Torres等人(2015) 76.80 - 19 687 22.17
Setio等人(2016) 90.10 4.0 - -
Firmino等人(2016) 94.40 7.0 - -
Setio等人(2017) 96.90 1.0
Dou等人(2017) 90.70 4.0 - -
Jiang等人(2018) 94.00 15.1 - -
Zhang等人(2018) 97.20 4.0 45 939 51.73
Zhu等人(2018a) 94.60 54.53 54 346 61.20
高慧明(2019) 96.40 608.7 548 518 617.7
高智勇等人(2020) 95.70 - 41 470 46.7
曹宇等人(2020) 94.44 - - -
李莉等人(2020) 96.24 - - -
Zheng等人(2020) 95.36 19.13 18 115 20.40
戚永军等人(2020) 92.40 8.0 - -
U_FPN_RPN(本文) 96.71 26.97 29 285 32.98
attention_FPN_RPN(本文) 97.13 25.99 28 363 31.94
注:“-”代表无数据。

为了进一步验证所提模型的有效性以及综合搜索能力,将本文算法与其他方法在CPM指标上进行了比较。表 4比较了不同检测模型在平均假阳性分别为0.125,0.25,0.5,1,2,4,8时的检测敏感度以及在这7个点的敏感度平均值(CPM),其中,本文检测模型显著提高了平均假阳性为1、2、4、8这几个点的敏感度,分别达到了0.918、0.940和0.951的高检测敏感度,且最终CPM为0.854,比参与对比的方法获得了更好的性能,表明模型在低假阳性的情况下实现了高敏感度,提高了结节的检测性能。而在0.125,0.25,0.5这3个点,虽然实验结果比基准实验Deep 3D Res18(Zhu等,2018a)的敏感度高,但是低于戚永军等人(2020)的结果,戚永军等人(2020)采用2维与3维相结合的深度混合卷积的检测模型,可以在假阳率非常低的情况下有较好的敏感度。本文采用的是一阶段结节检测方法,并没有专门去假阳,因此在0.125,0.25,0.5这几个点的敏感度偏低,表明算法在降假阳方面仍有欠缺,需进一步提高。

表 4 不同肺结节检测方法的检测敏感度比较
Table 4 Sensitivity performance comparison of different lung nodule detection methods

下载CSV
方法 平均假阳性
0.125 0.25 0.5 1 2 4 8 CPM
DIAG_ConvNet(Setio等,2016) 0.692 0.771 0.809 0.863 0.895 0.914 0.923 0.838
ZENT(Berens等,2016) 0.661 0.724 0.779 0.831 0.872 0.892 0.915 0.811
Aidence(Lung Nodule Analysis 2016,2016) 0.601 0.712 0.783 0.845 0.885 0.908 0.917 0.807
MOT_M5Lv1(Setio等,2016) 0.597 0.670 0.718 0.759 0.788 0.816 0.843 0.742
VisiaCTLung(Lung Nodule Analysis,2016) 0.577 0.644 0.697 0.739 0.769 0.788 0.793 0.715
Resnet(Dou等,2017) 0.659 0.745 0.819 0.865 0.906 0.933 0.946 0.839
Deep 3D DPN26(Zhu等,2018a) 0.692 0.769 0.824 0.865 0.893 0.917 0.933 0.842
Deep 3D Res18(Zhu等,2018a) 0.662 0.746 0.815 0.864 0.902 0.918 0.932 0.834
高慧明(2019) 0.673 0.739 0.817 0.849 0.880 0.909 0.921 0.827
戚永军等人(2020) 0.692 0.782 0.832 0.867 0.889 0.918 0.925 0.844
U_FPN_RPN(本文) 0.687 0.776 0.839 0.878 0.912 0.930 0.945 0.852
attention_FPN_RPN(本文) 0.678 0.772 0.836 0.884 0.918 0.940 0.951 0.854
注:加粗字体为所在列最优值。

2.8 肺结节检测结果可视化

图 6使用FROC曲线对本文提出的肺结节检测方法attention_FPN_RPN和基准算法3D faster R-CNN在LUNA16数据集上的结节检测性能进行了比较。可以看到,本文算法结节检测性能更优。

图 6 平均FROC曲线
Fig. 6 Average FROC curves

不同类型肺结节的检测结果如图 7所示,从LUNA16数据集中随机选取了实性结节、亚实性结节、纯磨玻璃结节(非实性结节)、近血管结节以及近肺壁结节,并以这些结节为例给出不同算法的检测结果。

图 7 不同类型结节检测结果
Fig. 7 Detection results of different types of nodules
((a)solid nodules; (b)sub-solid nodules; (c)pure ground-glass nodules; (d)juxta-pleural nodules; (e)juxta-vascular nodules)

第1行为肺结节位置金标准图,接下来分别为3D faster R-CNN、U_FPN_RPN以及attention_FPN_RPN算法的检测结果,包括预测边界框(框的中心位置即为结节的位置)和预测为结节的置信度。对于图 7(a)实性结节,3D faster R-CNN算法的预测边界框偏右,不如本文算法的检测结果;图 7(b)亚实性结节,attention_FPN_RPN算法检测结果最好;图 7(c)纯磨玻璃结节,检测这个类型的结节是有难度的,3D faster R-CNN算法的检测精度为0.995,相比本文算法检测结果略差;图 7(d)近血管结节,检测这个类型的结节是有很大难度的,可以看到,3D faster R-CNN算法的结节检测精度只有0.864,本文算法U_FPN_RPN检测结果最好;对于图 7(e)近肺壁结节,几种算法都很好地检出了结节。

综合比较,可以看出本文算法对不同类型结节均具有较好的检测结果,且具有较高的置信度。虽然有效提升了小结节的检测性能,但依然存在结节漏检情况(检测失败图像)。通过分析,漏检的结节主要集中在结节直径大小在3 ~10 mm范围内,且空间位置不明显,多是近肺壁结节、近血管结节、磨玻璃结节等,这类结节属于高难度检测结节,检测模型需要在这一方面再次进行突破。

3 结论

根据肺结节的特点以及结节检测存在的问题,提出了一种基于通道—空间注意力机制和特征金字塔结构的肺结节检测方法。首先在基准算法上构造特征金字塔网络,采用自顶向下(top-down)结构以及横向连接,将分辨率低但具有丰富语义信息的较深的网络层产生的特征图与高分辨率但是语义信息不丰富的网络层产生的特征图融合,避免了只采用顶层特征做预测而忽略小物体信息的问题,以此来提高对3~10 mm小结节的检测性能。然后通过理论研究与实验验证,在特征提取网络的不同层上设计合理的通道注意力与空间注意力,形成空间信息与语义信息的信息补偿,以解决由于多次下采样操作带来的分辨率降低导致检测结果差的问题,提高对磨玻璃结节、近血管结节和近肺壁结节等非显著性目标的检测性能。在LUNA16数据集888个病人上进行了十折交叉验证,结果表明,本文方法的敏感度、CPM、平均假阳性等多项评价指标结果均优于对比的结节检测算法及主流检测框架,可以有效提高小结节的检测性能,对微小肺结节自动筛查系统和临床肺结节辅助诊断系统建立具有十分重要的作用。

考虑到实际临床需求,后续工作会将深度学习方法与电子病历(electronic medical record,EMR)以及影像归档等医学材料相结合进行半监督学习,例如DeepEM(Zhu等,2018b)结节检测算法挖掘电子病历中的弱监督信息实现肺结节的检测以及FocalMix(Wang等,2020)算法采用半监督学习(semi-supervised learning, SSL)实现3D医学图像检测的方法都表现出了巨大的潜力,降低对金标准数据的依赖,进一步改善了肺结节计算机辅助诊断系统并发展其对肺癌治疗的作用。

参考文献

  • Berens M, Van Der Gugten R, De Kaste M, Manders J and Zuidhof G. 2016. ZNET-lung nodule detection[EB/OL]. [2021-03-05]. https://www.scribd.com/document/429578776/ZNET-NDET-160831
  • Cao Y, Xing S X, Pang J L, Wang X Y, Wang Y, Pan Z Y, Shen N. 2020. Detection of pulmonary nodules based on improved VGG-16 convolution neural network. Chinese Journal of Medical Physics, 37(7): 940-944 (曹宇, 邢素霞, 逄键梁, 王孝义, 王瑜, 潘子妍, 申楠. 2020. 基于改进的VGG-16卷积神经网络的肺结节检测. 中国医学物理学杂志, 37(7): 940-944) [DOI:10.3969/j.issn.1005-202X.2020.07.026]
  • Ding J, Li A X, Hu Z Q and Wang L W. 2017. Accurate pulmonary nodule detection in computed tomography images using deep convolutional neural networks//Proceedings of the 20th International Conference on Medical Image Computing and Computer-Assisted Intervention. Quebec City, Canada: Springer, Cham: 559-567[DOI:10.1007/978-3-319-66179-7_64]
  • Dou Q, Chen H, Jin Y M, Li H J, Qin J and Heng P A. 2017. Automated pulmonary nodule detection via 3D convnets with online sample filtering and hybrid-loss residual learning//Proceedings of the 20th International Conference on Medical Image Computing and Computer-Assisted Intervention. Quebec City, Canada: Springer: 630-638[DOI:10.1007/978-3-319-66179-7_72]
  • Firmino M, Angelo G, Morais H, Dantas M, Valentim R. 2016. Computer-aided detection (CADe) and diagnosis (CADx) system for lung cancer with likelihood of malignancy. BioMedical Engineering OnLine, 15, 1(2016-01-06), 15(1): #2 [DOI:10.1186/s12938-015-0120-7]
  • Fu R, Chai Y F, Zhang J T, Zhang T, Chen X K, Dong S, Yan H H, Yang X N, Huang M P, Wu Y L, Zhuang J, Zhong W Z. 2020. Three-dimensional printed navigational template for localizing small pulmonary nodules: a case-controlled study. Thoracic Cancer, 11(9): 2690-2697 [DOI:10.1111/1759-7714.13550]
  • Gao H M. 2019. Research on Detection and Benign and Malignant Classification Method of Pulmonary Nodules Based on Convolutional Neural Network. Taiyuan: Taiyuan University of Technology (高慧明. 2019. 基于卷积神经网络的肺结节检测及良恶性分类方法研究. 太原: 太原理工大学)
  • Gao Z Y, Huang J Z, Du C G. 2020. Pulmonary nodule detection based on feature pyramid networks. Journal of Computer Applications, 40(9): 2571-2576 (高智勇, 黄金镇, 杜程刚. 2020. 基于特征金字塔网络的肺结节检测. 计算机应用, 40(9): 2571-2576) [DOI:10.11772/j.issn.1001-9081.2019122122]
  • Guo H C, Wei Y X, Han Y, Hong L J, Lin Y H, Hai Q X and Yang D Z. 2017. Deep convolution neural networks for pulmonary nodule detection in CT imaging[EB/OL]. [2021-8-13]. https://grand-challenge-public-prod.s3.amazonaws.com/f/challenge/71/101b150c-88c5-4f9d-a374-d8d3fc166aff/20171222_073722_JianpeiCAD_NDET.pdf
  • Jacobs C, van Rikxoort E M, Twellmann T, Scholten E T, de Jong P A, Kuhnigk J M, Oudkerk M, de Koning H J, Prokop M, Schaefer-Prokop C, van Ginneken B. 2014. Automatic detection of subsolid pulmonary nodules in thoracic computed tomography images. Medical Image Analysis, 18(2): 374-384 [DOI:10.1016/j.media.2013.12.001]
  • Jiang H Y, Ma H, Qian W, Gao M D, Li Y. 2018. An automatic detection system of lung nodule based on multigroup patch-based deep learning network. IEEE Journal of Biomedical and Health Informatics, 22(4): 1227-1237 [DOI:10.1109/JBHI.2017.2725903]
  • Li L, Qiao L, Zhang H Y. 2020. Automatic detection algrithm of pulmonary nodules based on deep learning. Computer Applications and Software, 37(7): 95-100 (李莉, 乔璐, 张浩洋. 2020. 基于深度学习的肺结节自动检测算法. 计算机应用与软件, 37(7): 95-100) [DOI:10.3969/j.issn.1000-386x.2020.07.015]
  • Liao F Z, Liang M, Li Z, Hu X L, Song S. 2019. Evaluate the malignancy of pulmonary nodules using the 3-D deep leaky noisy-OR network. IEEE Transactions on Neural Networks and Learning Systems, 30(11): 3484-3495 [DOI:10.1109/TNNLS.2019.2892409]
  • Liu X L, Qi S S, Xiong P, Liu J, Wang H R, Yang J L. 2020. An automatic pulmonary nodules detection algorithm with multi-scale information fusion. Journal of Biomedical Engineering, 37(3): 434-441 (刘秀玲, 戚帅帅, 熊鹏, 刘京, 王洪瑞, 杨建利. 2020. 融合多尺度信息的肺结节自动检测算法. 生物医学工程学杂志, 37(3): 434-441) [DOI:10.7507/1001-5515.201910047]
  • Lung Nodule Analysis 2016. 2016. LUNA16-Results[EB/OL]. [2021-03-05]. https://luna16.grand-challenge.org/Results/
  • Murphy K, van Ginneken B, Schilham A M R, de Hoop B J, Gietema H A, Prokop M. 2009. A large-scale evaluation of automatic pulmonary nodule detection in chest CT using local image features and k-nearest-neighbour classification. Medical Image Analysis, 13(5): 757-770 [DOI:10.1016/j.media.2009.07.001]
  • Qi Y J, Gu J H, Zhang Y J, Wang F, Tian Z P. 2020. Deep mixed convolution model for pulmonary nodule detection. Journal of Computer Applications, 40(10): 2904-2909 (戚永军, 顾军华, 张亚娟, 王锋, 田泽培. 2020. 基于深度混合卷积模型的肺结节检测方法. 计算机应用, 40(10): 2904-2909) [DOI:10.11772/j.issn.1001-9081.2020020192]
  • Ramachandran S S, George J, Skaria S and Varun V V. 2018. Using YOLO based deep learning network for real time detection and localization of lung nodules from low dose CT scans//Proceedings of SPIE 10575, Medical Imaging 2018: Computer-Aided Diagnosis. Houston, USA: SPIE: #10575[DOI:10.1117/12.2293699]
  • Setio A A A, Ciompi F, Litjens G, Gerke P, Jacobs C, van Riel S J, Wille M M W, Naqibullah M, Sánchez C I, van Ginneken B. 2016. Pulmonary nodule detection in CT images: false positive reduction using multi-view convolutional networks. IEEE Transactions on Medical Imaging, 35(5): 1160-1169 [DOI:10.1109/TMI.2016.2536809]
  • Setio A A A, Traverso A, de Bel T, Berens M S N, van den Bogaard C, Cerello P, Chen H, Dou Q, Fantacci M E, Geurts B, van der Gugten R, Heng P A, Jansen B, de Kaste M M J, Kotov V, Lin J Y H, Manders J T M C, Só?ora-Mengana A, García-Naranjo J C, Papavasileiou E, Prokop M, Saletta M, Schaefer-Prokop C M, Scholten E T, Scholten L, Snoeren M M, Torres E L, Vandemeulebroucke J, Walasek N, Zuidhof G C A, van Ginneken B, Jacobs C. 2017. Validation, comparison, and combination of algorithms for automatic detection of pulmonary nodules in computed tomography images: the LUNA16 Challenge. Medical Image Analysis, 42: 1-13 [DOI:10.1016/j.media.2017.06.015]
  • Shi L K, Ma H Q, Zhang C Z, Fan S Y. 2020. Detection method of pulmonary nodules based on improve residual structure. Journal of Computer Applications, 40(7): 2110-2116 (石陆魁, 马红祺, 张朝宗, 樊世燕. 2020. 基于改进残差结构的肺结节检测方法. 计算机应用, 40(7): 2110-2116) [DOI:10.11772/j.issn.1001-9081.2019122095]
  • Tan M, Deklerck R, Jansen B, Bister M, Cornelis J. 2011. A novel computer-aided lung nodule detection system for CT images. Medical Physics, 38(10): 5630-5645 [DOI:10.1118/1.3633941]
  • Tang S Y, Yang M, Bai J N. 2020. Detection of pulmonary nodules based on a multiscale feature 3D U-Net convolutional neural network of transfer learning. PLoS One, 15(8): #0235672 [DOI:10.1371/journal.pone.0235672]
  • Torres E L, Fiorina E, Pennazio F, Peroni C, Saletta M, Camarlinghi N, Fantacci M E, Cerello P. 2015. Large scale validation of the M5L lung CAD on heterogeneous CT datasets. Medical Physics, 42(4): 1477-1489 [DOI:10.1118/1.4907970]
  • Wang D, Zhang Y, Zhang K X and Wang L W. 2020. FocalMix: semi-supervised learning for 3D medical image detection//Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle, USA: IEEE: 3951-3960[DOI:10.1109/CVPR42600.2020.00401]
  • Xie H T, Yang D B, Sun N N, Chen Z N, Zhang Y D. 2019. Automated pulmonary nodule detection in CT images using deep convolutional neural networks. Pattern Recognition, 85: 109-119 [DOI:10.1016/j.patcog.2018.07.031]
  • Zhang F L, Zhang S M. 2020. Review of deep learning methods applied to lung nodule detection in CT images. Computer Engineering and Applications, 56(13): 20-32 (张福玲, 张少敏. 2020. 应用于CT图像肺结节检测的深度学习方法综述. 计算机工程与应用, 56(13): 20-32) [DOI:10.3778/j.issn.1002-8331.2002-0051]
  • Zhang J J, Xia Y, Zeng H Y, Zhang Y N. 2018. NODULe: combining constrained multi-scale LoG filters with densely dilated 3D deep convolutional neural network for pulmonary nodule detection. Neurocomputing, 317: 159-167 [DOI:10.1016/j.neucom.2018.08.022]
  • Zhao P F, Zhao J J, Qiang Y, Wang F Z, Zhao W T. 2018. Study on detection method of pulmonary nodules with multiple input convolution neural network. Computer Science, 45(1): 162-166 (赵鹏飞, 赵涓涓, 强彦, 王峰智, 赵文婷. 2018. 多输入卷积神经网络肺结节检测方法研究. 计算机科学, 45(1): 162-166) [DOI:10.11896/j.issn.1002-137X.2018.01.028]
  • Zheng S Y, Guo J P, Cui X N, Veldhuis R N J, Oudkerk M, van Ooijen P M. 2020. Automatic pulmonary nodule detection in CT scans using convolutional neural networks based on maximum intensity projection. IEEE Transactions on Medical Imaging, 39(3): 797-805 [DOI:10.1109/TMI.2019.2935553]
  • Zhu W T, Liu C C, Fan W and Xie X H. 2018a. DeepLung: deep 3D dual path nets for automated pulmonary nodule detection and classification//Proceedings of 2018 IEEE Winter Conference on Applications of Computer Vision. Lake Tahoe, USA: IEEE: 673-681[DOI:10.1109/WACV.2018.00079]
  • Zhu W T, Vang Y S, Huang Y F and Xie X H. 2018b. DeepEM: deep 3D convnets with EM for weakly supervised pulmonary nodule detection//Proceedings of the 21 st International Conference on Medical Image Computing and Computer-Assisted Intervention. Granada, Spain: Spring: 812-820[DOI:10.1007/978-3-030-00934-2_90]