Print

发布时间: 2021-02-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.190470
2021 | Volume 26 | Number 2




    综述    




  <<上一篇 




  下一篇>> 




深度学习在医学影像智能处理中的应用与挑战
expand article info 左艳1, 黄钢2, 聂生东1
1. 上海理工大学医疗器械与食品学院, 上海 200093;
2. 上海健康医学院医学影像学院, 上海 201318
收稿日期: 2019-09-10; 修回日期: 2020-05-15; 预印本日期: 2020-05-22
基金项目: 国家自然科学基金项目（81830052，81530053，81601520）
作者简介: 左艳, 1993年生, 女, 博士研究生, 主要研究方向为深度学习和医学图像处理。E-mail:zuoyan2017@126.com;
黄钢, 通信作者, 男, 教授, 主要研究方向为核医学分子影像。E-mail:huang2802@163.com;
聂生东, 男, 教授, 主要研究方向为医学图像处理、核磁共振成像技术。E-mail:nsd4647@163.com
中图法分类号: TP391.7
文献标识码: A
文章编号: 1006-8961(2021)02-0305-11

摘要

利用深度学习方法对医学影像数据进行处理分析，极大地促进了精准医疗和个性化医疗的快速发展。深度学习在医学图像领域的应用较为广泛，具有多病种、多模态、多组学和多功能的特点。为便于对深度学习在医学图像处理领域的应用进行更深入有效的探索，本文系统综述了相关研究进展。首先，从深度学习在影像基因组学中的应用出发，理清了深度学习在医学影像领域应用的一般思路和现状，将医学影像领域分为智能诊断、疗效评估和预测预后等3个模块，并对模块内的各病种进行总结，展示了深度学习各算法的优缺点及面临的问题和挑战。其次，对深度学习中出现的新思路、新方法以及对传统方法的改进进行了阐述。最后，总结了该领域现阶段面临的问题，并对未来的研究方向做出了展望。基于深度学习的医学图像智能处理与分析虽然取得了一些有价值的研究成果，但还需要根据临床的实际需求，将深度学习与经典的机器学习算法及无创并且高效的多组学数据结合起来，对深度学习的理论和方法进行深入研究。

关键词

医学图像处理; 人工智能; 深度学习; 影像基因组学; 精准医疗

Application and challenges of deep learning in the intelligent processing of medical images
expand article info Zuo Yan1, Huang Gang2, Nie Shengdong1
1. School of Medical Instrument and Fool Engineering, University of Shanghai for Science and Technology, Shanghai 200093, China;
2. School of Medical Imaging, Shanghai University of Medicine and Health Sciences, Shanghai 201318, China
Supported by: National Natural Science Foundation of China(81830052, 81530053, 81601520)

Abstract

The amount of medical imaging data is increasing rapidly every year. Although large-scale medical imaging data pose considerable challenges to the work of clinicians, they also offer opportunities for improving disease diagnosis and treatment models. Algorithms based on deep learning exhibit advantages over humans in processing big data, analyzing complex and nondeterministic data, and delving into potential information that can be obtained from data. In recent years, an increasing number of scholars have use deep learning to process and analyze medical image data, promoting the rapid development of precision medicine and personalized medicine. The application of deep learning to medical image processing and analysis, which are characterized by multiple diseases, modals, functions, and omics, is relatively extensive. To facilitate the further exploration and effective application of deep learning methods by researchers in the field of medical image processing, this study systematically reviewed relevant research progress, expecting that such review will be beneficial for researchers in this field. First, general thoughts and the current situation of the application of deep learning to medical imaging were clarified from the perspective of deep learning applications to imaging genomics. Second, state-of-the-art ideas and methods and recent improvements in original deep learning methods were comprehensively described. Lastly, existing problems in this field were highlighted and development trends were explored. In accordance with application status, the application of deep learning to medical imaging was divided into three modules: intelligent diagnosis, response evaluation, and prediction prognosis. The modules were subdivided into different diseases for summary, and the advantages and disadvantages of each deep learning method and existing problems and challenges were highlighted. In terms of intelligent diagnosis, the disadvantages of manual doctor diagnosis, such as heavy workload, subjective cognitive susceptibility, low efficiency, and high misdiagnosis rate, are becoming increasingly evident due to the increasing complexity of medical imaging information. The use of deep learning to interpret medical images and then comparing the results with other case records will help doctors locate lesions and assist in diagnosis. Moreover, the burden of doctors and medical misjudgments can be effectively reduced, improving the accuracy of diagnosis and treatment. Further research on the applications of deep learning and computer vision technologies to radiography is a pressing task in the 21st century, particularly for diseases with high incidence, such as brain and fundus disorders. In the follow-up study, we should focus on optimizing the generation of labels, specifying precise pathological regions in medical images, and establishing a strong supervision model instead of a weak one. In addition, deploying a cropping algorithm on a picture archiving and communication system platform will pave the way to algorithm improvement and entry to the clinical environment. In terms of response evaluation, the pathological evaluation of surgical specimens is the only reliable indicator of long-term tumor prognosis. However, these pathological data can only be obtained after completing all preoperative and surgical treatments, and they cannot be used as a guide for adjusting treatment. The development of noninvasive biomarkers with early prediction potential is important. At present, most relevant studies have conducted analysis by using traditional machine learning algorithms or statistical methods. Biological and clinical data extracted using medical imaging artificial intelligence programs designed by precision medicine researchers can determine the level of lymphocyte infiltration into tumors, predict imaging omics indicators of the therapeutic effect of immunotherapy to patients, and guide chemoradiotherapy treatment. The realization and development of this technique are of considerable clinical significance and deserve additional effort from researchers. With regard to prediction prognosis, imaging markers can predict the mutation status of genes, the molecular categories that regulate the activity of treatment-related proteins, and disease status and prognosis by using deep learning. Intelligent processing and analysis of medical images using deep learning is noninvasive, repeatable, and inexpensive. In the succeeding research, the data fusion of different omics should be completed to realize a link model of the reasoning mechanism based on content and semantics. Moreover, a fast retrieval method for structured data should be established by using the correlation relationship among data to develop an intelligent prediction model with high accuracy and strong robustness. Valuable research results and meaningful progress of the intelligent processing and analysis of medical images based on deep learning have been obtained; however, they have not been widely used in the clinical setting. In-depth research on deep learning theories and methods should be conducted further. In particular, the acquisition of a large number of high-quality labeled imaging cases, multicenter research and verification, the visualization of the decision-making process and diagnosis basis, and the establishment of a tripartite evaluation system are critical. Moreover, the development of intelligent medical imaging requires the fusion of big data and medical imaging technologies, clinical experience and multiomics big data, and artificial intelligence and medical imaging capabilities. Medical problems and clinical results should be used as guides to realize micro/macro system precision micro-closed-loop research for solving practical clinical problems, such as accurate tumor segmentation before, during, and after surgery; intelligent disease diagnosis; and noninvasive tracking of treatment effect, treatment response, and disease status.

Key words

medical imaging processing; artificial intelligence; deep learning; imaging genomics; precision medicine

0 引言

我国医学影像数据正以30%的速度逐年增长，大量的医学影像数据给临床医生的工作带来了极大挑战，也为疾病诊疗模式的变革带来了机遇。人工智能依靠强大的图像识别、数据挖掘和深度学习技术，可有效解决医学影像大数据处理难题，显著提高数据分析的效率和准确性，提升了健康与诊疗的效益及价值(Limkin等，2017)。深度学习在医学图像智能处理与分析中涉及多个病种、多种图像模态和多组学，并且能实现多种功能。如眼底病变识别、皮肤癌识别、脑部疾病预测、鼻咽癌精准放疗靶区勾画和肺结节良恶性分类等。

针对眼底病变，应用深度学习提出了一种自动检测眼底图像中糖尿病视网膜病变和糖尿病黄斑水肿的算法，对基层医生正确筛选患者有着重要意义(Gulshan等，2016；Ting等，2017)，但由于训练样本及专家分级的限制，无法处理大多数眼科医生也无法识别的细微图像，不能代替综合眼科检查。Kermany等人(2018)提出基于深度学习的卷积神经网络Inception V3模型和迁移学习(transfer learning, TL)的诊断模型，用于眼底疾病的分类，并在儿童肺炎诊断上验证了该模型的泛化性能，实现了秒级判定和人工智能精确指导抗生素合理使用的功能。针对皮肤癌，Esteva等人(2017)使用卷积神经网络Inception V3对皮肤癌图像进行分类，准确率达到91%，可与专业医生媲美。针对肺癌，Coudray等人(2018)使用迁移学习和Inception V3模型对非小细胞肺癌(non-small cell lung cancer，NSCLC)病理图像进行分类，结果表明深度学习模型可以为专家和患者提供快速、准确和廉价的癌症类型或基因突变检测，对癌症治疗产生了重大影响。针对脑部疾病，Choi和Jin(2018)提出一种深度卷积神经网络，使用18F-脱氧葡萄糖(18F-Fluorodeoxyglucose，18F-FDG)PET(positron emission tomography)图像准确预测阿尔茨海默氏症(Alzheimer’s disease，AD)和轻度认知障碍(mild cognitive impairment，MCI)患者，可以尽快确定并有效治疗受试者。Lee等人(2019)训练小样本的头部计算机断层扫描(computed tomography，CT)图像创建人工智能诊断平台，诊断颅内出血的准确率能与医生媲美。该平台通过对小样本数据的增强处理，解决了深度学习样本量的问题, 决策过程及诊断依据的可视化解决了人工智能算法的黑盒问题。针对鼻咽癌，中山大学孙颖团队首次利用人工智能实现了全期鼻咽癌精准放射治疗靶区自动勾画(Lin等，2019)。针对计算机视觉问题，由于缺乏大型高质量已标注数据集，医学影像的深度学习研究一度面临巨大挑战，对此，Xie等人(2019)提出了一种基于多视角知识协同(multi-view knowledge-based collaborative，MV-KBC)深度学习模型，使用ResNet-50网络对胸部CT图像进行肺结节良恶性分类，结果明显优于当前最先进的方法。随着人工智能的高速发展，曾经的巨大挑战正在逐步攻破。

深度学习在医学图像及其涉及的医学领域的应用十分广泛，且算法改进与实验思路多样。为帮助医学图像智能处理领域的研究者进行高效的探索和应用开发，本文首先阐述深度学习的发展历史及模型评价，随后对深度学习中出现的新思路、新方法以及对传统方法的改进进行较全面阐述，最后总结该领域现阶段面临的问题并对未来的研究方向做出展望。

1 深度学习的发展

深度学习是指通过数据驱动的方式，采用一系列非线性变换，从原始数据中自动提取由低层到高层、由具体到抽象、由一般到特定语义的多层特征表示(Christopher等，2018)。Rosenblatt(1957)提出神经网络的鼻祖感知机(perceptron)；20世纪80年代Fukushiba等人(1980)提出一种多层级的神经网络神经认知机(neocognitron)；LeCun等人(1998)首次提出多层级联的卷积结构LeNet；Krizhevsky等人(2012)提出AlexNet，这是一个8层深的卷积神经网络。此后的网络发展分为两类，一类是网络结构的调整，另一类是网络深度的优化。

对于网络结构的调整，Lin等人(2013)提出NIN(network in network)，推广了1×1的卷积结构；2014年Google提出Inception V1网络，可以反复堆叠并且高效，取得当年ILSVRC(ImageNet Large Scale Visual Recognition Challenge)比赛冠军(Szegedy等，2015)；2015年Google提出Inception V2网络，使用批归一化(batch normalization)方法大幅加速了训练过程，并提升了网络性能(Ioffe等, 2015)；同年末，Google提出小卷积因式分解(factorization in small convolutions)的思想，分解大尺寸卷积为多个小卷积乃至1维卷积，形成Inception V3网络(Szegedy等，2016)。

对于网络深度的优化，2014年牛津大学和Google DeepMind公司提出VGGNet (visual geometry group network)，使用3×3的卷积，更能防止过拟合，且网络深度多达19层(Simonyan等, 2014)。2015年微软提出ResNet(residual neural network)，网络深度达到152层，缓解了梯度消失和梯度爆炸；其后又增加了批归一化，并去除激活层而使用恒等映射(identity mapping)或预激活(preactivate)，更新为ResNet V2(He等, 2015, 2016)。2016年Google提出Inception V4、Inception-ResNet V1和Inception-ResNet V2网络，证明不引入残差结构也能达到和引入残差结构相似的结果，且Inception-ResNet V2网络集网络深度与网络宽度优势于一体，取得了较好的分类效果(Szegedy等，2017)。Xception将群卷积(group convolution)思想发挥到了极致(François等，2016)。2017年，美国康奈尔大学、清华大学和Facebook提出了DenseNet，能更好地复用特征，缓解了梯度消失问题，并大幅减少了参数数量(Huang等，2017)；Xie等人(2017)提出ResNeXt，引入基数制约(cardinality)概念，与Xception网络相似，对网络通道进行了优化，将卷积进化为群卷积。Chen等人(2017a)提出DPN(duall path networks)网络，融合了ResNeXt和DenseNet的核心思想。2018年，Momenta公司和牛津大学提出SENet(squeeze and excitation networks)，很容易被其他网络部署嵌入，在模型结构和计算复杂度上具有良好的特性(Hu等，2020)。

自2012年AlexNet提出后，深度学习领域的研究进展迅速，新技术往往体现在网络结构、网络深度和卷积形式的改进上，在图像处理领域不断创造更高的准确率记录。Eldan和Shamir(2015)从理论上证明了加深网络比加宽网络更有效。Kusumoto等人(2018)也提出预测精度与网络深度和待分析图像像素大小相关。Tang(2015)提出了深度学习结合机器学习算法的新模型。随着GPU(graphics processing unit)计算资源、开源工具(如Tensorflow、Pytorch等)以及大量可利用的开源医学影像数据库的出现，研究人员可以简单快速地设计神经网络，并在多中心、多模态的公开数据集上进行研究、测试、部署乃至实用。

2 深度学习在医学影像领域的应用

深度学习在医学图像领域发展十分迅速，产生了许多算法，并且具有很强的应用前景。根据应用现状，深度学习在医学影像领域的应用大致包括智能诊断、疗效评估和预测预后。

2.1 深度学习在智能诊断中的应用

面对大量复杂的医学影像信息和持续增长的医学影像诊断需求，人工影像诊断暴露出的工作负荷大、易受主观认知影响、效率低且误诊率高等诸多缺点愈加明显。而基于深度学习的算法在处理大数据和复杂非确定性数据、深入挖掘数据潜在信息等方面有着超越人类的优势。运用深度学习解读医学影像，通过与其他病例记录的对比分析，帮助医生定位病灶，辅助诊断，可以有效弥补其中的缺口，减轻医生负荷，减少医学误判，提高诊疗效率。

对于细胞识别，Kusumoto等人(2018)利用卷积神经网络建立了一种自动识别来自诱导多能干细胞(induced pluripotent stem cells，iPSCs)的内皮细胞的方法，仅基于形态学特征就能高效识别内皮细胞，得出预测精度与网络深度和待分析图像的像素大小有关的结论。细胞周围环境是一个重要识别特征，即时的微环境也是分化的重要因素。密集样本的弱染色、非特异性荧光和自发性荧光会干扰模型判别，因此模型受样本的细胞密度和形态影响较大，对异构图像的分类效果还有待提高。后续研究中，应改进对图像非均匀区域的二值化方法，样本应该培养到一个合适的密度，在图像异构的情况下，应训练网络来区分真假阳性。

对于眼底病变，已有研究表明基于深度学习的眼底图像评估在临床决策支持系统和大规模眼底黄斑病变、青光眼检测和筛查项目的自动化中具有重要的应用价值，但大多是从单中心获取或只纳入了符合研究标准的训练样本，进入实际临床应用还需要更多探索(Lee等，2017；Schlegl等，2018；Christopher等，2018)。

对于口腔疾病，Aubreville等人(2017)提出一种新颖的自动分类深度学习方法，对口腔鳞状细胞癌病人的显微内镜图像进行诊断，该方法优于基于图像纹理的分类器等传统分类方法。后续研究可将该模型扩展到更复杂的原位癌前病变或转移到上消化呼吸道的鳞状细胞癌实体的鉴别。此外，优化基础数学算法，在筛选过程中直接对患者进行口腔鳞状细胞癌的实时识别还需进一步探究。

对于脑部疾病，Lee等人(2019)利用深度学习平台检测急性颅内出血，性能与放射科医师相似，但纳入的数据集来源单一，且排除了在临床上存在的情况，还需使用更完善的急诊病人数据集进行进一步的测试。若将此平台无缝嵌入到临床使用中，还需将对基于预测的诊断模块进行额外的优化和集成。基于3D-CNN(3 dimensional-convolutional neural network)架构的计算机辅助监测急性神经疾病在颅脑成像，有分流放射科工作的潜力，可以有效减少诊断时间，但也需要在多中心临床试验中验证(Titano等，2018)。Shi等人(2018)提出了一种多模态叠加深度多项式网络(multimodal stacked deep polynomial network, MM-SDPN)，融合后的PET和核磁共振图像(magnetic resonance imaging，MRI)能准确诊断AD及MCI，但使用的是传统的DPN(deep polynomial networks)算法，后期研究可对网络结构和算法进行改进。由于无标记医学图像的获取相对容易，半监督的MM-SDPN算法也是未来的研究热点之一。Jun等人(2018)提出了一种基于自标记技术的深度学习磁共振黑血(black blood，BB)成像和3维卷积神经网络的脑转移灶检测方法，表明基于深度学习的3维BB成像可以有效检测脑转移瘤，但还需要在多种采集设备或采集协议的数据集上进行验证，临床转化受限。

对于乳腺癌，Ferreira等人(2018)利用Inception ResNet V2网络和TL对乳腺癌的病理图像进行分类，对乳腺癌智能初筛有重要作用。但在网络训练过程中，过拟合的出现导致盲测集的准确性远低于先前已知并评估的数据集。后续研究中，可以采取一些策略来避免过拟合，比如应用网络顶层少量神经元，增加用于验证和测试的图像数量，选取相似性更大的数据集和引入交叉验证和正则化技术等。

将现代深度学习和计算机视觉技术应用于放射成像的进一步研究正在进行中，尤其是针对脑部和眼底病变等高发病率的疾病，临床上迫切需求智能诊断技术加以辅助。优化研究标签的生成、在医学图像中指定病理区域、建立强监督模型而不是弱监督模型并裁剪算法部署在图像存档和通信系统(picture archiving and communication system，PACS)平台将为算法改进和进入临床环境提供途径。表 1详细描述了深度学习在智能诊断中的应用，研究对象主要包括颅内出血、NSCLC(non-small cell lung cancer)、AMD(age-related macular degeneration)、DME(diabetic macular edema)、RVO(retinal vein obstruction)、ADNI(Alzheimer’s disease neuroimaging initiative)等，研究模态主要包括CT、病理图像、OCT(optical coherence tomography)图像等，研究方法主要包括VGG16、ResNet-50、InceptionV3、Inception-ResNet-V2、3D-CNN+NLP(natural language processing)等，评价指标主要采用AUC(area under curve)。

表 1 深度学习在医学影像智能诊断中的应用
Table 1 Application of deep learning in intelligent diagnosis of medical imaging

下载CSV
文献 研究对象 研究模态 研究方法 研究结果
Lee等人(2019) 颅内出血1 300例 CT VGG16、ResNet-50、
Inception-V3、
Inception-ResNet-V2		 灵敏度为98%、92%，特异性为95%、95%，性能与放射科医师相似
Coudray等人(2018) NSCLC 病理图像 TL + CNN(Inception V3) AUC指标优于随机森林、SVM、贝叶斯算法
Christopher等人(2018) iPSCs 显微镜图像 CNN(LeNet + AlexNet) F1-score和准确率分别为0.90和95%
Lee等人(2017) 正常52 690幅
AMD 4 861幅		 OCT图像 CNN(VGG16) AUC为92.78%、93.83%、97.45%，准确率为87.63%、88.98%、93.45%，敏感性和特异性分别为92.64%、93.69%
Schlegl等人(2018) AMD 400例
DME 400例
RVO 400例		 OCT图像 fully automated deep learning AUC为0.94，平均精度为0.91，平均召回率为0.84
Christopher等人(2018) 大型眼底图像数据库
(n = 14 822)		 OCT图像 TL + CNN(VGG16、
Inception V3、ResNet50)		 迁移学习结合ResNet50模型的AUC为0.91，明显高于其他所有模型
Aubreville等人(2017) 口腔鳞状细胞癌图像
序列7 894幅		 显微镜图像 CNN AUC为0.96，平均准确率为88.3%(灵敏度86.6%，特异度90%)，优于目前技术水平
Titano等人(2018) 37 236幅头部疾病 CT 3D-CNN + NLP 减少治疗时间和改善结果
Shi等人(2018) ADNI PET+MRI DPN(MM-SDPN) 分别对PET和MRI使用深度网络进行处理，实现网络对多模态数据处理
Jun等人(2018) 55组黑血成像数据 MRI CNN 深度学习BB、原始BB影像的准确率分别为0.970 8、0.943 7，敏感性均为100%
Ferreira等人(2018) 乳腺癌 病理图像 Inception ResNet V2 + TL 训练集、验证集、测试集准确率分别为0.99、0.93、0.90，盲测集精度为0.76

2.2 深度学习在疗效评估中的应用

手术标本的病理评价是与长期肿瘤预后相关的唯一可靠指标。但是，这些病理数据只有在完成所有的术前治疗和手术后才能获得，不能作为调整治疗的指导。开发具有早期预测潜力的非侵入性生物标志物至关重要。越来越多的证据表明，基因型与表型之间的关系确实可以从基因组学扩展到临床影像学，影像特征可以作为检测分子谱和临床相关参数，如预后、治疗效果、并发症的潜在生物标志物(Vardhanabhuti和Kuo，2018)。研究表明，可以通过治疗前后的肿瘤影像特征评价肿瘤患者的治疗效果与治疗反应，指导临床治疗(Fave等，2017)。

对于肺部疾病，Coroller等人(2016)研究了非小细胞型肺癌患者新辅助放化疗后的影像特征与病理的相关性，表明影像特征能反映肺癌患者治疗后的肿瘤残留情况和肿瘤改善情况。

对于直肠癌，Sun等人(2018)利用患者的CT图像训练的人工智能平台可以准确预测程序性死亡受体1(programmed cell death protein 1，PD-1)抑制剂的治疗效果，进一步阐明了标准医学图像与CD8细胞的基因表达特征、肿瘤浸润淋巴细胞的数量、肿瘤免疫表型和免疫治疗的临床结果之间的联系。但该平台由于样本纳入标准较高，导致样本量较少，需要在大型前瞻性研究中进行进一步的评估来验证结果。该研究将免疫反应评分分为高、低两类，在免疫表型验证队列中，只选择了3种描述免疫表型中的免疫炎症型和免疫荒漠型两种表型进行验证。随着对肿瘤和间质免疫功能研究的不断进展，未来的前瞻性研究可以合并3种免疫表型或者使用额外的免疫亚型对人工智能平台的预测结果进行验证。

Nie等人(2016)指出多参数MRI在预测局部晚期直肠癌术前放化疗后病理反应中具有重要作用，但需要大量的数据样本对图像特征进行全面的面板选择，并使用非线性统计模型对大维度数据进行传统的线性统计分析。Bibault等人(2018)建立了一个深度神经网络(deep neural network，DNN)来预测直肠癌放化疗后的完全反应，有助于确定哪些患者将适用于保守治疗，而不是根治性切除。

对于特征提取，Oakden-Rayner等人(2017)系统分析了传统影像组学特征提取和卷积神经网络方法对生存预测的效果。传统影像组学经过特征选择和提取的深度特征在预测生存周期的效果比较接近，但在结合病种相关的临床特征后，预测准确率大幅提升。Ypsilantis等人(2015)应用3D卷积神经网络和迁移学习方法提取PET图像的深度特征，然后应用基于对称不确定性的特征选择方法，提取最有效的深度特征，能预测治疗食管癌药物的有效性。

目前在此领域大多是利用传统的机器学习算法或者统计学方法进行研究，深度学习的论著相对较少，然而人工智能、肿瘤影像学和精准医学具有很强的研究前景。如何设计相应的医学影像人工智能程序，实现生物学和临床信息的自动提取、肿瘤内淋巴细胞浸润水平的智能判定、患者接受免疫疗法疗效的影像组学指标的预测，以及为放化疗治疗提供指导，值得研究者投入更多精力。表 2详细描述了深度学习在疗效评估中的应用，研究对象包括肺癌、直肠癌和食管癌，研究方法包括线性混合效应模型、多变量模型、ANN(artificial neural network)以及SVM(support vector machine)等。

表 2 深度学习在疗效评估中的应用
Table 2 Application of deep learning in response evaluation of medical imaging

下载CSV
文献 研究对象 研究模态 研究方法 研究结果
Fave等人(2017) 肺癌 CT 线性混合效应模型、
多变量模型		 结果可指导临床治疗
Nie等人(2016) 局部晚期直肠癌48例 MRI ANN 预测PCR(pathologic complete response)的最优AUC为0.84，预测GR(good response)的最优AUC为0.89
Ypsilantis等人(2015) 食管癌患者107例 PET 3S-CNN 平均敏感性为80.7%，平均特异性为81.6%，优于其他预测模型
Bibault等人(2018) 局部晚期直肠癌患者90例 CT SVM + DNN DNN预测完全响应的准确率为80%，优于线性回归模型(69.5%)和SVM模型(71.58%)

2.3 深度学习在预测预后中的应用

利用深度学习的方法，通过影像学标记可以预测基因的突变状态，预测调节治疗相关蛋白活性的分子类别，预测疾病状态和预后情况，具有无创性、可重复性和价廉的优点。

对于影像基因组学，Rios等人(2017)提出基于深度学习自动量化影像组学表型特征的预测模型，能比较准确地判断表皮生长因子受体(epidermal growth factor receptor，EGFR)的基因突变状态，将影像学标记与临床数据相结合的综合预测模型的效果也很显著。Hosny等人(2018)基于3D卷积神经网络首次探索从医学图像到医学图像的迁移学习，将基因表达数据与分子信息关联起来。Wang等人(2019)提出了一种深度学习预测模型，通过影像特征预测肺腺癌中EGFR的突变状态，结果较专家手工CT特征或临床特征有显著改善，且EGFR突变型肿瘤和野生型肿瘤的深度学习评分差异有统计学意义。

针对肝部疾病，Yu等人(2018)提出基于转移学习的预测算法，通过构建一个完全自动化的、准确的肝纤维化分期预测模型，使肝纤维化分期的自动评分成为可能。

针对脑部疾病，Ding等人(2019)基于18F-FDG PET图像开发并验证了一种基于Inception V3网络的算法，可以进行AD和MCI的诊断。Lao等人(2017)通过迁移学习对术前多模态MRI提取深层特征，将其产生的影像组学特征用于预测多形胶质母细胞瘤患者的总体生存期。Li等人(2017)利用改进的卷积神经网络提取低级别胶质瘤患者的多模态MRI中的深度信息，并预测异柠檬酸脱氢酶1(isocitrate dehydrogenase 1，IDH1)的突变状态。

对于代谢影像组学，应用PET-CT图像提取相邻图像块的糖酵解图像，作为一个新的影像学标记，再结合传统的影像组学纹理特征和支持向量机获得了较为理想的肺癌和宫颈癌的放疗预后预测指标(Hao等，2018)。18F-FDG PET在提供糖酵解活跃程度信息(standardized uptake value maximum，SUVmax)的同时，其丰富的纹理特征能预测患者预后，而且这些纹理特征的诊断效能可能优于SUVmax。本课题组临床研究发现，应用18F-FDG PET/CT代谢显像能对人类表皮生长因子受体2(human epidermal growth factor receptor-2, HER2)、乳酸脱氨酶A(Lactate Dehydrogenase A, LDHA)等癌相关基因的表达进行客观评价，基于细胞代谢的多模态高分辨分子影像技术为肿瘤诊断、疗效及预后评价提供了可靠的分析手段(Chen等，2016, 2017b, 2019)。然而，目前临床对分子影像包含的丰富信息的深度挖掘少有涉及，数据分析手段比较简单，代谢组学显像定量参数(如SUVmax)的功能相对单一，信息指向较为匮乏，仅能区别代谢水平的大体情况，无法细分到具体蛋白功能及特定通路的影响等。因此，如何实现代谢影像数据的系统分析、深度挖掘并真正实现分子水平的动态量化智能评价是亟待解决的关键科学问题。

在后续研究中可以通过不同层次对多组学数据和医学影像数据进行噪点去除、纹理分析、肿瘤分割、非监督学习特征提取，通过集成聚类分析、特征选择、回顾性分析和深度网络学习，完成不同组学的数据融合，实现基于内容与语义的推理机关联模型，并且利用数据间的关联关系，建立结构化数据的快速检索方法，建立准确性高、鲁棒性强的智能预测模型。表 3详细描述了深度学习在预测预后中的应用，研究对象包括肺癌、肺腺癌和鼠肝等，研究方法包括深度学习自动量化、CNN、MLR(multinomial logistic regression)和RF(random forest)等。

表 3 深度学习在预测预后中的应用
Table 3 Application of deep learning in prediction prognostic of medical imaging

下载CSV
文献 研究对象 研究模态 研究方法 研究结果
Rios Velazquez等人(2017) 709例肺癌 CT 深度学习自动量化 能较准确判断EGFR的突变状态，AUC = 0.69；影像学标记与临床数据相结合的综合预测模型的AUC为0.75
Hosny等人(2018) 不同机构的7个医学
影像肺癌数据集		 CT 3D CNN + TL 深度学习网络可用于非小细胞肺癌患者死亡率风险分层
Wang等人(2019) 844例术前肺腺癌 CT+基因+
临床数据		 CNN 深度学习模型在两个主要队列中(n = 603), AUC = 0.85；在独立验证队列中(n = 241)，AUC = 0.81
Yu等人(2018) 鼠肝100例 显微图像 ANN，AlexNet，
MLR，SVM，RF		 AlexNet的AUC = 0.85~0.95，ANN的AUC = 0.87~1.00
Ding等人(2019) AD+MCI 18F-FDG PET Inception V3 在独立测试集上评估预测AD最终临床诊断时，AUC为0.98，敏感性为100%，特异性为82%
Lao等人(2017) 多形胶质母细胞瘤 多模态MRI TL + LASSO 可预测患者的总生存期
Li等人(2017) 低级别胶质瘤151例 MRI 改进的CNN 相同数据集下，常规放射组学方法的AUC为86%，利用DLR的AUC为92%。基于多模态MRI的DLR(deep learning-based radiomics)将预测IDH1的AUC提高到95%

3 问题及展望

综上所述可以看出，深度学习在智能诊断、疗效评估和预测预后等方面都有杰出表现，为在医疗卫生中应用提供了重要的理论基础和技术支撑，对全病种都具有很强的应用前景。然而，智能医学影像高速发展的背后依旧存在许多问题。1)缺少高质量标注的训练样本。目前基于深度学习的算法往往是有监督的学习，即需要大量已精确标记的训练数据，但是标记医学数据依赖医生的专业知识，耗时耗力，而公开数据集的训练数据往往数量少、质量差，单一机构的小样本数据训练出来的模型存在过拟合或者鲁棒性和推广性差的问题，难以临床转化和商业使用。2)目前提出的基于深度学习的模型依旧有待优化，许多算法的鲁棒性和泛化性不足。3)影像组学数据的深度挖掘必然产生对疾病的新认识或新模型，但是缺乏第三方评价体系。目前深度学习方法的应用大部分是用以验证深度学习，解决基于医学影像进行智能诊断、疗效评估、预后预测以及肿瘤分割问题的效果，没有深入到应用医学影像组学的定量评价肿瘤异质性以及由此产生的生物行为的差异性，在评估慢性疾病组织变化方面的应用探索较少，这也是导致其临床转化受限的主要原因。4)由于是端到端的输入输出形式，决策过程透明度较差，大部分利用深度学习得到的模型存在“黑匣子”问题，理论支撑薄弱，可解释性较差。

如何解决上述问题将成为目前的研究热点。首先，针对训练样本少的问题，可以采用TL、生成对抗网络(generative adversarial nets，GAN)等数据增强方式和病灶自动勾画算法，在一定程度上解决样本量和医生标注效率低的问题。参数迁移、模型迁移将逐步被抛弃，取而代之的是任务迁移。其次，针对模型鲁棒性和泛化性问题，更集成、更综合和更强大的多任务模型将逐步取代单任务模型，Mask R-CNN就是其中的代表，全病种的孵化也成为重点突破的研究热点。最后，针对直接使用端到端的卷积神经网络得出的结果使网络的可解释性较差，出现“黑匣子”问题，后期研究可仅在特征提取阶段应用卷积神经网络模型，再使用理论基础更强的算法作为后端处理。同时，后期的研究应将人工智能平台的决策过程及诊断依据可视化以增加可解释性。基于深度学习方法的智能影像评估与更无创、高效的多组学检测技术(如液体活检技术的基因蛋白组学)的结合，将在精准医疗的发展中发挥重要作用。

4 结语

人工智能技术将作为辅助新一代无创诊疗技术发展、推动精准医疗和个性化医疗的重要工具，大量高质量已标注影像病例的获取、多中心的研究验证、决策过程和诊断依据的可视化及第三方评价体系的建立尤为关键。此外，智能医学影像的发展不仅需要大数据技术和医学影像技术的深度融合、临床经验与多组学的大数据融合、人工智能人才和医学影像人才的融合，还需要以医学问题和临床结果为导向，实现微观—宏观—系统—精准微观的闭环式研究，进而解决在术前、术中和术后实现肿瘤的精准分割、疾病智能诊断以及对治疗效果、治疗反应和疾病状态的无创跟踪等实际临床问题。

参考文献

  • Aubreville M, Knipfer C, Oetter N, Jaremenko C, Rodner E, Denzler J, Bohr C, Neumann H, Stelzle F, Maier A. 2017. Automatic classification of cancerous tissue in laserendomicroscopy images of the oral cavity using deep learning. Scientific Reports, 7(1): #11979 [DOI:10.1038/s41598-017-12320-8]
  • Bibault J E, Giraud P, Housset M, Durdux C, Taieb J, Berger A, Coriat R, Chaussade S, Dousset B, Nordlinger B, Burgun A. 2018. Deep learning and radiomics predict complete response after neo-adjuvant chemoradiation for locally advanced rectal cancer. Scientific Reports, 8(1): #12611 [DOI:10.1038/s41598-018-30657-6]
  • Chen R H, Li J J, Zhou X, Liu J J, Huang G. 2017b. Fructose-1, 6-Bisphosphatase 1 reduces 18F FDG uptake in hepatocellular carcinoma. Radiology, 284(3): 844-853 [DOI:10.1148/radiol.2017161607]
  • Chen R H, Zhou X, Liu J J, Huang G. 2016. Relationship between 18F-FDG PET/CT findings and HER2 expression in gastric cancer. Journal of Nuclear Medicine, 57(7): 1040-1044 [DOI:10.2967/jnumed.115.171165]
  • Chen R H, Zhou X, Liu J J, Huang G. 2019. Relationship between the expression of PD-1/PD-L1 and 18F-FDG uptake in bladder cancer. European Journal of Nuclear Medicine and Molecular Imaging, 46(4): 848-854 [DOI:10.1007/s00259-018-4208-8]
  • Chen Y P, Li J N, Xiao H X, Jin X J, Yan S C and Feng J S. 2017a. Dual path networks[EB/OL].[2019-08-20]. https://arxiv.org/pdf/1707.01629.pdf
  • Choi H, Jin K H. 2018. Predicting cognitive decline with deep learning of brain metabolism and amyloid imaging. Behavioural Brain Research, 344: 103-109 [DOI:10.1016/j.bbr.2018.02.017]
  • Christopher M, Belghith A, Bowd C, Proudfoot J A, Goldbaum M H, Weinreb R N, Girkin C A, Liebmann J M, Zangwill L M. 2018. Performance of deep learning architectures and transfer learning for detecting glaucomatous optic neuropathy in fundus photographs. Scientific Reports, 8(1): #16685 [DOI:10.1038/s41598-018-35044-9]
  • Coroller T P, Agrawal V, Narayan V, Hou Y, Grossmann P, Lee S W, Mak R H, Aerts H J W L. 2016. Radiomic phenotype features predict pathological response in non-small cell lung cancer. Radiotherapy and Oncology, 119(3): 480-486 [DOI:10.1016/j.radonc.2016.04.004]
  • Coudray N, Ocampo P S, Sakellaropoulos T, Narula N, Snuderl M, Fenyö D, Moreira A L, Razavian N, Tsirigos A. 2018. Classification and mutation prediction from non-small cell lung cancer histopathology images using deep learning. Nature Medicine, 24(10): 1559-1567 [DOI:10.1038/s41591-018-0177-5]
  • Ding Y M, Sohn J H, Kawczynski M G, Trivedi H, Harnish R, Jenkins N W, Lituiev D, Copeland T P, Aboian M S, Aparici C M, Behr S C, Flavell R R, Huang S Y, Zalocusky K A, Nardo L, Seo Y, Hawkins R A, Pampaloni M H, Hadley D, Franc B L. 2019. A Deep learning model to predict a diagnosis of Alzheimer disease by using 18F-FDG PET of the brain. Radiology, 290(2): 456-464 [DOI:10.1148/radiol.2018180958]
  • Eldan R and Shamir O. 2015. The power of depth for feedforward neural networks[EB/OL].[2019-08-20]. https://arxiv.org/pdf/1512.03965.pdf
  • Esteva A, Kuprel B, Novoa R A, Ko J, Swetter S M, Blau H M, Thrun S. 2017. Correction: corrigendum: dermatologist-level classification of skin cancer with deep neural networks. Nature, 546(7660): #686 [DOI:10.1038/nature22985]
  • Fave X, Zhang L F, Yang J Z, Mackin D, Balter P, Gomez D, Followill D, Jones A K, Stingo F, Liao Z X, Mohan R, Court L. 2017. Delta-radiomics features for the prediction of patient outcomes in non-small cell lung cancer. Scientific Reports, 7(1): #588 [DOI:10.1038/s41598-017-00665-z]
  • Ferreira C A, Melo T, Sousa P, Meyer M I, Shakibapour E, Costa P and Campilho A. 2018. Classification of breast cancer histology images through transfer learning using a pre-trained inception resnet V2//Proceedings of the 15th International Conference Image Analysis and Recognition. Póvoa de Varzim, Portugal: Springer: 763-770[DOI: 10.1007/978-3-319-93000-8_86]
  • Fukushima K. 1980. Neocognitron: a self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position. Biological Cybernetics, 36: 193-202 [DOI:10.1007/BF00344251]
  • François C. 2016. Xception: deep learning with depthwise separable convolutions[EB/OL].[2019-08-20]. https://arxiv.org/pdf/1610.02357.pdf
  • Gulshan V, Peng L, Coram M, Stumpe M C, Wu D, Narayanaswamy A, Venugopalan S, Widner K, Madams T, Cuadros J, Kim R, Raman R, Nelson P C, Mega J L, Webster D R. 2016. Development and validation of a deep learning algorithm for detection of diabetic retinopathy in retinal fundus photographs. JAMA, 316(22): 2402-2410 [DOI:10.1001/jama.2016.17216]
  • Hao H X, Zhou Z G, Li S L, Maquilan G, Folkert M R, Iyengar P, Westover K D, Albuquerque K, Liu F, Choy H, Timmerman R, Yang L, Wang J. 2018. Shell feature: a new radiomics descriptor for predicting distant failure after radiotherapy in non-small cell lung cancer and cervix cancer. Physics in Medicine and Biology, 63(9): #095007 [DOI:10.1088/1361-6560/aabb5e]
  • Hosny A, Parmar C, Coroller T P, Grossmann P, Zeleznik R, Kumar A, Bussink J, Gillies R J, Mak R H, Aerts H J W L. 2018. Deep learning for lung cancer prognostication: a retrospective multi-cohort radiomics study. PLoS Medicine, 15(11): #e1002711 [DOI:10.1371/journal.pmed.1002711]
  • Hu J, Shen L, Samuel A, Sun G, Wu E H. 2020. Squeeze-and-excitation networks. IEEE Transactions on Pattern Analysis and Machine Intelligence, 42(8): 2011-2023 [DOI:10.1109/TPAMI.2019.2913372]
  • Huang G, Liu Z, van der Maaten L and Weinberger K. 2017. Densely connected convolutional networks[EB/OL].[2019-08-20]. https://arxiv.org/pdf/1608.06993.pdf
  • Ioffe S and Szegedy C. 2015. Batch normalization: accelerating deep network training by reducing internal covariate shift//Proceedings of the 32nd International Conference on International Conference on Machine Learning. Lille, France: ACM: 448-456
  • Jun Y, Eo T, Kim T, Shin H, Hwang D, Bae S H, Park Y W, Lee H J, Choi B W, Ahn S S. 2018. Deep-learned 3D black-blood imaging using automatic labelling technique and 3D convolutional neural networks for detecting metastatic brain tumors. Scientific Reports, 8(1): #9450 [DOI:10.1038/s41598-018-27742-1]
  • Kermany D S, Goldbaum M, Cai W J, Valentim C C S, Liang H Y, Baxter S L, McKeown A, Yang G, Wu X K, Yan F B, Dong J, Prasadha M K, Pei J, Ting M Y L, Zhu J, Li C, Hewett S, Dong J S, Ziyar I, Shi A, Zhang R Z, Zheng L H, Hou R, Shi W, Fu X, Duan Y O, Huu V A N, Wen C, Zhang E D, Zhang C L, Li O L, Wang X B, Singer M A, Sun X D, Xu J, Tafreshi A, Lewis M A, Xia H M, Zhang K. 2018. Identifying medical diagnoses and treatable diseases by image-based deep learning. Cell, 172(5): 1122-1131 [DOI:10.1016/j.cell.2018.02.010]
  • Krizhevsky A, Sutskever I, Hinton G E. 2017. ImageNet classification with deep convolutional neural networks. Communications of the ACM, 60(6): 84-90 [DOI:10.1145/3065386]
  • Kusumoto D, Lachmann M, Kunihiro T, Yuasa S, Kishino Y, Kimura M, Katsuki T, Itoh S, Seki T, Fukuda K. 2018. Automated deep learning-based system to identify endothelial cells derived from induced pluripotent stem cells. Stem Cell Reports, 10(6): 1687-1695 [DOI:10.1016/j.stemcr.2018.04.007]
  • He K M, Zhang X Y, Ren S Q and Sun J. 2015. Deep residual learning for image recognition[EB/OL].[2019-08-20]. https://arxiv.org/pdf/1512.03385.pdf
  • He K M, Zhang X Y, Ren S Q and Sun J. 2016. Identity mappings in deep residual networks[EB/OL].[2019-08-20]. https://arxiv.org/pdf/1603.05027.pdf
  • Lao J W, Chen Y S, Li Z C, Li Q H, Zhang J, Liu J, Zhai G T. 2017. A deep learning-based radiomics model for prediction of survival in glioblastoma multiforme. Scientific Reports, 7(1): #10353 [DOI:10.1038/s41598-017-10649-8]
  • Lee C S, Baughman D M, Lee A Y. 2017. Deep learning is effective for classifying normal versus age-related macular degeneration OCT images. Ophthalmology Retina, 1(4): 322-327 [DOI:10.1016/j.oret.2016.12.009]
  • Lee H, Yune S, Mansouri M, Kim M, Tajmir S H, Guerrier C E, Ebert S A, Pomerantz S R, Romero J M, Kamalian S, Gonzalez R G, Lev M H, Do S. 2019. An explainable deep-learning algorithm for the detection of acute intracranial haemorrhage from small datasets. Nature Biomedical Engineering, 3(3): 173-182 [DOI:10.1038/s41551-018-0324-9]
  • Li Z J, Wang Y Y, Yu J H, Guo Y, Cao W. 2017. Deep learning based radiomics (DLR) and its usage in noninvasive IDH1 prediction for low grade glioma. Scientific Reports, 7(1): #5467 [DOI:10.1038/s41598-017-05848-2]
  • Limkin E J, Sun R, Dercle L, Zacharaki E I, Robert C, Reuzé S, Schernberg A, Paragios N, Deutsch E, Ferté C. 2017. Promises and challenges for the implementation of computational medical imaging (radiomics) in oncology. Annals of Oncology, 28(6): 1191-1206 [DOI:10.1093/annonc/mdx034]
  • Lin L, Dou Q, Jin Y M, Zhou G Q, Tang Y Q, Chen W L, Su B A, Liu F, Tao C J, Jiang N, Li J Y, Tang L L, Xie C M, Huang S M, Ma J, Heng P A, Wee J T S, Chua M L K, Chen H, Sun Y. 2019. Deep learning for automated contouring of primary tumor volumes by MRI for nasopharyngeal carcinoma. Radiology, 291(3): 677-686 [DOI:10.1148/radiol.2019182012]
  • Lin M, Chen Q and Yan S C. 2013. Network in network[EB/OL].[2019-08-20]. https://arxiv.org/pdf/1312.4400v3.pdf
  • LeCun Y, Bottou L, Bengio Y, Haffner P. 1998. Gradient-based learning applied to document recognition. Proceedings of the IEEE, 86(11): 2278-2324
  • Nie K, Shi L M, Chen Q, Hu X, Jabbour S K, Yue N, Niu T Y, Sun X N. 2016. Rectal cancer: assessment of neoadjuvant chemoradiation outcome based on radiomics of multiparametric MRI. Clinical Cancer Research, 22(21): 5256-5264 [DOI:10.1158/1078-0432.CCR-15-2997]
  • Oakden-Rayner L, Carneiro G, Bessen T, Nascimento J C, Bradley A P, Palmer L J. 2017. Precision radiology: predicting longevity using feature engineering and deep learning methods in a radiomics framework. Scientific Reports, 7(1): #1648 [DOI:10.1038/s41598-017-01931-w]
  • Rosenblatt F. 1957. The perceptron—a perceiving and recognizing automation. 85-460-1. Cornell Aeronautical Laboratory
  • Rios Velazquez E, Parmar C, Liu Y, Coroller T P, Cruz G, Stringfield O, Ye Z X, Makrigiorgos M, Fennessy F, Mak R H, Gillies R, Quackenbush J, Aerts H J W L. 2017. Somatic mutations drive distinct imaging phenotypes in lung cancer. Cancer Research, 77(14): 3922-3930 [DOI:10.1158/0008-5472.CAN-17-0122]
  • Schlegl T, Waldstein S M, Bogunovic H, Endstraβer F, Sadeghipour A, Philip A M, Podkowinski D, Gerendas B S, Langs G, Schmidt-Erfurth U. 2018. Fully automated detection and quantification of macular fluid in OCT using deep learning. Ophthalmology, 125(4): 549-558 [DOI:10.1016/j.ophtha.2017.10.031]
  • Shi J, Zheng X, Li Y, Zhang Q, Ying S H. 2018. Multimodal neuroimaging feature learning with multimodal stacked deep polynomial networks for diagnosis of Alzheimer's disease. IEEE Journal of Biomedical and Health Informatics, 22(1): 173-183 [DOI:10.1109/JBHI.2017.2655720]
  • Sun R, Limkin E J, Vakalopoulou M, Dercle L, Champiat S, Han S R, Verlingue L, Brandao D, Lancia A, Ammari S, Hollebecque A, Scoazec J Y, Marabelle A, Massard C, Soria J C, Robert C, Paragios N, Deutsch E, Ferté C. 2018. A radiomics approach to assess tumour-infiltrating CD8 cells and response to anti-PD-1 or anti-PD-L1 immunotherapy: an imaging biomarker, retrospective multicohort study. The Lancet Oncology, 19(9): 1180-1191 [DOI:10.1016/S1470-2045(18)30413-3]
  • Szegedy C, Ioffe S, Vanhoucke V and Alemi A A. 2017. Inception-v4, Inception-ResNet and the impact of residual connections on learning//Proceedings of the 31st AAAI Conference on Artificial Intelligence. San Francisco, USA: AAAI: 4278-4284
  • Szegedy C, Liu W, Jia Y Q, Sermanet P, Reed S, Anguelov D, Erhan D, Vanhoucke V and Rabinovich A. 2015. Going deeper with convolutions//Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Boston, USA: IEEE: 1-9[DOI: 10.1109/CVPR.2015.7298594]
  • Szegedy C, Vanhoucke V, Ioffe S, Shlens J and Wojna Z. 2016. Rethinking the inception architecture for computer vision//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, USA: IEEE: 2818-2826[DOI: 10.1109/CVPR.2016.308]
  • Simonyan K and Zisserman A. 2014. Very deep convolutional networks for large-scale image recognition[EB/OL].[2019-08-20]. https://arxiv.org/pdf/1409.1556.pdf
  • Tang Y C. 2015. Deep learning using linear support vector machines[EB/OL].[2019-05-20]. https://arxiv.org/pdf/1306.0239.pdf
  • Ting D S W, Cheung C Y L, Lim G, Tan G S W, Quang N D, Gan A, Hamzah H, Garcia-Franco R, Yeo I Y S, Lee S Y, Wong E Y M, Sabanayagam C, Baskaran M, Ibrahim F, Tan N C, Finkelstein E A, Lamoureux E L, Wong I Y, Bressler N M, Sivaprasad S, Varma R, Jonas J B, He M G, Cheng C Y, Cheung G C M, Aung T, Hsu W, Lee M L, Wong T Y. 2017. Development and validation of a deep learning system for diabetic retinopathy and related eye diseases using retinal images from multiethnic populations with diabetes. JAMA, 318(22): 2211-2223 [DOI:10.1001/jama.2017.18152]
  • Titano J J, Badgeley M, Schefflein J, Pain M, Su A, Cai M, Swinburne N, Zech J, Kim J, Bederson J, Mocco J, Drayer B, Lehar J, Cho S, Costa A, Oermann E K. 2018. Automated deep-neural-network surveillance of cranial images for acute neurologic events. Nature Medicine, 24(9): 1337-1341 [DOI:10.1038/s41591-018-0147-y]
  • Vardhanabhuti V, Kuo M D. 2018. Lung cancer radiogenomics: the increasing value of imaging in personalized management of lung cancer patients. Journal of Thoracic Imaging, 33(1): 17-25 [DOI:10.1097/RTI.0000000000000312]
  • Wang S, Shi J Y, Ye Z X, Dong D, Yu D D, Zhou M, Liu Y, Gevaert O, Wang K, Zhu Y B, Zhou H Y, Liu Z Y, Tian J. 2019. Predicting EGFR mutation status in lung adenocarcinoma on computed tomography image using deep learning. European Respiratory Journal, 53(3): #1800986 [DOI:10.1183/13993003.00986-2018]
  • Xie S N, Girshick R, Dollár P, Tu Z W and He K M. 2017. Aggregated residual transformations for deep neural networks//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, USA: IEEE: 5987-5995[DOI: 10.1109/CVPR.2017.634]
  • Xie Y T, Xia Y, Zhang J P, Song Y, Feng D G, Fulham M, Cai W D. 2019. Knowledge-based collaborative deep learning for benign-malignant lung nodule classification on chest CT. IEEE Transactions on Medical Imaging, 38(4): 991-1004 [DOI:10.1109/TMI.2018.2876510]
  • Ypsilantis P P, Siddique M, Sohn H M, Davies A, Cook G, Goh V, Montana G. 2015. Predicting response to neoadjuvant chemotherapy with PET Imaging using convolutional neural networks. PLoS One, 10(9): #e0137036 [DOI:10.1371/journal.pone.0137036]
  • Yu Y, Wang J H, Ng C W, Ma Y K, Mo S P, Fong E L S, Xing J W, Song Z W, Xie Y F, Si K, Wee A, Welsch R E, So P T C, Yu H. 2018. Deep learning enables automated scoring of liver fibrosis stages. Scientific Reports, 8(1): #16016 [DOI:10.1038/s41598-018-34300-2]