Print

发布时间: 2020-10-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.200255
2020 | Volume 25 | Number 10




    综述    




  <<上一篇 




  下一篇>> 





深度学习在医学影像中的应用综述
expand article info 施俊1, 汪琳琳1, 王珊珊2, 陈艳霞2, 王乾3, 魏冬铭3, 梁淑君4, 彭佳林5, 易佳锦5, 刘盛锋6, 倪东6, 王明亮7, 张道强7, 沈定刚8
1. 上海大学通信与信息工程学院, 上海 200444;
2. 中国科学院深圳先进技术研究院保罗·C·劳特伯生物 医学成像研究中心, 深圳 518055;
3. 上海交通大学生物医学工程学院, 上海 200030;
4. 南方医科大学 生物医学工程学院, 广州 510515;
5. 华侨大学计算机科学与技术学院, 厦门 361021;
6. 深圳大学医学部 生物医学工程学院医学超声图像计算(MUSIC)实验室, 深圳 518060;
7. 南京航空航天大学计算机科学与 技术学院, 南京 211106;
8. 上海联影智能医疗科技有限公司, 上海 200232

摘要

深度学习能自动从大样本数据中学习获得优良的特征表达,有效提升各种机器学习任务的性能,已广泛应用于信号处理、计算机视觉和自然语言处理等诸多领域。基于深度学习的医学影像智能计算是目前智慧医疗领域的研究热点,其中深度学习方法已经应用于医学影像处理、分析的全流程。由于医学影像内在的特殊性、复杂性,特别是考虑到医学影像领域普遍存在的小样本问题,相关学习任务和应用场景对深度学习方法提出了新要求。本文以临床常用的X射线、超声、计算机断层扫描和磁共振等4种影像为例,对深度学习在医学影像中的应用现状进行综述,特别面向图像重建、病灶检测、图像分割、图像配准和计算机辅助诊断这5大任务的主要深度学习方法的进展进行介绍,并对发展趋势进行展望。

关键词

深度学习; 医学影像; 图像重建; 病灶检测; 图像分割; 图像配准; 计算机辅助诊断

Applications of deep learning in medical imaging: a survey
expand article info Shi Jun1, Wang Linlin1, Wang Shanshan2, Chen Yanxia2, Wang Qian3, Wei Dongming3, Liang Shujun4, Peng Jialin5, Yi Jiajin5, Liu Shengfeng6, Ni Dong6, Wang Mingliang7, Zhang Daoqiang7, Shen Dinggang8
1. School of Communication and Information Engineering, Shanghai University, Shanghai 200444, China;
2. Paul C Lauterbur Research Center, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences, Shenzhen 518055, China;
3. School of Biomedical Engineering, Shanghai Jiao Tong University, Shanghai 200030, China;
4. School of Biomedical Engineering, Southern Medical University, Guangzhou 510515, China;
5. College of Computer Science and Technology, Huaqiao University, Xiamen 361021, China;
6. Medical UltraSound Image Computing(MUSIC) Laboratory, School of Biomedical Engineering, Health Science Center, Shenzhen University, Shenzhen 518060, China;
7. College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics, Nanjing 211106, China;
8. Shanghai United Imaging Intelligence Co., Ltd., Shanghai 200232, China

Abstract

Deep learning can automatically learn from a large amount of data to obtain effective feature representations, thereby effectively improving the performance of various machine learning tasks. It has been widely used in various fields of medical imaging. Smart healthcare has become an important application area of deep learning, which is an effective approach to solve the following clinical problems: 1) given the limited medical resources, the experienced radiologists are not fully available, which cannot satisfy the fast development of the clinical requirement; 2) the lack of experienced radiologists, which cannot satisfy the fast increase of medical demand. At present, deep learning-based intelligent medical imaging systems are the typical scenarios in smart healthcare. This paper primarily reviews the applications of deep learning methods in various applications using four major clinical imaging techniques (i.e., X-ray, ultrasound, computed tomography(CT), and magnetic resonance imaging(MRI)). These works cover the whole pipeline of medical imaging, including reconstruction, detection, segmentation, registration, and computer-aided diagnosis (CAD). The reviews on medical image reconstruction focus on both MRI reconstruction and low-dose CT reconstruction on the basis of deep learning. Deep learning methods for MRI reconstruction can be divided into two categories: 1) data-driven end-to-end methods, 2) model-based methods. The low-dose CT reconstruction primarily introduces methods on the basis of convolutional neural networks and generative adversarial networks. In addition, deep learning methods for ultrasound imaging, medical image synthesis, and medical image super-resolution are reviewed. The reviews on lesion detection primarily focuses on the deep learning methods for lung lesions detection using CT, the deep learning detection model for tumor lesions, and the deep learning methods for the general lesion area detection. At present, deep learning has been widely used in medical image segmentation tasks, and its performance is significantly improved compared with traditional image segmentation methods. Most deep learning segmentation methods are typical data-driven machine learning models. We review supervised models, semi-supervised models, and self-supervised models with regard to the amount of labeled data and annotation. Medical images contain rich anatomical information, which enhances the performance of deep learning models with different supervision. Deep learning models incorporating prior knowledge are also reviewed. Medical image registration consistency is a difficult task in the field of medical image analysis. Deep learning has become a breakthrough to improve the performance of medical image registration. The end-to-end network structures produce high-precision registration results and have become a hotspot in the field of image registration. Compared with the conventional methods, the deep learning methods for medical image registration have a significant improvement in registration performance. According to the different supervision in the training procedure, this paper divides the deep learning methods for medical image registration into three modes: fully supervised methods, unsupervised methods, and weakly supervised methods. Computer-aided diagnosis is another application of deep learning in the field of medical imaging. This paper summarizes the deep learning methods on CAD with different supervision and the CAD works on the basis of multi-modality medical images. Notably, although deep learning methods have been applied in medical imaging, several challenges are still identified. For example, the small-sample size problem is common in medical imaging analysis. Advanced machine learning methods, including weakly supervised learning, transfer learning, few-shot learning, self-supervised learning, and increase learning, can help alleviate this problem. In addition, the data annotation of medical images is a problem that seriously restricts the extensive and in-depth application of deep learning, and extensive research on automatic data labeling must be carried out. Interpretability of the deep neural networks is also important in medical image analysis. Improving the interpretability of a deep neural network has always been a difficult point, and in-depth research must be carried out in this area. Furthermore, carrying out human-computer collaboration in medical care is important. The lightweight deep neural network is easy to deploy into portable medical devices, giving portable devices more powerful functions, which is also an important research direction. Deep learning has been successful in various tasks in medical imaging analysis. New methods must be developed for its further application in intelligent medical products.

Key words

deep learning; medical imaging; image reconstruction; lesion detection; image segmentation; image registration; computer-aided diagnosis(CAD)

0 引言

医学影像是临床疾病筛查、诊断、治疗引导和评估的重要工具。常规的影像诊断依赖于阅片医生的水平和经验,存在着主观性强、重复性低以及定量分析不够等问题,迫切需要新的智能技术介入,帮助医生提升诊断的准确性和阅片效率,同时也能进一步拓展医学影像在临床诊疗中的应用。

随着以深度学习为代表的人工智能技术快速发展,智慧医疗已经成为人工智能最为重要的应用领域之一,并成为解决医疗行业如下两大痛点的有效途径之一:1)医疗供需不平衡,影像医生短缺与临床影像数据大量增长之间的矛盾;2)影像医生水平参差不齐且资源分布不均。目前,与医学影像相关的医学成像系统和医学图像处理与分析是智慧医疗最为典型的应用场景。此外,深度学习方法已广泛应用于医学影像相关的各种任务中,并且取得了显著的成果(Litjens等,2017Shen等,2017a)。

本文主要综述深度学习方法在临床常用的4大影像技术(X射线、超声、计算机断层扫描(computed tomography,CT)和磁共振成像(magnetic resonance imaging,MRI))的各种分析处理任务中的应用现状,分别从图像重建、病灶检测、图像分割、图像配准和计算机辅助诊断(computer-aided diagnosis,CAD)这5个方面进行介绍。由于篇幅限制,本文对智能成像、医学图像配准这两个深度学习应用相对较少的方向进行较为重点的介绍。

1 图像重建

基于深度学习的智能图像重建是目前医学成像领域的研究热点。总体而言,人工智能技术应用于图像重建,具有降低扫描成本、提高图像质量、加快成像速度等优点。本节将主要介绍深度学习在MRI成像、低剂量CT成像和超声成像中的研究现状,同时也会对与图像重建紧密相关的医学图像合成进行介绍。

1.1 基于深度学习的MRI图像重建

传统的MRI存在着加速倍数较低、迭代重建时间长、参数选择困难和计算复杂度高等问题(Ravishankar和Bresler,2011Wang等,2018b)。深度学习可以自动地从大量数据中学习特征表达,实现高度非线性的映射。Wang等人(2016)首次提出将深度学习引入快速MRI重建之中,受到了业内广泛关注和支持,基于深度学习的MRI成像研究是智能成像领域发展最快的方向。

基于深度学习的MRI重建方法避免了传统基于模型的重建算法中手动调参的困难,并且在实际临床应用时会大幅缩短扫描时间和重建时间,具有潜在的临床应用前景。目前,基于深度学习的MRI重建方法主要可分为两类:1)基于数据驱动的端到端深度学习重建方法;2)基于模型的深度学习重建方法。

1.1.1 基于端到端深度学习的MRI重建方法

基于数据驱动的端到端深度学习MRI重建研究的重点在于利用深度学习网络学习欠采样数据到全采样数据(k空间或图像)的端到端映射关系。这类网络一般是在提取一组MRI数据的共同特征基础上,其特点是需要大量高质量的训练样本。目前常用于MRI重建的网络结构有U-Net(Zbontar等,2018Wang等,2019)、生成对抗网络(generative adversarial network, GAN)(Yang等,2018a)、Cascade Net(Schlemper等,2018)、DeepcomplexMRI(Wang等,2020a)、ResNet(Cai等,2018)和AUTOMAP(Zhu等,2018a)等。在此基础上,各种改进的重建网络不断提出(Sun等,2019bXiang等,2019; Wu等,2018aRan等,2020Zeng等,2020)。由于篇幅所限,现介绍两个典型的卷积神经网络(convolutional neural network, CNN)重建算法。

1) 基于级联CNN的MRI重建。Schlemper等人(2018)提出了一种对CNN进行级联而成的深层网络结构,并用于学习重建2维多帧动态心脏MRI。如图 1所示,该算法通过CNN模块对输入的降采样MR图像帧进行重建,通过数据一致性模块(data consistency,DC)在网络中融合图像在k空间的频域信息以辅助重建,两种模块以循环的方式进行级联,所以整个网络可以通过端到端的方式来重建。这样级联模式的优点在于网络的复杂度可以根据数据量的大小而调节。

图 1 基于深度级联卷积神经网络的动态MR图像重建流程图(Schlemper等,2018)
Fig. 1 Flowchart of deep cascade of convolutional neural networks for dynamic MR image reconstruction (Schlemper et al., 2018)

研究结果表明该算法的重建性能明显优于字典学习和压缩感知等传统方法,在重建误差与重建速度上都显著提升。同时该算法通过不同MR图像帧之间的参数共享,充分利用了动态图像序列中的空间相关性,因而在多帧MR图像序列的联合重建中也表现出了优异的性能。

2) 基于复数域CNN的MRI重建。MRI原理决定了扫描获得的原始数据是以复数形式构成。然而,目前基于深度学习的MRI重建方法一般仅利用幅值信息,或者是将复数MR图像的实部和虚部均视为两通道的实值数据,执行实数积,从而忽略了实部和虚部之间的相关性。充分利用复数的特性构建CNN网络可以提升MRI重建质量。

Wang等人(2020a)提出了一种基于复数卷积的残差网络(DeepcomplexMRI)用于并行MRI重建。该网络利用MR图像中实部和虚部之间的相关性,考虑k空间数据的拟合项,不需要额外地计算线圈灵敏度信息,可以自动学习跨通道的图像相关性。

图 2所示为DeepcomplexMRI网络的结构,网络由多个级联的块组成,每个块包括一个CNN单元和一个数据拟合单元。在网络的各层级联之间,获取的欠采样k空间数据用于更新层输出以增强数据的一致性。值得注意的是,CNN单元是一个复数的卷积网络,通过在每个CNN层中引入复数卷积来考虑相关性。

图 2 DeepcomplexMRI网络结构示意图(Wang等,2020a)
Fig. 2 Architecture of DeepcomplexMRI (Wang et al., 2020a)((a) network structure; (b) CNN unit)

1.1.2 基于先验模型的深度学习MRI重建方法

基于先验模型的深度学习重建方法是将传统的MRI重建模型与深度学习相结合,通过对优化算法进行网络化,从而学习重建模型的最优参数,而不是单纯地进行图像之间的映射(Sun等,2018, 2019a),从而可以增加模型的泛化能力,减少对训练数据的需求。这类方法受到越来越多的关注,其中的典型算法包括交替方向乘子法(alternating direction method of multipliers,ADMM)(Yang等,2016)、基于模型的深度学习(model-based deep lerning, MoDL)(Aggarwal等,2019)、变分网络(variational network, VN-Net)(Hammernik等,2018)和卷积去混叠网络(convolutional de-aliasing network, ConvDe-AliasingNet)(Chen等,2019cZhang等,2020bLiu等,2020)等。Liang等人(2020)分析指出各种基于模型的深度学习MRI重建方法与端到端深度学习重建的关联性。

本文列举较有代表性的两个基于模型的深度学习MRI重建算法。

1) 基于交替方向乘子法的MRI重建(ADMM-Net)。ADMM-Net是一个定义在数据流图上的深度架构(Yang等,2016, 2018a)。基于压缩感知MRI模型,图 3所示的流程图将成像模型的ADMM迭代过程展开为一种新型网络结构,成像模型和迭代算法的未知参数均转化为该网络的参数。在训练阶段,该算法使用L-BFGS(limited broyden-fletcher-goldfarb shanno)算法对网络中所有参数进行端到端训练。在测试阶段,所学习的ADMM-Net具有类似于ADMM算法的计算开销,但是使用从训练数据中学习到的参数进行基于压缩感知的核磁共振图像重建,即在k空间中以不同的欠采样率进行MRI图像重建。该方法是第一个将模型驱动的ADMM优化算法映射为可学习的深度网络架构的计算新框架。

图 3 ADMM-Net网络流程图(Yang等,2016)
Fig. 3 Flowchart of ADMM-Net (Yang et al., 2016)

2) 卷积去混叠网络用于并行MRI重建。Chen等人(2019c)提出了一种基于CNN模型优化的并行MRI重建算法(ConvDe-AliasingNet),能充分利用并行MR图像的特点,即在空间域和线圈间具有冗余和相关的信息。该算法网络结构如图 4所示(图 4 (a)中,橙色箭头表示通过前向传播重建下采样k空间数据的过程,绿色箭头表示通过反向传播更新参数),是对分裂伯格曼迭代算法进行网络化得到的。其中一次迭代拆分为图 4中蓝色标示的6层网络,网络输入为下采样的k空间数据。经过多次迭代,即可获得高质量的重建结果。图 4(b)(c)分别为一次迭代中的两个卷积执行的详细过程。

图 4 基于模型的去混叠网络用于pMRI重建的网络架构(Chen等,2019c)
Fig. 4 Convolutional de-aliasing network architecture for pMRI reconstruction (Chen et al., 2019c)
((a) the flow chart; (b) the detailed configurations of Conv1;(c) the detailed configurations of Conv2)

与经典的并行MRI方法如敏感度编码(sensitivity encoding, SENSE)、广义自动校准部分并行采集(generalized autocalibrating partially parallel acquisition, GRAPPA)以及并行图像重建(self-consistent parallel imaging reconstruction, SPIRiT)等相比,ConvDe-AliasingNet的加速倍数更高、重建速度更快(Chen等,2019c)。传统的并行重建算法,一般加速倍数为2~5×,而该算法在不影响医生诊断的条件下,加速倍数可达到9×,而且图像重建质量明显优于经典的并行MRI重建方法;与目前流行的端到端的深度学习方法相比,该算法在训练过程中不需要大数据量,且网络的稳定性比较好,泛化能力也比较强;同时与基于模型的深度学习并行MRI重建相比,该模型不需要计算线圈敏感度图。

1.2 基于深度学习的低剂量CT成像方法

临床常规使用的正常剂量CT(normal-dose CT,NDCT)是组合多角度X射线测量结果,辐射量较大。为了降低患者受到的潜在风险,通过降低射线强度或者稀疏角度实现低剂量CT(low-dose CT,LDCT)成像已经受到了广泛关注。然而,X射线电通量越小,重建的CT噪声越严重,降低了图像质量,从而不可避免地会影响诊断的准确性。目前,除了总变分、模型驱动迭代(model-based iterative reconstruction,MBIR)和字典学习等传统的LDCT成像方法,基于深度学习的LDCT重建研究是目前的研究热点。其主要通过CNN模型实现端到端的LDCT图像去噪任务,从而完成从LDCT到NDCT图像的恢复。由于篇幅所限,本文将介绍以下4种较为典型的方法。

1.2.1 基于编解码CNN的方法

编解码CNN(encoder-decoder CNN)是一种经典的CNN模型,广泛应用于图像去噪、超分辨率等任务。其网络的编码器部分在降采样的同时会生成包含大量语义信息的特征图,而解码器部分则是将语义特征图映射回与输入图像相同分辨率尺寸。此类编解码结构多使用残差连接方式,在补充上采样过程中所需细节信息的同时,也改善了训练过程中的梯度消失问题。面向图像恢复的编解码网络设计思路简单清晰,在噪声抑制中取得了不错的鲁棒性能,同时也可作为基本网络结构与其他方法结合,因此在LDCT图像重建中应用较为广泛。

Han等人(2016)率先提出基于编解码结构的深度残差网络,实现了稀疏角度的LDCT重建。该网络与经典的分割网络U-Net非常类似,将编码阶段特征图跳跃拼接至同尺度的解码阶段。而Chen等人(2017)提出了RED-CNN(residual encoder-decoder convolutional neural network),为避免信息损失,该网络使用完全对称的卷积和反卷积替代池化层和上采样层,完成图像在编解码过程中的尺寸变换。此外,进一步改进的3D卷积编解码网络(Shan等,2018)、模块化适应性处理神经网络(MAP-NN)(Shan等,2019)等算法也相继提出。

1.2.2 结合小波变换的CNN的方法

小波变换具有多尺度的特点,能将图像信号分解为不同的频率分量,为基于CNN的图像去噪提供更丰富的信息,提升去噪性能。因此,结合小波变换的CNN也是进行LDCT去噪的一个常用方法。

Kang等人(2017a, 2018)提出了WavResNet算法,在2016年的LDCT重建挑战大赛中取得了第2名的优异成绩。如图 5所示,该算法采用轮廓波(contourlet)变换对原始的LDCT图像进行分解,得到不同方向、不同频率范围的15个子带通道;然后将这些子带通道送入CNN网络进行训练,得到15个信道的输出数据进行重构,最终输出重建后的图像。该类方法在网络的输入输出两段分别对图像进行小波变换和小波逆变换,而中间部分CNN则保持图像尺寸不变,在设计上与深度学习实现超分辨率重建的方法较为类似。

图 5 基于小波域去噪的深度卷积神经网络结构(Kang等,2017a)
Fig. 5 Deep convolutional neural network architecture for wavelet domain denoising (Kang et al., 2017a)

另一种结合小波变换与CNN的常用方式是在网络结构中嵌入小波变换。Han等人(2018)为解决U-Net生成的图像模糊且含有伪影的问题,用小波分解和重构代替原始CNN中的池化层和上采样层,实现了不同尺度上小波变换的运用;此外,额外的网络通道传输了不同子带的高频分量,可以帮助网络更好地恢复CT图像中的高频细节。此类方法考虑到扫描伪影是全局分布,所以将小波变换与多尺度CNN相结合;而编解码结构具备多尺度的特点,促使小波变换与编解码网络可以进行有效融合。

1.2.3 基于生成对抗网络的方法

生成对抗网络(generative adversarial networks,GAN)分别训练一个生成器和一个判别器,通过让两者互相对抗博弈的方式训练深度网络,GAN在图像合成、图像恢复等领域已经表现出优异的性能。

Wolterink等人(2017b)将GAN引入LDCT去噪任务,利用生成器生成逼近NDCT的图像,而判别器用于鉴别真实的NDCT图像和生成器的预测图像。Yang等人(2018c)则采用训练更稳定的WGAN(Wasserstein GAN),同时加入感知损失函数,为模型赋予视觉感知知识,从而兼顾噪声抑制和细节信息保留。WGAN还应用于低剂量牙科CT图像的去噪恢复,同样取得了较好的图像重建效果(Hu等,2019)。Liao等人(2018)同样使用了感知损失函数,并提出了一种基于特征金字塔和差分调制聚焦图的判别器,该判别器可以让训练过程更注重多尺度的伪影。Yi和Babyn(2018)设计了一个锐度检测网络来指导生成对抗网络的训练过程,旨在增强网络对于低对比区域的敏感性。

总之,基于GAN的图像重建方法会根据任务进行针对性的设计,目的是引导网络在训练过程中有效完成噪声抑制,而且在保留解剖结构的同时产生更逼真的感知输出。此类方法在LDCT重建中具有很好的应用潜力。

1.2.4 基于正弦图域的深度学习方法

对于低剂量CT和稀疏角度CT,直接在传感器域对投影数据进行处理,然后再进行滤波反变换也是一种可行的方法。一些学者在这个方向上开展了初步研究,即使用常规的CNN对正弦图(sinogram)域的数据进行处理(Lee等,2018Ghani和Karl,2018Humphries等,2019Yin等,2019)。其中,Yin等人(2019)提出了一种区域渐进3维残差网络(DP-ResNet),如图 6所示,将整个成像流程分为3个阶段:正弦图域网络(sinogram domain sub-network, SD-Net)、滤波反投影(FBP)和图像域网络(image domain sub-network, ID-Net)。其中,SD-Net利用一个较浅的残差网络完成从低剂量投影数据到正常剂量投影数据的映射,而ID-Net则是对前一个网络的结果进行滤波反投影后,利用一个较深的残差网络完成最终去噪,两个网络在提高最终成像质量方面起到了互补的作用。

图 6 基于正弦图域的DP-ResNet算法流程(Yin等,2019)
Fig. 6 Flowchart of DP-ResNet based on sinogram domain(Yin et al., 2019)

由于原始数据难以获取,大部分LDCT研究还是围绕图像域展开, 这就导致基于正弦图域的方法较少,深度学习方法应用于正弦图域是否含有某些优势还有待进一步研究。

1.3 基于深度学习的超声成像方法

超声成像具有实时、无辐射以及费用低廉等优点,在中国是最为普及的医学成像方法。然而,与其他3种常用的医学影像相比,超声图像的分辨率和清晰度较低。而深度学习则为提升超声图像质量提供了可行的方法。目前,基于深度学习的超声成像主要有以下3方面的应用。

1.3.1 基于深度学习的传统B型超声成像方法

B型超声是临床应用最为广泛的超声成像。普通B型超声根据回波幅度重建图像,是临床实践中最常用的实时成像方式。在传统的波束形成方法中,B型超声图像含有散射源随机干扰引起的散斑噪声,影响了图像质量。

图 7所示,Luchies和Byram(2018)将深度神经网络(deep neural network,DNN)应用于超声波束形成器中,先通过离散傅里叶变换(discrete Fourier transform, DFT)将超声信道数据变换到频域,训练针对不同频率的DNN来抑制离轴散射,再通过离散傅里叶变换的逆变换(inverse DFT, IDFT)进行恢复,达到提高超声成像质量的目的。Yoon等人(2019)则利用Rx-Xmit平面的冗余度直接插值射频信号丢失的射频数据,在不影响图像质量的前提下,有效提升了成像的速率。此外,也有学者提出针对噪声的抑制方法(Hyun等,2019)和基于模型感知的快速重建策略(Luijten等,2019)。这些研究都充分表明深度学习在传统B型超声成像中的潜在应用价值。

图 7 基于深度神经网络(DNN)的超声波束形成(Luchies和Byram,2018)
Fig. 7 Ultrasonic beamforming based on deep neaural network (DNN) (Luchies and Byram, 2018)

1.3.2 基于深度学习的平面波超声成像方法

平面波超声成像具有很高的时间分辨率,可用于分析检测人体器官组织中信号的高速变化情况,是近年来超声成像新技术领域的重要研究方向。Perdios等人(2017)提出了一种基于叠层去噪自编码器的信号压缩和解压缩方法。该网络的第1层用于压缩信号,其余层执行重建,并在国际超声研讨2016平面波成像竞赛提供的PICMUS (plane-wave image challenge in medical ultrasound)数据集(Liebgott等,2016)上完成测试,证明了这种简单的结构在图像质量和计算复杂度方面都优于基于压缩感知框架的方法。除了应用于波束形成的过程,Nair等人(20182019ab)还分别将全卷积网络和生成对抗网络应用于图像分割,直接从超声信道数据中提取图像细节而无需波束形成。展现了DNN替代传统超声信息提取方法的前景。

1.3.3 基于深度学习的超声弹性成像方法

超声弹性成像已经逐步应用于乳腺癌、肝癌、甲状腺肿瘤等疾病的临床诊断。超声弹性成像能够重建出组织应变相关的图像,但目前的重建性能和效率还有待提升。基于深度学习的超声弹性成像研究也已经初步开展。例如,Wu等人(2018b)设计了一个端到端的CNN,直接从射频数据重建弹性信息。该网络仅用计算仿真作为训练数据,就可以从真实的射频数据中推断出弹性信息的分布。在后续的另一项工作中(Gao等,2019),如图 8所示,将特权信息学习(learning using privileged information,LUPI)这一迁移学习模式应用于CNN中,以纠正网络学习的中间状态,并且提出了一种数据生成策略,以保证训练样本和标签中特权信息的因果关系,改善医学数据不足的问题。

图 8 基于特权信息学习的超声弹性图像重建流程(Gao等,2019)
Fig. 8 Flowchart of LUPI-based construction of ultrasound elastography images(Gao et al., 2019)

1.4 医学图像合成

医学图像合成可以最大化利用现有临床所获取的医学图像来生成新模态图像,从而增强现有医学图像的信息,帮助提高正电子发射断层成像(positron emission tomography,PET)图像衰减矫正(Burgos等,2014Xiang等,2018)、目标区域分割(Cai等,2019Chen等,2020Dou等,2018)和多模态图像配准(Wei等,2019)等任务的性能。基于深度学习的医学图像合成研究是目前的热点之一。

医学图像合成主要包括跨模态的医学图像生成和医学图像超分辨率这两大类任务。前者是通过已有的图像模态合成缺失的图像模态,主要包括跨不同MRI模态的合成、MRI图像到CT图像的合成;而图像超分辨率则是从低分辨率图像重建高分辨率的图像,增加图像的细节信息。

1.4.1 跨模态MRI图像合成

目前的跨模态MRI图像合成主要研究从一个或几个MRI模态到其他缺失的一个或几个MRI模态的预测。深度学习模型,特别是GAN在跨模态MRI图像合成中获得了极大的应用(Mazurowski等,2019Lundervold和Lundervold,2019)。

Chartsias等人(2018)提出了一种类似于U-Net的网络,利用输入模态约束得到统一的隐空间,结合肿瘤等区域的标注信息复原得到缺失的模态,提高了关键区域的合成质量。Yu等人(2019)提出Edge-Aware GANs (Ea-GANs),如图 9所示,其网络由3个模块组成,包括生成器、判别器和边缘检测模块,原模态图像输入生成器以合成目标模态的图像,判别器用于判断输入的合成图像与真实图像的真伪,边缘检测模块负责将能够反映图像结构的边缘信息通过损失函数的形式结合进GAN。3个模块相互作用,实现了高质量的跨模态MRI图像合成。Dar等人(2019)提出一种新型条件GAN以实现T1至T2图像间的转换,在成对的模态数据上使用对抗损失函数保留了高频信息,使用感知损失函数增强了合成性能,同时,循环一致性损失函数也被应用于网络以充分利用未成对的模态数据的信息。Yang等人(2020b)提出了一种半监督的生成对抗网络实现双模态间的转换,其使用有监督的训练策略保证生成的目标模态与原模态图像间准确的空间相关性,同时使用无监督的训练方式为生成的图像提供真实且较原图像变化明显的视觉效果。

图 9 Ea-GANs流程图(Yu等,2019)
Fig. 9 Flowchart of Ea-GANs(Yu et al., 2019)

1.4.2 MR图像合成CT图像

与CT相比,MR图像不能直接提供必要的密度信息,但是扫描CT图像存在辐射,所以通过MR图像合成CT图像可以帮助解决诸如放疗计划等场景下的临床问题。

Xiang等人(2018)提出了一种改进的全卷积网络(fully convolutional networks,FCN)结构,完成了配对的脑部、前列腺T1图像到CT图像的合成,取得了铰传统的基于图谱方法更高精度的合成CT。此外,多种基于CycleGAN模型的网络相继提出,以解决训练数据中MRI图像与CT图像不匹配的问题。Wolterink等人(2017a)利用CyclaGAN模型在不成对的数据上实现了MRI-to-CT合成,取得了相比于利用成对数据的GAN模型更好的效果。Yang等人(2018b)提出了Structure-Constrained CyclGAN, 其中定义了一个结构一致性损失函数,以保证合成的CT图像与真实图像具有相似的结构。Hiasa等人(2018)提出了如图 10所示的网络结构,网络包含两组生成器与判别器,分别用于由CT图像生成MR图像以及由MR图像生成CT图像。由于输入的原模态图像没有对应的目标模态标签图像,网络利用循环一致性损失,将输入的原模态图像依次经过两个生成器再次生成该模态的合成图像,利用约束输入图像与合成图像间相似度的损失函数,优化两个生成器的网络参数,以保证单个生成器能有效地完成模态转换的任务。网络同时将对梯度的约束加入循环一致性损失函数中,以此提升生成图像的边缘准确性。

图 10 基于Cycle-GAN的MRI和CT图像流程图(Hiasa等,2018)
Fig. 10 Flowchart of Cycle-GAN for MRI-to-CT (Hiasa et al., 2018)

1.4.3 医学图像超分辨率

分辨率是MRI图像的一个重要指标,高分辨率MRI图像能提供更多的结构细节。然而,硬件条件、扫描时间等因素限制了MRI图像的分辨率。由于超分辨率方法属于图像后处理技术,应用较为方便,因此,基于超分辨率的MRI重建研究也是目前的一个重要方向。

MRI图像的超分辨率研究主要基于CNN实现。Pham等人(2017)使用基于SRCNN(super-resolution convolutional neural network)(Dong等,2014)的简单的3层网络结构由低分辨率MRI图像重建高分辨率图像,验证了CNN在MRI图像超分辨率任务上的有效性。之后,针对重建图像质量一般、结构和细节信息丢失、边缘模糊等问题,各种超分辨率网络对CNN从网络结构和损失函数策略等方面进行改进,提升了MRI超分辨率重建的性能(Shi等,2018a, 2019Zhao等,2019b)。然而,由于缺乏真实采集的成对低分辨率和高分辨率的MRI图像,目前研究中的低分辨率图像主要是由真实的高辨率图像通过图像模糊和下采样等操作生成,导致目前研究算法缺乏真实数据集的验证。

另一方面,动脉自选标记(arterial spin labeling,ASL)MRI是一种非侵入式的衡量定量脑血流的成像技术,受动脉血液的纵向弛豫时间和标记后的传输时间等物理因素制约,高分辨率ASL MRI通常难以获得,传统方法获取高分辨率图像消耗大量时间,且伴随有很大噪声,因此针对ASL MRI的超分辨率研究具有较强的实际应用价值。Li等人(2019c)提出了一种两阶段多损失函数的CNN结构,如图 11所示,首先通过第1阶段的重建获取噪声较小的高分辨率重建图像,然后送入第2阶段网络以进一步优化其高频细节,最后在统一框架下进行整个网络的优化,通过加权融合生成高分辨率的ASL MRI图像。

图 11 两阶段多损失函数的超分辨率网络结构(Li等,2019c)
Fig. 11 Architecture of the two-stage multi-loss SR network (Li et al., 2019c)

2 病灶检测

医学图像中的病灶区域检测通常是指在影像中定位和识别病变区域。临床病灶检测易受到阅片医生水平和经验等的影响,导致出现漏检或者误检。而采用计算机辅助检测(computer-aided detection,CAD)则具有一致性和可重复性好的优点,能帮助医生提高病灶检测的准确性和提升效率。

与传统的目标检测方法相比,基于深度学习的目标检测方法的性能有了显著提升,Faster-RCNN(Ren等,2017)、YOLO(you only look once)(Redmon和Farhadi,2018)、SSD(single shot detection)(Liu等,2016)等算法是其中的典型代表,而各种改进算法不断被研究提出,并且开始应用于不同模态医学图像、不同组织器官中的病灶检测任务之中(Yan等,2019Shao等,2019)。但是,由于医学影像和疾病的多样性、复杂性,其病灶检测任务的难度更大。限于篇幅,本文列举几种典型的病灶检测应用。

2.1 基于CT的肺部病灶深度学习检测模型

基于CT图像的肺结节检测是深度学习应用于医学影像最为热门的研究方向之一,其原因在于Kaggle提供了一个大样本的公开数据集,吸引了学术界和工业界的广泛兴趣,于是有一大批基于深度学习的病灶检测算法被研究提出。例如,Ding等人(2017)将反卷积引入Faster R-CNN中,用于轴向切片的候选区域选取,并利用3D CNN模型减小假阳性出现的概率;Zhu等人(2018b)将Faster R-CNN拓展到3D结构,并进一步设计为双路网络和编解码结构,从而有效地学习结节特征;Xie等人(2019)将Faster R-CNN改进为使用两个区域候选网络,并针对3种不同切片分别训练3个模型进行集成,从而减少错检的可能;Zhu等人(2018c)以Faster R-CNN为基础,从电子病历(electronic medical records, EMR)中挖掘弱监督的标签,并引入了期望最大化模型,利用后验概率训练结节检测网络;Khosravan和Bagci(2018)提出了S4 ND (single-shot single scale nodule detection)模型,采用3D密集连接模块进行特征提取,不需要额外的分支结构就可以快速检测肺结节。

此外,CT也是临床上诊断新型冠状病毒肺炎(COVID-19)的有效手段,目前基于CT的COVID-19病灶检测以及进一步的辅助诊断、分析研究已经如火如荼地开展(Shi等,2020Dong等,2020)。

2.2 面向肿瘤病灶的深度学习检测模型

钼靶被认为是乳腺癌诊断的金标准。目前,国际公认的多个钼靶公开数据库都可以进行乳腺病灶检测任务,吸引了广泛的研究兴趣。例如,Akselrod-Ballin等人(2016)将Faster-RCNN、YOLO等常用的深度学习检测模型进行一定改进,应用于基于钼靶图像的乳腺肿瘤自动检测和辅助诊断;Xiao等人(2019)通过引入最高似然损失以及新的采样方式来选择和训练疑似的病灶目标区域,并提出相似性损失以进一步从目标中识别可疑目标,从而降低自动检测过程中假阳性高的问题。

超声成像也是乳腺癌的常用诊断工具。由于超声图像质量相对略低,从超声图像中精准检测病灶区域是一项困难的任务,目前也已经有相关的工作逐步开展。Zhang等人(2019c)在Faster R-CNN的基础上,通过将多尺度特征提取和多分辨率候选框提取引入深度网络模型,提升了对超声图像中较小的乳腺病变的检测能力。超声成像还广泛应用于其他浅表的肿瘤检测与诊断,如甲状腺癌、肝癌等,而采用深度学习方法对这些肿瘤的病灶区域进行检测的研究工作已经开展(Lee等,2018Li等,2018Song等,2019Liu等,2019b)。

相比于静态医学影像,时间序列下的动态影像可以更加精确地反映病灶区域。例如,动态对比增强磁共振图像(dynamic contrast-enhanced MRI,DCE-MRI)在临床上的应用也越来越广泛。Maicas等人(2017)利用深度强化学习提升网络的注意力机制,将针对病变区域的搜索由整个DCE-MRI序列逐渐集中到乳腺肿瘤病灶所在的区域内,大大缩短了检测时间。Deng等人(2019)在Faster R-CNN的基础上,考虑到DCE-MRI的时空特性,利用卷积长短期记忆网络(ConvLSTM)进行特征提取,提升了乳腺病灶检测的性能。

2.3 基于深度学习的通用病灶区域检测模型

随着目标检测算法泛化性的增强和数据集的不断完善,病灶区域检测算法的研究趋势从只能检测某一部位病变的模型向可以检测多个部位的通用模型发展。尤其是在CT图像中,随着大样本的多部位病灶区域检测数据集Deeplesion(Yan等,2018b)的出现,众多研究者开始进一步研究通用的病灶区域检测模型,即只训练出一个模型,就能同时检测骨骼、腹部、纵膈、肾、肝、肺、软组织以及骨盆等多个部位的病灶。例如,Yan等人(2018a)通过整合2D特征图进而有效提取3D图像的上下文信息,该端到端模型容易训练,并可检测所有部位的病灶;Tao等人(2019)在R-FCN的基础上,利用跨切片的双重注意力机制,选择性聚合不同切片的信息,以解决不同部位病灶较小的类间差异;Yan等人(2019)在Mask R-CNN的基础上,增加头部分支并采用3D特征融合策略,可同时进行多个部位病灶的检测、分类和分割;Shao等人(2019)在FPN的基础上,提出了融合通道注意力机制和空间注意力机制的多尺度增强器提高特征表达能力,多尺度增强器通过不同尺度的扩张卷积获取不同粒度的特征,注意力模块提高了对关键特征的响应能力;Li等人(2019d)同样在FPN的基础上,借助临床实践的知识,提出了多视图FPN,从具有不同尺寸的视图中提取多视图特征,并提出位置感知注意力模块对多视图特征进行有效组合,从而实现更加有效的数据利用;Zlocha等人(2019)则在RetinaNet的基础上,使用差分进化搜索算法,优化RetinaNet中的锚点配置。在训练过程中,通过利用肿瘤中的反应评估标准进行注释,在Deeplesion数据集上取得了优异的结果。总体而言,组织器官、病灶的多样性导致通用型检测模型的性能还有待进一步提升。

3 医学图像分割

图像分割是医学图像分析和解译的重要前提或环节。然而,由于人体器官多样性、病灶形状复杂性、图像噪声干扰等问题,自动精准的医学图像分割仍然是一个尚未解决的难题。深度学习具有自动从数据中学习深层次、鉴别性特征的能力,已在医学图像分割领域广泛应用,其性能较传统图像分割方法具有显著提升(Litjens等,2017Yi等,2019Tajbakhsh等,2020Cheplygina等,2019)。深度学习模型是典型的数据驱动的机器学习模型,本文根据标注数据量和标注方式分别介绍全监督模型和非完全监督模型(Yi等,2019Tajbakhsh等,2020)。此外,医学图像含有丰富的解剖信息,能够增强包括全监督和非完全监督模型在内的深度学习模型的性能,因此还将单独介绍融合先验知识的深度学习模型。

3.1 全监督分割模型

在给定训练样本及其对应的像素/体素级标注情形下构建的分割模型称为全监督模型。在基于深度学习的医学图像分割方法中,基于端到端学习的FCN是一种典型分割网络(Long等,2015)。而其中的U-Net是一种经典的分割算法(Ronneberger等,2015),其通过含有跳跃连接的编码—解码结构的网络结构,有效地提升分割精度。U-Net及其改进的网络结构在各种医学图像的不同组织器官或病灶的分割任务中获得了最为广泛的应用(Litjens等,2017Yi等,2019)。但由于医学图像的多样性、复杂性,通用模型的分割性能往往有限,为此,研究者们从多个维度提出了适于医学图像分割的深度神经网络模型。

1) 为了提高神经网络所提取特征的表达能力以及网络分割精度,研究者们还引入了计算机视觉领域广泛应用的高级结构或模块,如残差连接(He等,2016)、空洞卷积(Nie等,2019)、密集卷积网络(Khened等,2019)、Inception(Szegedy等,2016)、Squeeze-and-Excitation(Hu等,2020)、注意力机制(Schlemper等,2019)、深监督(Jia等,2019a)和GAN(Han等,2018)等。例如Schlemper等人(2019)在U-Net的跳跃连接中引入注意力机制;Zhou等人(2020b)则提出了U-Net+ +,引入了多个解码器并在多个解码器间增加了跳跃连接。

2) 在像素级监督信息基础上,引入边缘监督信息等其他辅助信息也是常用的策略(Jia等,2019aZhang等,2019b)。例如,针对MR图像中的前列腺分割问题,Jia等人(2019a)引入了注意力机制和额外的边界检测分支来提高分割精度;针对CT图像中形态差异大的器官分割问题,Roth等人(2018)在CT图像3个视图上使用整体嵌套网络(holistically-nested networks,HNN)(Xie和Tu,2015),融合胰腺边缘信息和内部信息,实现胰腺的准确分割。在分割过程中,利用CT盆腔器官的形状特性回归约束器官的轮廓,能够提高分割精度,如He等人(2019)利用多任务学习策略将特征曲线信息引入到深度特征的学习中,并应用于指导前列腺、膀胱和直肠的分割。

3) 分割多个目标或含有多个子结构的目标是医学图像分割中一类重要而有挑战的问题。研究者们主要采用模型级联、多任务结构、注意力机制等方法利用不同目标结构间的关系(Zhou等,2018, 2020aHan等,2018Jia等,2019bXu等,2019Du等,2020Xue等,2019)。例如,针对脑胶质瘤多子区域的分割问题,Zhou等人(2018)利用多任务网络将多子结构分割问题集成到同一个网络,并通过课程学习的方式逐次实现多任务分支的训练。Xu等人(2019)则进一步在多任务分支间增加了注意力机制以有效利用不同任务间的关系。

4) 有效融合多模态信息提高分割精度等是医学图像分割中的另一个重要问题(Zhang等,2015)。常见的多模态分割网络结构是具有多个输入分支的网络。根据多个输入分支的融合位置所处的不同网络阶段,可以分为早期融合(Zhang等,2015)、晚期融合(Pinto等,2018)和多阶段融合(Dolz等,2019Zhou等,2019bLi等,2019a)。针对多模态MR图像分割问题,Dolz等人(2019)在经典的编码—解码结构中引入了多个编码器,并在多个编码器间引入了超密集连接。Li等人(2019a)则使用了注意力机制来增强不同分支的多阶段融合。Shen等人(2019)进一步考虑了模态缺失情形下的脑肿瘤分割问题。针对CT—多模态MR图像分割问题,Tang等人(2020)设计了一个双结构深度特征融合网络,在高级语义特征层面利用MR特征补充CT特征,提升在CT图像上术后胶质瘤的分割结果。

5) 根据处理3维医学图像数据的方式不同,常见的分割方法还可分为2D分割网络和3D分割网络。(1) 2D网络对内存需求更少,但逐层分割的方式忽略了层间信息和其他截面的信息。针对2D分割,递归神经网络常被用于有效利用层间信息,而多维聚合则被用于融合在不同截面上的信息(Chen等,2018Zhao等,2018Perslev等,2019)。(2) 3D网络一般具有更好的分割精度,但往往受限于硬件而不能涉及更大更宽的网络。因此,在不损失性能前提下,研究模型轻量化成为一个重要方向(Jia等,2019bChen等,2019a)。Yang等人(2017b)将长短期记忆(long short-term memory, LSTM)植入到级联模型中以增强空间一致性和边界细节,从而递进改善分割性能。

3.2 非完全监督分割模型

医学图像数据的像素/体素级标注通常较为耗时、专业要求非常高,导致用于训练的已标注样本数量较为有限,影响深度学习分割模型的训练。因此,研究非完全监督的模型是一个重要发展方向(Tajbakhsh等,2020Cheplygina等,2019)。常见的非全标注类型包括部分标注和弱标注。本文针对这两类问题介绍近期的一些重要进展。

1) 针对只有部分数据含有像素/体素级标注的问题,研究者们提出了一系列基于增量学习(incremental learning)或自训练(self-training)、联合训练(Co-training)、生成对抗学习和知识蒸馏(knowledge distillation)等思想的医学图像分割模型(Peng等,2020Bai等,2017Zhao等,2019cNie等,2018Wang等,2020c)。例如针对心脏MR图像分割,Bai等人(2017)提出了一种基于自训练的方法逐步实现无标记数据的精细分割。Carneiro等人(2015)提出了一种新颖的增量在线半监督方法用于超声心脏左心室的分割。Nie等人(2018)提出的ASD-Net则结合了自训练、注意力机制和对抗学习等技术。Yang等人(2018d)提出一种结合自训练和对抗学习的在线对抗表观特征转换方法,以提高超声图像分割模型的泛化性能。

2) 当训练数据仅仅含有弱标注(例如图像级标注、稀疏标注、边框标注等),经典监督学习方法无法有效应用(Ouyang等,2019Wu等,2019Rajchl等,2017Kervadec等,2019)。在胸部X射线图像分割中,Ouyang等人(2019)考虑了部分数据只含有图像级标注的情形,并利用多任务网络和注意力机制实现了较高精度的分割。针对只有图像级标注的弱监督情形,Wu等人(2019)在类激活图(class activation maps,CAMs)方法中加入了注意力机制,并应用于MR图像中脑肿瘤分割。针对边框标注的情形,Rajchl等人(2017)提出一种DeepCut模型,通过迭代神经网络模型和条件随机场(conditional random field,CRF)模型实现像素级分割。Wang等人(2020b)设计了一个融合体素分类和边界回归的混合损失网络,利用不完整的标签数据对CT盆腔器官进行语义分割。

3.3 融合先验知识的深度分割模型

医学图像中目标器官解剖结构是重要的先验信息(Dong等,2016Oktay等,2018Ambellan等,2019Duan等,2019Kervadec等,2019Chen等,2019b),结合先验信息可以有效提高全监督和弱监督模型的分割性能。有效地表示先验知识并与神经网络模型相结合是目前的研究热点。当前深度分割模型利用的先验知识主要有基于数据学习的先验解剖(如形状)知识以及抽象(如体积)先验知识。

1) 为了利用先验解剖信息,Degel等人(2018)利用自编码器学习心脏的形状先验以对左心房的超声图像分割进行约束。针对MR图像中膝关节分割问题,Ambellan等人(2019)提出结合3D统计形状模型(3D statistical shape models,SSMs)和2D/3D全卷积神经网络模型。Tong等人(2018)则利用基于形状表示模型(shape representation model, SRM)的目标器官形状表示来约束神经网络的训练。Fang等人(2019)则使用图谱作为神经网络模型的先验知识。

2) 为了利用目标物体积、不变矩等多种抽象先验信息,Kervadec等人(2019)提出一类带有线性约束的卷积神经网络。Man等人(2019)基于深度强化学习(deep reinforcement learining, DRL)策略,提出了基于上下文交互机制的各向异性几何感知的可变形深度学习定位与分割框架,利用深度Q网络(deep Q network, DQN)建立一个上下文自适应定位机制,自适应学习定位错误修正策略,得到稳定可靠的胰腺定位结果;利用可变形的深度U型网络提取胰腺的几何特征,精确和稳健地分割具有明显非刚性形状变形的胰腺。

4 医学图像配准

医学图像配准可在不同图像的相同结构、功能区域之间建立空间对应关系,将待配准图像映射到模板图像所定义的空间域并对齐(Sotiras等,2013)。上述过程的求解一般通过数值优化完成(Haskins等,2020),首先定义待配准图像与模板图像之间的相似性度量,继而计算该相似性度量相对空间变换或映射的梯度,并迭代完成对空间变换的估计。深度学习成为提升医学图像配准性能的突破口(Haskins等,2020Litjens等,2017),其端到端的应用方式、高精度的配准结果是目前图像配准领域的研究热点。基于深度学习的医学图像配准方法在训练阶段通过大量的训练数据优化网络的参数。在测试阶段,网络可以通过前向卷积快速得到待求的空间变换,而无需再进行繁琐的数值优化。

配准方法有多种不同的分类。根据图像模态的差异,可分为单模态配准和多模态配准。根据空间变换程度的不同,可分为刚性配准、仿射配准、可形变配准等。本文重点探讨深度学习在医学图像配准中的应用,根据训练方法的不同,将基于深度学习的医学图像配准方法分为全监督、无监督和弱监督3种模式(Haskins等,2020)。

4.1 全监督配准模型

全监督的医学图像配准模型在训练阶段的每次迭代中,输入两幅图像,通过网络回归获得输出的空间变换参数(例如刚性变换矩阵、仿射变换矩阵、密集形变场等)(Eppenhof和Pluim,2019Cao等,2018Yang等,2017aFan等,2019bEppenhof等,2020)。通过在当前获得的空间变换参数与监督数据之间定义损失函数,可在空间变换所处的高维数据空间中计算误差,进而反向更新网络参数。这样的训练需要大量数据的参与,以训练可靠准确的网络模型。而在测试阶段,只需要输入待配准的两幅图像,就可以直接求得所需的空间变换参数。

全监督配准模型在训练时需要预先得到配准的空间变换参数,以作为网络优化的监督信息。Eppenhof和Pluim (2019)通过Bspline的方式采样得到密集形变场,并将该形变场作用于真实图像(如图 12),得到新的变形后的图像。这样构成的一组浮动—固定图像及对应的密集形变场,可在全监督模式下训练U-Net网络。类似策略还包括Cao等人(2018)通过医学图像配准软件ANTs (advanced normalization tools)对图像预先进行配准,并将得到的形变场作为训练网络的ground truth。

图 12 基于有监督学习CNN的CT配准算法中的训练集数据准备流程(Eppenhof等,2020)
Fig. 12 Schematic explaining the on-the-fly training set construction in the CT registration through supervised learning with CNN (Eppenhof et al., 2020)

4.2 无监督配准模型

无监督的配准方法(Balakrishnan等,2019; de Vos等,2019)与传统方法的类似之处在于,两者都需要对图像的相似性加以定义,即网络的损失函数由图像相似性测度和空间变换约束(例如密集形变场的平滑程度)项组成。网络输出的空间变换参数,直接作用到待配准图像并得到形变后的图像;计算该图像域模板图像之间的相似性,并反向对网络进行优化。损失函数中的约束项一般直接定义在表示空间变换的参数空间,比如采用对形变场梯度的范数对形变场的剧烈变化加以削弱,以确保获得平滑的空间变换。训练阶段,通过大量的数据优化网络的参数;而在测试阶段,输入待配准的两个图像,直接得到形变场。

图 13所示,Balakrishnan等人(2019)通过定义均方误差(mean square error, MSE)相似性测度和形变场平滑约束构成的损失函数,优化一个简单的U-Net网络,以无监督的方式训练得到了脑MR图像的配准模型VoxelMorph;de Vos等人(2019)通过无监督的训练方式叠加训练几个网络完成仿射、可形变的配准。

图 13 VoxelMorph配准流程图(Balakrishnan等, 2019)
Fig. 13 Flowchart of VoxelMorph registration (Balakrishnan et al., 2019)

4.3 弱监督配准模型

基于无监督模型的框架,弱监督(Hu等,2018)的配准方法在训练阶段引入现存的标注,以此引入额外的信息优化网络的参数配准精度,该方法在测试阶段不需要额外的标注信息。

Hu等人(2018)在训练阶段引入了前列腺区域的标注,通过计算形变后的标注数据和目标图像的标注数据优化网络的参数,进而完成了超声图像和磁共振图像的配准(如图 14所示)。基于弱监督模型的方式,可以帮助网络获取图像的生理解剖信息,进而提高多模态的配准。

图 14 弱监督模型训练策略(Hu等,2018)
Fig. 14 Training strategy of weakly-supervised registration framework (Hu et al., 2018)

基于上述3种配准模型的方法仍然面临着配准精度待提升、形变场交叉折叠、跨模态配准鲁棒性等问题,因此,也不断有其他的配准方法提出。例如,Zhao等人(2019a)提出了叠加网络的方法提高配准的精度,通过几个网络的叠加、形变参数的耦合,配准精度可以得到有效提升。Fan等人(2019b)通过结合定义好的图像域相似性度量和形变场的形似度量作为损失函数优化网络参数,进一步提高现有模型的配准精度。为了解决多模态、同模态的配准,Fan等人(2018, 2019a)提出通过GAN的方法,基于判别器来判断进行图像的测度。Dalca等人(2018)Yang等人(2017a)提出通过网络估计速度场和动量场,并通过积分得到了形变场来完成微分同胚的变换。Shen等人(2019)通过提出自适应的方案解决自适应约束的问题,通过网络优化得到不同区域适应不同测度函数的形变参数进而在提高配准精度的同时降低了形变场的折叠情况。Wei等人(2020)提出通过预测中间图像的方式完成基于引导方式的图像配准,进而完成脑的分析、手术的引导,提高了配准的精度和鲁棒性。

总体而言,基于深度学习的医学图像配准方法在配准性能上有了较为显著的提升,其自身精度高、效率高等优势给了配准在手术导航等实际的临床问题中很大的发展空间(Miao等,2016)。但也存在着一定的局限性,包括对训练数据的要求、对硬件的要求等,在实际的应用中限制了其广泛的应用。基于深度学习的方法和传统的方法在目前的应用阶段各有所长,简化深度学习的训练数据可能会成为解决这一核心问题的关键。与此同时,传统配准方法面临的诸如鲁棒性等挑战,深度学习也尚未解决。

5 计算机辅助诊断

计算机辅助诊断(CAD)是人工智能技术在医学影像领域的典型应用,大量研究已经证明了CAD具有一致性和可重复性好、效率高等优点,能有效进行定量分析,帮助医生提高诊断的准确性以及提升诊断效率。根据用于训练CAD的样本是否具有标签信息,可以将CAD研究分成全监督模型和非完全监督模型。此外,基于多模态医学影像的CAD研究也是目前的热点之一。

5.1 全监督深度学习模型

全监督深度学习模型在CAD领域应用广泛,其要求所有的训练样本都已经进行了标注,充分利用标签信息来引导网络的训练。由于端到端的深度学习模式能自动实现基于医学影像的疾病诊断,就应用而言更为方便,已成为当前CAD研究中的主流方法。此类方法主要是CNN及其改进的各种网络模型。值得注意的是,应用于CAD模型训练的医学影像数据往往会面临标记样本量有限的问题,而CNN一般需要大量数据才能训练出有效稳定的网络模型。为解决此问题,基于已经在自然图像等领域预训练的CNN网络(如VGG16、AlexNet、GoogLeNet、ResNet、DenseNet等),进一步采用已标记的特定医学图像进行模型微调,是一种常用的提升CAD模型性能的方法(Shin等,2016)。

CT图像中肺结节的检测与诊断是CNN在CAD领域的典型应用之一,由于Kaggle提供了一个大样本的公开数据集,研究人员提出了各种各样有监督深度学习算法实现了肺结节诊断。值得注意的是,CT还是临床诊断新型冠状病毒肺炎(COVID-19)的有效手段,目前基于CT的COVID-19辅助诊断研究已经如火如荼地开展,而基于深度学习的CAD模型是目前的主流(Shen等,2017bKang等,2017b)。

基于X射线的CAD主要面向乳腺癌等疾病的诊断。在基于钼靶的乳腺癌CAD中,既有针对病灶感兴趣区域建立CNN模型,也有面向整幅图像直接进行判别诊断。值得注意的是,除了常规的CNN及其改进的网络模型,基于CNN的多示例学习方法也成功应用于乳腺癌的钼靶CAD之中(Carneiro等,2015)。

基于超声成像的CAD主要应用于乳腺、甲状腺、肝脏等浅表癌症。目前相关研究主要基于2D的B型超声图像开展,并且是针对图像中的病灶区域构建端到端的CNN模型(Liu等,2019a),或者是采用影像组学方法提取高通量特征,然后再采用DNN模型提升特征表达和分类性能。由于B型超声图像质量受到斑点噪声影响, 以及诊断用的B超图像和图像中的病灶区域的选择都依赖于医生的水平和经验,导致所建立的CAD模型在不同医院和不同设备的图像应用时,鲁棒性和稳定性相对不足。

MRI在脑疾病诊断和脑科学研究中广泛应用,基于MRI的脑疾病CAD研究是辅助诊断领域最为活跃的一个方向。特别是由于ADNI (Alzheimers disease neuroimaging initiative)、PPMI (Parkinson’ s progression markers initiative)等公开数据库的出现,以阿尔兹海默病和帕金森病为代表的神经退行性疾病的MRI辅助诊断研究最为典型,众多学者研究提出了各种基于CNN的分类算法(Sarraf等,2016Billones等,2016Liu等;2018a)。此外,基于MRI的乳腺癌CAD也是一个重要的方向(Rasti等,2017Zhou等,2019aMarrone等,2017)。另外,基于功能MRI(functional MRI,fMRI)的CAD研究也是近年来的热点,出现了一批新颖的深度学习算法(Wen等,2018)。

除了端到端的深度学习模型外,针对已经手工提取的高通量特征,进一步采用深度神经网络(deep neural networks,DNN)学习特征表达,也是一种有效构建CAD模型的方法。典型应用的DNN网络包括栈式自编码器(stacked auto-encoders,SAE)、深度置信网络(deep belief networks,DBN)等无监督学习网络,而深度多项式网络(deep polynomial networks,DPN)是一种有监督的DNN算法,已经在小样本的医学影像CAD中取得了较好的性能(Shi等,2016, 2018b)。

由于基于全监督深度学习模型的CAD研究非常广泛,限于篇幅限制,本文不进行详解介绍,可参考(Liu等,2019aShen等,2017aLitjens等,2017)等文献进一步了解相关研究进展。

5.2 非完全监督模型

由于医学影像数据的采集是一个长期过程,并且价格昂贵,而其标注的专业性要求又非常高,以及受到隐私保护等方面的限制,现在用于CAD系统开发的已标记影像数据仍然以小样本为主。因此,在图像标注样本较少的情况下如何提高CAD准确性已成为目前研究的热点。以半监督学习和弱监督学习为代表的非完全监督模型是解决此类问题的有效方法(Zhang等,2019a, 2020aShin等,2019)。

刘坤等人(2019)在传统无监督GAN的基础上用softmax替代最后的输出层,使其扩展为半监督GAN。该算法主要思想是利用少量标注数据和未标注数据,使GAN的判别器网络可以输出数据类别标签,实现了基于少量标注样本的半监督分类,在基于X射线的肺部疾病诊断中获得了良好的性能。

Liu等人(2018b)提出一个基于landmark的弱监督多实例深度学习框架,通过数据驱动的方式发现大脑MRI图像中与疾病相关的解剖学标志并进行阿尔兹海默病诊断。Lian等人(2020)提出基于弱监督的层次化的全卷积网络自动识别MRI中有判别性的局部块和脑区,并在此基础上共同学习和融合多尺度的特征表示,构建层次结构AD(Alzheimers disease)诊断模型。

在超声图像的CAD中,非完全监督模型研究相对较少。Wang等人(2018a)提出一种基于弱标签数据的半监督学习方法,用于甲状腺结节的分类,其核心思想是将多示例学习集成到CNN的分类任务中。Cao等人(2020)提出一种有效的弱监督分类方法,通过噪声滤波网络来解决训练乳腺肿瘤分类模型时的噪声标签问题,提升了乳腺肿瘤良恶性诊断的性能。

5.3 基于多模态影像的CAD

由于多模态影像能提供更为全面的病灶信息,基于多模态影像的CAD通常能获得更为准确的诊断性能,是目前研究的热点之一(Shi等,2018b)。

就网络模型而言,基于端到端网络的多模态影像CAD模型重点研究如何设计有效新颖的多通道CNN网络,其核心在于多通道网络既能够学习每个模态特有的表达属性,又能够有效融合多个通道的网络以学习共有的特性。而对于已经提取特征的多模态影像数据而言,深度典型相关分析(deep canonical correlation analysis,DCCA)、多模态玻尔兹曼机(multimodal Boltzmann machine)等网络模型则较为常用(Suk等,2014),主要从特征表达层面进行有效的多模态数据信息融合。

就影像模态组合而言,由于著名的ADNI数据库提供了成对的MRI和PET样本,基于两者的AD研究在多模态影像CAD领域具有代表性,目前已经研究提出一批多模态深度学习算法(Suk等,2014Liu等,2015)。而在超声成像领域,结合B型超声和弹性成像或者超声造影的肿瘤CAD也是一个值得关注的方向。

另外,由于医疗资源分布不平衡、医疗条件限制等原因,基于单模态医学影像的疾病检测诊断仍然是目前临床最为常规的方式,但也存在着信息类型单一的不足。迁移学习技术能缓解诊断模态(目标领域)训练样本少的不足,还能从相关的源领域影像获取与疾病诊断关联的知识,从而有效提升CAD模型性能。此外,迁移学习也是解决小样本学习问题的有效方法之一。目前,基于深度迁移学习的CAD研究已经逐步开展。例如,Samala等人(2017)使用深度迁移学习将非医学图像中学习到的知识迁移至医学诊断任务,提出了一种多任务迁移学习算法用于乳腺肿瘤的分类,相较于单任务迁移学习,获得了显著的性能提升。Li等人(2019b)将DCCA、MRBM(multimodal-restricted Boltzman machine)等多模态DNN用于特征级迁移学习,实现了将PET信息迁移至基于MRI的阿尔兹海默病CAD。Choi等人(2020)使用深度迁移学习实现了跨疾病的知识迁移,提出了一种基于FDG PET的认知功能障碍评估模型,使用3维卷积神经网络将阿尔茨海默症中的信息迁移至帕金森疾病中,有效提升了诊断性能。

6 结语

本文主要针对X光、超声成像、CT和MRI这4大临床最常用的影像技术,综述了深度学习在医学影像成像、病灶检测、图像分割、图像配准和CAD中的应用现状。而实际上,核医学图像、眼底图像、病理图像和血细胞图像等医学影像的自动分析处理也在临床也有着迫切的需求,深度学习在这些影像的不同任务中也有着广泛的应用,产生了一系列的成果。由于篇幅限制,本文并没有对这些研究进行详细介绍。

随着深度学习在医学影像分析领域的深入应用,不可避免会面临越来越多的问题。例如,小样本性一直是医学影像分析领域所面临的一个严重问题,以下几类机器学习方法(不局限于这些方法)具有缓解此问题的可行性:1)弱监督学习:可解决精细标记问题;2)迁移学习:迁移已有机器学习模型或者相关模态、疾病的知识至新的任务;3)少样本学习(few-shot learning);4)自监督学习;5)增量学习。此外,医学影像的数据标注也是严重制约深度学习广泛、深入应用的一个问题,需要广泛开展数据自动标记方面的研究工作。另外,可解释性在医学影像分析应用中非常重要,如何提升深度神经网络在医学影像分析的各种任务中的可解释性是一直以来的难点,需要在这方面继续开展深入的研究。进而如何开展人机协同的医疗也非常重要。而轻量级深度神经网络易于部署到便携式医疗设备之中,赋予便携式设备更为强大的功能,这也是一个值得研究的方向。

总之,深度学习在医学影像的各种任务中已经取得了显著的成果,但仍然需要在方法、应用等方面进一步的深入研究,以实现基于医学影像的智能诊疗产品的广泛落地应用。

参考文献

  • Aggarwal H K, Mani M P, Jacob M. 2019. MoDL:model-based deep learning architecture for inverse problems. IEEE Transactions on Medical Imaging, 38(2): 394-405 [DOI:10.1109/TMI.2018.2865356]
  • Akselrod-Ballin A, Karlinsky L, Alpert S, Hasoul S, Ben-Ari R and Barkan E. 2016. A region based convolutional network for tumor detection and classification in breast mammography//Proceedings of the 1st International Workshop on Large-Scale Annotation of Biomedical Data and Expert Label Synthesis. Athens: Springer: 197-205[DOI: 10.1007/978-3-319-46976-8_21]
  • Ambellan F, Tack A, Ehlke M, Zachow S. 2019. Automated segmentation of knee bone and cartilage combining statistical shape knowledge and convolutional neural networks:data from the Osteoarthritis Initiative. Medical Image Analysis, 52: 109-118 [DOI:10.1016/j.media.2018.11.009]
  • Bai W J, Oktay O, Sinclair M, Suzuki H, Rajchl M, Tarroni G, Glocker B, King A, Matthews P M and Rueckert D. 2017. Semi-supervised learning for network-based cardiac MR image segmentation//Proceedings of the 20th International Conference on Medical Image Computing and Computer-Assisted Intervention. Quebec City: Springer: 253-260[DOI: 10.1007/978-3-319-66185-8_29]
  • Balakrishnan G, Zhao A, Sabuncu M R, Guttag J, Dalca A V. 2019. VoxelMorph:a learning framework for deformable medical image registration. IEEE Transactions on Medical Imaging, 38(8): 1788-1800 [DOI:10.1109/TMI.2019.2897538]
  • Billones C D, Demetria O J L D, Hostallero D E D and Naval P C. 2016. DemNet: a convolutional neural network for the detection of Alzheimer's disease and mild cognitive impairment//Proceedings of 2016 IEEE Region 10 Conference. Singapore: IEEE: 3724-3727[DOI: 10.1109/TENCON.2016.7848755]
  • Burgos N, Cardoso M J, Thielemans K, Modat M, Pedemonte S, Dickson J, Barnes A, Ahmed R, Mahoney C J, Schott J M, Duncan J S, Atkinson D, Arridge S R, Hutton B F, Ourselin S. 2014. Attenuation correction synthesis for hybrid PET-MR scanners:application to brain studies. IEEE Transactions on Medical Imaging, 33(12): 2332-2341 [DOI:10.1109/TMI.2014.2340135]
  • Cai C B, Wang C, Zeng Y Q, Cai S H, Liang D, Wu Y W, Chen Z, Ding X H, Zhong J H. 2018. Single-shot T2 mapping using overlapping-echo detachment planar imaging and a deep convolutional neural network. Magnetic resonance in Medicine, 80(5): 2202-2214 [DOI:10.1002/mrm.27205]
  • Cai J Z, Zhang Z H, Cui L, Zheng Y F, Yang L. 2019. Towards cross-modal organ translation and segmentation:a cycle-and shape-consistent generative adversarial network. Medical Image Analysis, 52: 174-184 [DOI:10.1016/j.media.2018.12.002]
  • Cao X H, Yang J H, Zhang J, Wang Q, Yap P T, Shen D G. 2018. Deformable image registration using a cue-aware deep regression network. IEEE Transactions on Biomedical Engineering, 65(9): 1900-1911 [DOI:10.1109/TBME.2018.2822826]
  • Cao Z T, Yang G W, Chen Q, Chen X L, Lyu F M. 2020. Breast tumor classification through learning from noisy labeled ultrasound images. Medical Physics, 47(3): 1048-1057 [DOI:10.1002/mp.13966]
  • Carneiro G, Nascimento J and Bradley A P. 2015. Unregistered multiview mammogram analysis with pre-trained deep learning models//Proceedings of the 18th International Conference on Medical Image Computing and Computer-Assisted Intervention. Munich: Springer: 652-660[DOI: 10.1007/978-3-319-24574-4_78]
  • Chartsias A, Joyce T, Giuffrida M V, Tsaftaris S A. 2018. Multimodal MR synthesis via modality-invariant latent representation. IEEE Transactions on Medical Imaging, 37(3): 803-814 [DOI:10.1109/TMI.2017.2764326]
  • Chen C, Liu X P, Ding M, Zheng J F and Li J Y. 2019a. 3D dilated multi-fiber network for real-time brain tumor segmentation in MRI//Proceedings of the 22nd International Conference on Medical Image Computing and Computer-Assisted Intervention. Shenzhen: Springer: 184-192[DOI: 10.1007/978-3-030-32248-9_21]
  • Chen H, Zhang Y, Kalra M K, Lin F, Chen Y, Liao P X, Zhou J L, Wang G. 2017. Low-dose CT with a residual encoder-decoder convolutional neural network. IEEE Transactions on Medical Imaging, 36(12): 2524-2535 [DOI:10.1109/TMI.2017.2715284]
  • Chen J, Yang G, Gao Z F, Ni H, Angelini E, Mohiaddin R, Wong T, Zhang Y P, Du X Q, Zhang H Y, Keegan J and Firmin D. 2018. Multiview two-task recursive attention model for left atrium and atrial scars segmentation//Proceedings of the 21st International Conference on Medical Image Computing and Computer-Assisted Intervention. Granada: Springer: 455-463[DOI: 10.1007/978-3-030-00934-2_51]
  • Chen X, Lian C F, Wang L, Deng H, Fung S H, Nie D, Thung K H, Yap P T, Gateno J, Xia J J, Shen D G. 2020. One-shot generative adversarial learning for MRI segmentation of craniomaxillofacial bony structures. IEEE Transactions on Medical Imaging, 39(3): 787-796 [DOI:10.1109/TMI.2019.2935409]
  • Chen X, Williams B M, Vallabhaneni S R, Czanner G, Williams R and Zheng Y L. 2019b. Learning active contour models for medical image segmentation//Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach: IEEE: 11624-11632[DOI: 10.1109/CVPR.2019.01190]
  • Chen Y X, Xiao T H, Li C, Liu Q G and Wang S S. 2019c. Model-based convolutional de-aliasing network learning for parallel MR imaging//Proceedings of the 22nd International Conference on Medical Image Computing and Computer-Assisted Intervention. Shenzhen: Springer: 30-38[DOI: 10.1007/978-3-030-32248-9_4]
  • Cheplygina V, de Bruijne M and Pluim J P W. 2019. Not-so-supervised:a survey of semi-supervised, multi-instance, and transfer learning in medical image analysis. Medical Image Analysis, 54: 280-296 [DOI:10.1016/j.media.2019.03.009]
  • Choi H, Kim Y K, Yoon E J, Lee J Y, and Lee D S. 2020. Cognitive signature of brain FDG PET based on deep learning:domain transfer from Alzheimer's disease to Parkinson's disease. European Journal of Nuclear Medicine and Molecular Imaging, 47(2): 403-412 [DOI:10.1007/s00259-019-04538-7]
  • Dalca A V, Balakrishnan G, Guttag J and Sabuncu M R. 2018. Unsupervised learning for fast probabilistic diffeomorphic registration//Proceedings of the 21st International Conference on Medical Image Computing and Computer-Assisted Intervention. Granada: Springer: 729-738[DOI: 10.1007/978-3-030-00928-1_82]
  • Dar S U H, Yurt M, Karacan L, Erdem A, Erdem E, Çukur T. 2019. Image synthesis in multi-contrast MRI with conditional generative adversarial networks. IEEE Transactions on Medical Imaging, 38(10): 2375-2388 [DOI:10.1109/TMI.2019.2901750]
  • de Vos B D, Berendsen F F, Viergever M A, Sokooti H, Staring M, Išgum I. 2019. A deep learning framework for unsupervised affine and deformable image registration. Medical Image Analysis, 52: 128-143 [DOI:10.1016/j.media.2018.11.010]
  • Degel MA, Navab N and Albarqouni S. 2018. Domain and geometry agnostic CNNs for left atrium segmentation in 3D ultrasound//Proceedings of the 21st International Conference on Medical Image Computing and Computer-Assisted Intervention. Granada: Springer: 630-637[DOI: 10.1007/978-3-030-00937-3_72]
  • Deng L X, Tang S, Fu H Z, Wang B and Zhang Y D. 2019. Spatiotemporal breast mass detection network (MD-Net) in 4D DCE-MRI images//Proceedings of the 22nd International Conference on Medical Image Computing and Computer-Assisted Intervention. Shenzhen: Springer: 271-279[DOI: 10.1007/978-3-030-32251-9_30]
  • Ding J, Li A X, Hu Z Q and Wang L W. 2017. Accurate pulmonary nodule detection in computed tomography images using deep convolutional neural networks//Proceedings of the 20th International Conference on Medical Image Computing and Computer-Assisted Intervention. Quebec City: Springer: 559-567[DOI: 10.1007/978-3-319-66179-7_64]
  • Dolz J, Gopinath K, Yuan J, Lombaert H, Desrosiers C, Ayed I B. 2019. HyperDense-Net:a hyper-densely connected CNN for multi-modal image segmentation. IEEE Transactions on Medical Imaging, 38(5): 1116-1126 [DOI:10.1109/TMI.2018.2878669]
  • Dong C, Loy C C, He K M and Tang X O. 2014. Learning a deep convolutional network for image super-resolution//Proceedings of the 13th European Conference on Computer Vision. Zurich: Springer: 184-199[DOI: 10.1007/978-3-319-10593-2_13]
  • Dong D, Tang Z C, Wang S, Hui H, Gong L X, Lu Y, Xue Z, Liao H G, Chen F, Yang F, Jin R H, Wang K, Liu Z Y, Wei J W, Mu W, Zhang H, Jiang J Y, Tian J and Li H J. 2020. The role of imaging in the detection and management of COVID-19: a review. IEEE Reviews in Biomedical Engineering, [DOI: 10.1109/RBME.2020.2990959]
  • Dong S Y, Luo G N, Sun G X, Wang K Q and Zhang H G. 2016. A left ventricular segmentation method on 3D echocardiography using deep learning and snake//Proceedings of 2016 Computing in Cardiology Conference. Vancouver: IEEE: 473-476
  • Dou Q, Ouyang C, Chen C, Chen H, and Heng P A. 2018. Unsupervised cross-modality domain adaptation of convnets for biomedical image segmentations with adversarial loss//Proceedings of the 27th International Joint Conference on Artificial Intelligence. Stockholm: AAAI Press: 691-697[DOI: 10.24963/ijcai.2018/96]
  • Du X Q, Song Y H, Liu Y G, Zhang Y P, Liu H, Chen B, Li S. 2020. An integrated deep learning framework for joint segmentation of blood pool and myocardium. Medical Image Analysis, 62: #101685 [DOI:10.1016/j.media.2020.101685]
  • Duan J M, Bello G, Schlemper J, Bai W J, Dawes T J W, Biffi C, de Marvao A, Doumoud G, O'Regan D P and Rueckert D, 2019. Automatic 3D bi-ventricular segmentation of cardiac images by a shape-refined multi-task deep learning approach. IEEE Transactions on Medical Imaging, 38(9): 2151-2164[DOI: 10.1109/TMI.2019.2894322]
  • Eppenhof K A J, Lafarge M W, Veta M, Pluim J P W. 2020. Progressively trained convolutional neural networks for deformable image registration. IEEE Transactions on Medical Imaging, 39(5): 1594-1604 [DOI:10.1109/TMI.2019.2953788]
  • Eppenhof K A J, Pluim J P W. 2019. Pulmonary CT registration through supervised learning with convolutional neural networks. IEEE Transactions on Medical Imaging, 38(5): 1097-1105 [DOI:10.1109/TMI.2018.2878316]
  • Fan J F, Cao X H, Wang Q, Yap P T, Shen D G. 2019a. Adversarial learning for mono-or multi-modal registration. Medical Image Analysis, 58: #101545 [DOI:10.1016/j.media.2019.101545]
  • Fan J F, Cao X H, Xue Z, Yap P T and Shen D G. 2018. Adversarial similarity network for evaluating image alignment in deep learning based registration//Proceedings of the 21st International Conference on Medical Image Computing and Computer-Assisted Intervention. Granada: Springer: 739-746[DOI: 10.1007/978-3-030-00928-1_83]
  • Fan J F, Cao X H, Yap P T, Shen D G. 2019b. BIRNet:brain image registration using dual-supervised fully convolutional networks. Medical Image Analysis, 54: 193-206 [DOI:10.1016/j.media.2019.03.006]
  • Fang L W, Zhang L C, Nie D, Cao X H, Rekik I, Lee S W, He H G, Shen D G. 2019. Automatic brain labeling via multi-atlas guided fully convolutional networks. Medical Image Analysis, 51: 157-168 [DOI:10.1016/j.media.2018.10.012]
  • Gao Z F, Wu S T, Liu Z, Luo J W, Zhang H Y, Gong M M, Li S. 2019. Learning the implicit strain reconstruction in ultrasound elastography using privileged information. Medical Image Analysis, 58: #101534 [DOI:10.1016/j.media.2019.101534]
  • Ghani M U and Karl W C. 2018. Deep learning-based sinogram completion for low-dose CT//Proceedings of the 13th IEEE Image, Video, and Multidimensional Signal Processing Workshop. Zagorochoria: IEEE: 1-5[DOI: 10.1109/IVMSPW.2018.8448403]
  • Hammernik K, Klatzer T, Kobler E, Recht M P, Sodickson D K, Pock T, Knoll F. 2018. Learning a variational network for reconstruction of accelerated MRI data. Magnetic Resonance in Medicine, 79(6): 3055-3071 [DOI:10.1002/mrm.26977]
  • Han Y S, Yoo J and Ye J C. 2016. Deep residual learning for compressed sensing CT reconstruction via persistent homology analysis[EB/OL].[2020-05-17].https://arxiv.org/pdf/1611.06391.pdf
  • Han Z Y, Wei B Z, Mercado A, Leung S, Li S. 2018. Spine-GAN:semantic segmentation of multiple spinal structures. Medical Image Analysis, 50: 23-35 [DOI:10.1016/j.media.2018.08.005]
  • Haskins G, Kruger U, and Yan P K. 2020. Deep learning in medical image registration:a survey. Machine Vision and Applications, 31(1): #8 [DOI:10.1007/s00138-020-01060-x]
  • He K L, Cao X H, Shi Y H, Nie D, Gao Y, Shen D G. 2019. Pelvic organ segmentation using distinctive curve guided fully convolutional networks. IEEE Transactions on Medical Imaging, 38(2): 585-595 [DOI:10.1109/TMI.2018.2867837]
  • He K M, Zhang X Y, Ren S Q and Sun J. 2016. Deep residual learning for image recognition.//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas: IEEE: 770-778[DOI: 10.1109/CVPR.2016.90]
  • Hiasa Y, Otake Y, Takao M, Matsuoka T, Takashima K, Carass A, Prince J L, Sugano N and Sato Y. 2018. Cross-modality image synthesis from unpaired data using CycleGAN: effects of gradient consistency loss and training data size//Proceedings of the 3rd International Workshop on Simulation and Synthesis in Medical Imaging. Granada: Springer: 31-41[DOI: 10.1007/978-3-030-00536-8_4]
  • Hu J, Shen L, Albanie S, Sun G, Wu E. 2020. Squeeze-and-Excitation networks. IEEE Transactions on Pattern Analysis and Machine Intelligence, 42(8): 2011-2023 [DOI:10.1109/TPAMI.2019.2913372]
  • Hu Y P, Modat M, Gibson E, Li W Q, Ghavami N, Bonmati E, Wang G T, Bandula S, Moore C M, Emberton M, Ourselin S, Noble J A, Barratt D C, Vercauteren T. 2018. Weakly-supervised convolutional neural networks for multimodal image registration. Medical Image Analysis, 49: 1-13 [DOI:10.1016/j.media.2018.07.002]
  • Hu Z L, Jiang C H, Sun F Y, Zhang Q Y, Ge Y S, Yang Y F, Liu X, Zheng H R, Liang D. 2019. Artifact correction in low-dose dental CT imaging using Wasserstein generative adversarial networks. Medical Physics, 46(4): 1686-1696 [DOI:10.1002/mp.13415]
  • Humphries T, Si D, Coulter S, Simms M and Xing R W. 2019. Comparison of deep learning approaches to low dose CT using low intensity and sparse view data//Proceedings of SPIE 10948, Medical Imaging 2019: Physics of Medical Imaging. San Diego: SPIE: #109484A[DOI: 10.1117/12.2512597]
  • Hyun D, Brickson L L, Looby K T, Dahl J J. 2019. Beamforming and speckle reduction using neural networks. IEEE Transactions on Ultrasonics, Ferroelectrics, and Frequency Control, 66(5): 898-910 [DOI:10.1109/TUFFC.2019.2903795]
  • Jia H Z, Song Y, Huang H, Cai W D and Xia Y. 2019a. HD-Net: hybrid discriminative network for prostate segmentation in MR images//Proceedings of the 22nd International Conference on Medical Image Computing and Computer-Assisted Intervention. Shenzhen: Springer: 110-118[DOI: 10.1007/978-3-030-32245-8_13]
  • Jia Z D, Yuan Z M and Peng J L. 2019b. Multimodal brain tumor segmentation using encoder-decoder with hierarchical separable convolution//Proceedings of the 4th International Workshop on MBIA 2019, and 7th International Workshop, MFCA 2019, Held in Conjunction with MICCAI 2019. Shenzhen: Springer: 130-138[DOI: 10.1007/978-3-030-33226-6_15]
  • Kang E, Chang W, Yoo J, Ye J C. 2018. Deep convolutional framelet denosing for low-dose CT via wavelet residual network. IEEE Transactions on Medical Imaging, 37(6): 1358-1369 [DOI:10.1109/TMI.2018.2823756]
  • Kang E, Min J H, Ye J C. 2017a. A deep convolutional neural network using directional wavelets for low-dose X-ray CT reconstruction. Medical Physics, 44(10): e360-e375 [DOI:10.1002/mp.12344]
  • Kang G X, Liu K, Hou B B, Zhang N B. 2017b. 3D multi-view convolutional neural networks for lung nodule classification. PLoS One, 12(11): e0188290 [DOI:10.1371/journal.pone.0188290]
  • Kervadec H, Dolz J, Tang M, Granger E, Boykov Y, Ayed I B. 2019. Constrained-CNN losses for weakly supervised segmentation. Medical Image Analysis, 54: 88-99 [DOI:10.1016/j.media.2019.02.009]
  • Khened M, Kollerathu V A, Krishnamurthi G. 2019. Fully convolutional multi-scale residual DenseNets for cardiac segmentation and automated cardiac diagnosis using ensemble of classifiers. Medical Image Analysis, 51: 21-45 [DOI:10.1016/j.media.2018.10.004]
  • Khosravan N and Bagci U. 2018.S4 ND: single-shot single-scale lung nodule detection//Proceedings of the 21st International Conference on Medical Image Computing and Computer-Assisted Intervention. Granada: Springer: 794-802[DOI: 10.1007/978-3-030-00934-2_88]
  • Lee S G, Bae J S, Kim H, Kim J H and Yoon S. 2018. Liver lesion detection from weakly-labeled multi-phase CT volumes with a grouped single shot multibox detector//Proceedings of the 21st International Conference on Medical Image Computing and Computer-Assisted Intervention. Granada: Springer: 693-701[DOI: 10.1007/978-3-030-00934-2_77]
  • Li C, Sun H, Liu Z Y, Wang M Y, Zheng H R and Wang S S. 2019a. Learning cross-modal deep representations for multi-modal MR image segmentation//Proceedings of the 22nd International Conference on Medical Image Computing and Computer-Assisted Intervention. Shenzhen: Springer: 57-65[DOI: 10.1007/978-3-030-32245-8_7]
  • Li H L, Weng J, Shi Y J, Gu W R, Mao Y J, Wang Y H, Liu W W, Zhang J J. 2018. An improved deep learning approach for detection of thyroid papillary cancer in ultrasound images. Scientific Reports, 8: #6600 [DOI:10.1038/s41598-018-25005-7]
  • Li Y, Meng F Q, Shi J. 2019b. Learning using privileged information improves neuroimaging-based CAD of Alzheimer's disease:a comparative study. Medical and Biological Engineering and Computing, 57(7): 1605-1616 [DOI:10.1007/s11517-019-01974-3]
  • Li Z, Liu Q P, Li Y R, Ge Q, Shang Y Q, Song D H, Wang Z, and Shi J. 2019c. A two-stage multi-loss super-resolution network for arterial spin labeling magnetic resonance imaging//Proceedings of the 22nd International Conference on Medical Image Computing and Computer-Assisted Intervention. Shenzhen: Springer: 12-20[DOI: 10.1007/978-3-030-32248-9_2]
  • Li Z H, Zhang S, Zhang J G, Huang K Q, Wang Y Z and Yu Y Z. 2019 d. MVP-Net: multi-view FPN with position-aware attention for deep universal lesion detection//Proceedings of the 22nd International Conference on Medical Image Computing and Computer-Assisted Intervention. Shenzhen: Springer: 13-21[DOI: 10.1007/978-3-030-32226-7_2]
  • Lian C F, Liu M X, Zhang J, Shen D G. 2020. Hierarchical fully convolutional network for joint atrophy localization and Alzheimer's disease diagnosis using structural MRI. IEEE Transactions on Pattern Analysis and Machine Intelligence, 42(4): 880-893 [DOI:10.1109/TPAMI.2018.2889096]
  • Liang D, Cheng J, Ke Z W, Ying L. 2020. Deep magnetic resonance image reconstruction:inverse problems meet neural networks. IEEE Signal Processing Magazine, 37(1): 141-151 [DOI:10.1109/MSP.2019.2950557]
  • Liao H F, Huo Z M, Sehnert W J, Zhou S K and Luo J B. 2018. Adversarial sparse-view cbct artifact reduction//Proceedings of the 21st International Conference on Medical Image Computing and Computer-Assisted Intervention. Granada: Springer: 154-162[DOI: 10.1007/978-3-030-00928-1_18]
  • Liebgott H, Rodriguez-Molares A, Cervenansky F, Jensen J A and Bernard O. 2016. Plane-wave imaging challenge in medical ultrasound//Proceedings of 2016 IEEE International Ultrasonics Symposium. Tours: IEEE: 1-4[DOI: 10.1109/ULTSYM.2016.7728908]
  • Litjens G, Kooi T, Bejnordi B E, Setio A A A, Ciompi F, Ghafoorian M, van der Laak J A W M, van Ginneken B and Sánchez C I. 2017. A survey on deep learning in medical image analysis. Medical Image Analysis, 42: 60-88 [DOI:10.1016/j.media.2017.07.005]
  • Liu K, Wang D, Rong M X. 2019. X-ray image classification algorithm based on semi-supervised generative adversarial networks. Acta Optica Sinica, 39(8): 0810003 (刘坤, 王典, 荣梦学. 2019. 基于半监督生成对抗网络X光图像分类算法. 光学学报, 39(8): 0810003) [DOI:10.3788/AOS201939.0810003]
  • Liu M H, Cheng D N, Yan W W. 2018a. Classification of Alzheimer's disease by combination of convolutional and recurrent neural networks using FDG-PET images. Frontiers in Neuroinformatics, 12: #35 [DOI:10.3389/fninf.2018.00035]
  • Liu M X, Zhang J, Adeli E, Shen D G. 2018b. Landmark-based deep multi-instance learning for brain disease diagnosis. Medical Image Analysis, 43: 157-168 [DOI:10.1016/j.media.2017.10.005]
  • Liu Q G, Yang Q X, Cheng H T, Wang S S, Zhang M H, Liang D. 2020. Highly undersampled magnetic resonance imaging reconstruction using autoencoding priors. Magnetic Resonance in Medicine, 83(1): 322-336 [DOI:10.1002/mrm.27921]
  • Liu S F, Wang Y, Yang X, Lei B Y, Liu L, Li S X, Ni D, Wang T F. 2019a. Deep learning in medical ultrasound analysis:a review. Engineering, 5(2): 261-275 [DOI:10.1016/j.eng.2018.11.020]
  • Liu S Q, Liu S D, Cai W D, Che H Y, Pujol S, Kikinis R, Feng D G, Fulham M J. 2015. Multimodal neuroimaging feature learning for multiclass diagnosis of Alzheimer's disease. IEEE Transactions on Biomedical Engineering, 62(4): 1132-1140 [DOI:10.1109/TBME.2014.2372011]
  • Liu T J, Guo Q Q, Lian C F, Ren X H, Liang S J, Yu J, Niu L J, Sun W D, Shen D G. 2019b. Automated detection and classification of thyroid nodules in ultrasound images using clinical-knowledge-guided convolutional neural networks. Medical Image Analysis, 58: #101555 [DOI:10.1016/j.media.2019.101555]
  • Liu W, Anguelov D, Erhan D, Szegedy C, Reed S, Fu C Y and Berg A C. 2016. SSD: single shot multibox detector//Proceedings of the 14th European Conference on Computer Vision. Amsterdam: Springer: 21-37[DOI: 10.1007/978-3-319-46448-0_2]
  • Long J, Shelhamer E and Darrell T. 2015. Fully convolutional networks for semantic segmentation//Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition, Boston: IEEE: 3431-3440[DOI: 10.1109/CVPR.2015.7298965]
  • Luchies A C, Byram B C. 2018. Deep neural networks for ultrasound beamforming. IEEE Transactions on Medical Imaging, 37(9): 2010-2021 [DOI:10.1109/TMI.2018.2809641]
  • Luijten B, Cohen R, de Bruijn F J, Schmeitz H A W, Mischi M, Eldar Y C and van Sloun R J G. 2019. Deep learning for fast adaptive beamforming//Proceedings of 2019 IEEE International Conference on Acoustics, Speech, and Signal Processing. Brighton: IEEE: 1333-1337[DOI: 10.1109/ICASSP.2019.8683478]
  • Lundervold A S, Lundervold A. 2019. An overview of deep learning in medical imaging focusing on MRI. Zeitschrift für Medizinische Physik, 29(2): 102-127 [DOI:10.1016/j.zemedi.2018.11.002]
  • Maicas G, Carneiro G, Bradley A P, Nascimento J C and Reid I. 2017. Deep reinforcement learning for active breast lesion detection from DCE-MRI//Proceedings of the 20th International Conference on Medical Image Computing and Computer-Assisted Intervention. Quebec City: Springer: 665-673[DOI: 10.1007/978-3-319-66179-7_76]
  • Man Y Z, Huang Y S B, Feng J Y, Li X, Wu F. 2019. Deep Q learning driven CT pancreas segmentation with geometry-aware U-Net. IEEE Transactions on Medical Imaging, 38(8): 1971-1980 [DOI:10.1109/TMI.2019.2911588]
  • Marrone S, Piantadosi G, Fusco R, Petrillo A, Sansone M and Sansone C. 2017. An investigation of deep learning for lesions malignancy classification in breast DCE-MRI//Proceedings of the 19th International Conference on Image Analysis and Processing. Catania: Springer: 479-489[DOI: 10.1007/978-3-319-68548-9_44]
  • Mazurowski M A, Buda M, Saha A, Bashir M R. 2019. Deep learning in radiology:an overview of the concepts and a survey of the state of the art with focus on MRI. Journal of Magnetic Resonance Imaging, 49(4): 939-954 [DOI:10.1002/jmri.26534]
  • Miao S, Wang Z J, Liao R. 2016. A CNN regression approach for real-time 2D/3D registration. IEEE Transactions on Medical Imaging, 35(5): 1352-1363 [DOI:10.1109/TMI.2016.2521800]
  • Nair A A, Tran T D, Reiter A and Bell M A L. 2018. A deep learning based alternative to beamforming ultrasound images//Proceedings of 2018 IEEE International Conference on Acoustics, Speech, and Signal Processing. Calgary: IEEE: 3359-3363[DOI: 10.1109/ICASSP.2018.8461575]
  • Nair A A, Tran T D, Reiter A and Bell M A L. 2019a. A generative adversarial neural network for beamforming ultrasound images: invited presentation//Proceedings of the 53rd Annual Conference on Information Sciences and Systems. Baltimore: IEEE: 1-6[DOI: 10.1109/CISS.2019.8692835]
  • Nair A A, Tran T D, Reiter A and Bell M A L. 2019b. One-step deep learning approach to ultrasound image formation and image segmentation with a fully convolutional neural network//Proceedings of 2019 IEEE International Ultrasonics Symposium. Glasgow, United Kingdom: IEEE: 1481-1484[DOI: 10.1109/ULTSYM.2019.8925836]
  • Nie D, Gao Y Z, Wang L and Shen D G. 2018. ASDNet: attention based semi-supervised deep networks for medical image segmentation//Proceedings of the 21st International Conference on Medical Image Computing and Computer-Assisted Intervention. Granada: Springer: 370-378[DOI: 10.1007/978-3-030-00937-3_43]
  • Nie D, Wang L, Gao Y Z, Lian J, Shen D G. 2019. STRAINet:spatially varying stochastic residual adversarial networks for MRI pelvic organ segmentation. IEEE Transactions on Neural Networks and Learning Systems, 30(5): 1552-1564 [DOI:10.1109/TNNLS.2018.2870182]
  • Oktay O, Ferrante E, Kamnitsas K, Heinrich M, Bai W J, Caballero J, Cook S A, de Marvao A, Dawes T, O'Regan D P, Kainz B, Glocker B, Rueckert D. 2018. Anatomically constrained neural networks (ACNNs):application to cardiac image enhancement and segmentation. IEEE Transactions on Medical Imaging, 37(2): 384-395 [DOI:10.1109/TMI.2017.2743464]
  • Ouyang X, Xue Z, Zhan Y Q, Zhou X A, Wang Q F, Zhou Y, Wang Q and Cheng J Z. 2019. Weakly supervised segmentation framework with uncertainty: a study on pneumothorax segmentation in chest X-ray//Proceedings of the 22nd International Conference on Medical Image Computing and Computer-Assisted Intervention. Shenzhen: Springer: 613-621[DOI: 10.1007/978-3-030-32226-7_68]
  • Peng J Z, Estrada G, Pedersoli M, Desrosiers C. 2020. Deep cotraining for semi-supervised image segmentation. Pattern Recognition, 107: 107269 [DOI:10.1016/j.patcog.2020.107269]
  • Perdios D, Besson A, Arditi M and Thiran J P. 2017. A deep learning approach to ultrasound image recovery//Proceedings of 2017 IEEE International Ultrasonics Symposium. Washington: IEEE: 1-4[DOI: 10.1109/ULTSYM.2017.8092746]
  • Perslev M, Dam E B, Pai A and Igel C. 2019. One network to segment them all: a general, lightweight system for accurate 3D medical image segmentation//Proceedings of the 22nd International Conference on Medical Image Computing and Computer-Assisted Intervention. Shenzhen: Springer: 30-38[DOI: 10.1007/978-3-030-32245-8_4]
  • Pham C H, Ducournau A, Fablet R and Rousseau F. 2017. Brain MRI super-resolution using deep 3D convolutional networks//Proceedings of the 14th IEEE International Symposium on Biomedical Imaging. Melbourne: IEEE: 197-200[DOI: 10.1109/ISBI.2017.7950500]
  • Pinto A, Pereira S, Meier R, Alves V, Wiest R, Silva A C and Reyes M. 2018. Enhancing clinical MRI perfusion maps with data-driven maps of complementary nature for lesion outcome prediction//Proceedings of the 21st International Conference on Medical Image Computing and Computer-Assisted Intervention. Switzerland: Springer: 107-115[DOI: 10.1007/978-3-030-00931-1_13]
  • Rajchl M, Lee M C H, Oktay O, Kamnitsas K, Passerat-Palmbach J P, Bai W J, Damodaram M, Rutherford M A, Hajnal J V, Kainz B, Rueckert D. 2017. DeepCut:object segmentation from bounding box annotations using convolutional neural networks. IEEE Transactions on Medical Imaging, 36(2): 674-683 [DOI:10.1109/TMI.2016.2621185]
  • Ran M S, Xia W J, Huang Y Q, Lu Z X, Bao P, Liu Y, Sun H Q, Zhou J L and Zhang Y. 2020. MD-Recon-Net: a parallel dual-domain convolutional neural network for compressed sensing MRI. IEEE Transactions on Radiation and Plasma Medical Sciences, (99): 1-1[DOI: 10.1109/TRPMS.2020.2991877]
  • Rasti R, Teshnehlab M, Phung S L. 2017. Breast cancer diagnosis in DCE-MRI using mixture ensemble of convolutional neural networks. Pattern Recognition, 72: 381-390 [DOI:10.1016/j.patcog.2017.08.004]
  • Ravishankar S, Bresler Y. 2011. MR image reconstruction from highly undersampled k-space data by dictionary learning. IEEE Transactions on Medical Imaging, 30(5): 1028-1041 [DOI:10.1109/TMI.2010.2090538]
  • Redmon J and Farhadi A. 2018. Yolov3: an incremental improvement[EB/OL].[2020-05-17].https://arxiv.org/pdf/1804.02767.pdf
  • Ren S Q, He K M, Girshick R, Sun J. 2017. Faster R-CNN:towards real-time object detection with region proposal networks. IEEE Transactions on Pattern Analysis and Machine Intelligence, 39(6): 1137-1149 [DOI:10.1109/TPAMI.2016.2577031]
  • Ronneberger O, Fischer P and Brox T. 2015. U-net: convolutional networks for biomedical image segmentation//Proceedings of the 18th International Conference on Medical Image Computing and Computer-Assisted Intervention. Munich: Springer: 234-241[DOI: 10.1007/978-3-319-24574-4_28]
  • Roth H R, Lu L, Lay N, Harrison A P, Farag A, Sohn A, Summers R M. 2018. Spatial aggregation of holistically-nested convolutional neural networks for automated pancreas localization and segmentation. Medical Image Analysis, 45: 94-107 [DOI:10.1016/j.media.2018.01.006]
  • Samala R K, Chan H P, Hadjiiski L M, Helvie M A, Cha K H, Richter C D. 2017. Multi-task transfer learning deep convolutional neural network:application to computer-aided diagnosis of breast cancer on mammograms. Physics in Medicine and Biology, 62(23): 8894-8908 [DOI:10.1088/1361-6560/aa93d4]
  • Sarraf S, DeSouza S S, Anderson J and Tofighi G. 2016. DeepAD: alzheimer's disease classification via deep convolutional neural networks using MRI and fMRI[EB/OL].[2020-05-17]. https://www.biorxiv.org/content/10.1101/070441v4.full.pdf
  • Schlemper J, Caballero J, Hajnal J V, Price A N, Rueckert D. 2018. A deep cascade of convolutional neural networks for dynamic MR image reconstruction. IEEE Transactions on Medical Imaging, 37(2): 491-503 [DOI:10.1109/TMI.2017.2760978]
  • Schlemper J, Oktay O, Schaap M, Heinrich M, Kainz B, Glocker B, Rueckert D. 2019. Attention gated networks:learning to leverage salient regions in medical images. Medical Image Analysis, 53: 197-207 [DOI:10.1016/j.media.2019.01.012]
  • Shan H M, Padole A, Homayounieh F, Kruger U, Khera R D, Nitiwarangkul C, Kalra M K, Wang G. 2019. Competitive performance of a modularized deep neural network compared to commercial algorithms for low-dose CT image reconstruction. Nature Machine Intelligence, 1(6): 269-276 [DOI:10.1038/s42256-019-0057-9]
  • Shan H M, Zhang Y, Yang Q S, Kruger U, Kalra M K, Sun L, Cong W X, Wang G. 2018. 3-D convolutional encoder-decoder network for low-dose CT via transfer learning from a 2-D trained network. IEEE Transactions on Medical Imaging, 37(6): 1522-1534 [DOI:10.1109/TMI.2018.2832217]
  • Shao Q B, Gong L J, Ma K, Liu H L and Zheng Y F. 2019. Attentive CT lesion detection using deep pyramid inference with multi-scale booster//Proceedings of the 22nd International Conference on Medical Image Computing and Computer-Assisted Intervention. Shenzhen: Springer: 301-309[DOI: 10.1007/978-3-030-32226-7_34]
  • Shen D G, Wu G R, Suk H I. 2017a. Deep learning in medical image analysis. Annual Review of Biomedical Engineering, 19: 221-248 [DOI:10.1146/annurev-bioeng-071516-044442]
  • Shen W, Zhou M, Yang F, Yu D D, Dong D, Yang C Y, Zang Y L, Tian J. 2017b. Multi-crop convolutional neural networks for lung nodule malignancy suspiciousness classification. Pattern Recognition, 61: 663-673 [DOI:10.1016/j.patcog.2016.05.029]
  • Shen Z Y, Vialard F X and Niethammer M. 2019. Region-specific diffeomorphic metric mapping//Proceedings of the 33rd Conference on Neural Information Processing Systems. Vancouver: Curran Associates, Inc: 1098-1108
  • Shi F, Wang J, Shi J, Wu Z Y, Wang Q, Tang Z Y, He K L, Shi Y H and Shen D G. 2020. Review of artificial intelligence techniques in imaging data acquisition, segmentation and diagnosis for COVID-19. IEEE Reviews in Biomedical Engineering, (99): 1-13[DOI: 10.1109/RBME.2020.2987975]
  • Shi J, Li Z, Ying S H, Wang C F, Liu Q P, Zhang Q, Yan P K. 2019. MR image super-resolution via wide residual networks with fixed skip connection. IEEE Journal of Biomedical and Health Informatics, 23(3): 1129-1140 [DOI:10.1109/JBHI.2018.2843819]
  • Shi J, Liu Q P, Wang C F, Zhang Q, Ying S H, and Xu H Y. 2018a. Super-resolution reconstruction of MR image with a novel residual learning network algorithm. Physics in Medicine and Biology, 63(8): #085011 [DOI:10.1088/1361-6560/aab9e9]
  • Shi J, Zheng X, Li Y, Zhang Q, Ying S H. 2018b. Multimodal neuroimaging feature learning with multimodal stacked deep polynomial networks for diagnosis of Alzheimer's disease. IEEE Journal of Biomedical and Health Informatics, 22(1): 173-183 [DOI:10.1109/JBHI.2017.2655720]
  • Shi J, Zhou S C, Liu X, Zhang Q, Lu M H, Wang T F. 2016. Stacked deep polynomial network based representation learning for tumor classification with small ultrasound image dataset. Neurocomputing, 194: 87-94 [DOI:10.1016/j.neucom.2016.01.074]
  • Shin H C, Roth H R, Gao M C, Lu L, Xu Z Y, Nogues I, Yao J H, Mollura D, Summers R M. 2016. Deep convolutional neural networks for computer-aided detection:CNN architectures, dataset characteristics and transfer learning. IEEE Transactions on Medical Imaging, 35(5): 1285-1298 [DOI:10.1109/TMI.2016.2528162]
  • Shin S Y, Lee S, Yun I D, Kim S M, Lee K M. 2019. Joint weakly and semi-supervised deep learning for localization and classification of masses in breast ultrasound images. IEEE Transactions on Medical Imaging, 38(3): 762-774 [DOI:10.1109/TMI.2018.2872031]
  • Song W F, Li S, Liu J, Qin H, Zhang B, Zhang S Y, Hao A M. 2019. Multitask cascade convolution neural networks for automatic thyroid nodule detection and recognition. IEEE Journal of Biomedical and Health Informatics, 23(3): 1215-1224 [DOI:10.1109/JBHI.2018.2852718]
  • Sotiras A, Davatzikos C, Paragios N. 2013. Deformable medical image registration:a survey. IEEE Transactions on Medical Imaging, 32(7): 1153-1190 [DOI:10.1109/TMI.2013.2265603]
  • Suk H I, Lee S W, Shen D G. 2014. Hierarchical feature representation and multimodal fusion with deep learning for AD/MCI diagnosis. NeuroImage, 101: 569-582 [DOI:10.1016/j.neuroimage.2014.06.077]
  • Sun L Y, Fan Z W, Ding X H, Huang Y and Paisley J. 2019b. Joint CS-MRI reconstruction and segmentation with a unified deep network//Proceedings of the 26th International Conference on Information Processing in Medical Imaging. Hong Kong, China: Springer: 492-504[DOI: 10.1007/978-3-030-20351-1_38]
  • Sun L Y, Fan Z W, Fu X Y, Huang Y, Ding X H, Paisley J. 2019a. A deep information sharing network for multi-contrast compressed sensing MRI reconstruction. IEEE Transactions on Image Processing, 28(12): 6141-6153 [DOI:10.1109/TIP.2019.2925288]
  • Sun L Y, Fan Z W, Huang Y, Ding X H and Paisley J. 2018. Compressed sensing MRI using a recursive dilated network//Proceedings of the 32nd AAAI Conference on Artificial Intelligence. New Orleans: AAAI: 2444-2451
  • Szegedy C, Vanhoucke V, Ioffe S, Shlens J and Wojna Z. 2016. Rethinking the Inception architecture for computer vision//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas: IEEE: 2818-2826[DOI: 10.1109/CVPR.2016.308]
  • Tajbakhsh N, Jeyaseelan L, Li Q, Chiang J N, Wu Z H, Ding X W. 2020. Embracing imperfect datasets:a review of deep learning solutions for medical image segmentation. Medical Image Analysis, 63: #101693 [DOI:10.1016/j.media.2020.101693]
  • Tang F, Liang S J, Zhong T, Huang X, Deng X G, Zhang Y, Zhou L H. 2020. Postoperative glioma segmentation in CT image using deep feature fusion model guided by multi-sequence MRIs. European Radiology, 30(2): 823-832 [DOI:10.1007/s00330-019-06441-z]
  • Tao Q Y, Ge Z Y, Cai J F, Yin J X and See S. 2019. Improving deep lesion detection using 3D contextual and spatial attention//Proceedings of the 22nd International Conference on Medical Image Computing and Computer-Assisted Intervention. Shenzhen: Springer: 185-193[DOI: 10.1007/978-3-030-32226-7_21]
  • Tong N, Gou S P, Yang S Y, Ruan D, Sheng K. 2018. Fully automatic multi-organ segmentation for head and neck cancer radiotherapy using shape representation model constrained fully convolutional neural networks. Medical Physics, 45(10): 4558-4567 [DOI:10.1002/mp.13147]
  • Wang J X, Li S, Song W F, Qin H, Zhang B and Hao A M. 2018a. Learning from weakly-labeled clinical data for automatic thyroid nodule classification in ultrasound images//Proceedings of the 25th IEEE International Conference on Image Processing. Athens: IEEE: 3114-3118[DOI: 10.1109/ICIP.2018.8451085]
  • Wang S, Nie D, Qu L Q, Shao Y Q, Lian J, Wang Q, Shen D G. 2020b. CT male pelvic organ segmentation via hybrid loss network with incomplete annotation. IEEE Transactions on Medical Imaging, 39(6): 2151-2162 [DOI:10.1109/TMI.2020.2966389]
  • Wang S S, Cheng H T, Ying L, Xiao T H, Ke Z W, Zheng H R, Liang D. 2020a. DeepcomplexMRI:exploiting deep residual network for fast parallel MR imaging with complex convolution. Magnetic Resonance Imaging, 68: 136-147 [DOI:10.1016/j.mri.2020.02.002]
  • Wang S S, Ke Z W, Cheng H T, Jia S, Ying L, Zheng H R and Liang D. 2019. DIMENSION: dynamic MR imaging with both k-space and spatial prior knowledge obtained via multi-supervised network training. NMR in Biomedicine: #4131[DOI: 10.1002/nbm.4131]
  • Wang S S, Su Z H, Ying L, Peng X, Zhu S, Liang F, Feng D G and Liang D. 2016. Accelerating magnetic resonance imaging via deep learning//Proceedings of the 13th IEEE International Symposium on Biomedical Imaging. Prague: IEEE: 514-517[DOI: 10.1109/ISBI.2016.7493320]
  • Wang S S, Tan S, Gao Y, Liu Q G, Ying L, Xiao T H, Liu Y Y, Liu X, Zheng H R, Liang D. 2018b. Learning joint-sparse codes for calibration-free parallel MR imaging. IEEE Transactions on Medical Imaging, 37(1): 251-261 [DOI:10.1109/TMI.2017.2746086]
  • Wang Z W, Lin Y, Cheng K T, Yang X. 2020c. Semi-supervised mp-MRI data synthesis with stitchLayer and auxiliary distance maximization. Medical Image Analysis, 59: #101565 [DOI:10.1016/j.media.2019.101565]
  • Wen D, Wei Z H, Zhou Y H, Li G L, Zhang X, Han W. 2018. Deep learning methods to process fMRI data and their application in the diagnosis of cognitive impairment:a brief overview and our opinion. Frontiers in Neuroinformatics, 12: #23 [DOI:10.3389/fninf.2018.00023]
  • Wei D M, Ahmad S, Huo J Y, Peng W, Ge Y H, Xue Z, Yap P T, Li W T, Shen D G and Wang Q. 2019. Synthesis and inpainting-based MR-CT registration for image-guided thermal ablation of liver tumors//Proceedings of the 22nd International Conference on Medical Image Computing and Computer-Assisted Intervention. Shenzhen: Springer: 512-520[DOI: 10.1007/978-3-030-32254-0_57]
  • Wei D M, Zhang L C, Wu Z W, Cao X H, Li G, Shen D G, Wang Q. 2020. Deep morphological simplification network (MS-Net) for guided registration of brain magnetic resonance images. Pattern Recognit, 100: #107171 [DOI:10.1016/j.patcog.2019.107171]
  • Wolterink J M, Dinkla A M, Savenije M H F, Seevinck P R, van den Berg C A T and Išgum I. 2017a. Deep MR to CT synthesis using unpaired data//Proceedings of the 2nd International Workshop on Simulation and Synthesis in Medical Imaging. Québec City: Springer: 14-23[DOI: 10.1007/978-3-319-68127-6_2]
  • Wolterink J M, Leiner T, Viergever M A, Išgum I. 2017b. Generative adversarial networks for noise reduction in low-dose CT. IEEE Transactions on Medical Imaging, 36(12): 2536-2545 [DOI:10.1109/TMI.2017.2708987]
  • Wu H F, Wu Y W, Sun L Y, Cai C B, Huang Y and Ding X H. 2018a. A deep ensemble network for compressed sensing MRI//Proceedings of the 25th International Conference on Neural Information Processing. Siem Reap: Springer: 162-171[DOI: 10.1007/978-3-030-04167-0_15]
  • Wu K, Du B W, Luo M, Wen H K, Shen Y R and Feng J F. 2019. Weakly supervised brain lesion segmentation via attentional representation learning//Proceedings of the 22nd International Conference on Medical Image Computing and Computer-Assisted Intervention. Shenzhen: Springer: 211-219[DOI: 10.1007/978-3-030-32248-9_24]
  • Wu S T, Gao Z F, Liu Z, Luo J W, Zhang H Y and Li S. 2018b. Direct reconstruction of ultrasound elastography using an end-to-end deep neural network//Proceedings of the 21st International Conference on Medical Image Computing and Computer-Assisted Intervention. Granada: Springer: 374-382[DOI: 10.1007/978-3-030-00928-1_43]
  • Xiang L, Chen Y, Chang W T, Zhan Y Q, Lin W L, Wang Q, Shen D G. 2019. Deep-learning-based multi-modal fusion for fast MR reconstruction. IEEE Transactions on Biomedical Engineering, 66(7): 2105-2114 [DOI:10.1109/TBME.2018.2883958]
  • Xiang L, Wang Q, Nie D, Zhang L C, Jin X Y, Qiao Y, Shen D G. 2018. Deep embedding convolutional neural network for synthesizing CT image from T1-Weighted MR image. Medical Image Analysis, 47: 31-44 [DOI:10.1016/j.media.2018.03.011]
  • Xiao L, Zhu C, Liu J J, Luo C L, Liu P F and Zhao Y. 2019. Learning from suspected target: bootstrapping performance for breast cancer detection in mammography//Proceedings of the 22nd International Conference on Medical Image Computing and Computer-Assisted Intervention. Shenzhen: Springer: 468-476[DOI: 10.1007/978-3-030-32226-7_52]
  • Xie H T, Yang D B, Sun N N, Chen Z N, Zhang Y D. 2019. Automated pulmonary nodule detection in CT images using deep convolutional neural networks. Pattern Recognition, 85: 109-119 [DOI:10.1016/j.patcog.2018.07.031]
  • Xie S N and Tu Z W. 2015. Holistically-nested edge detection//Proceedings of 2015 IEEE International Conference on Computer Vision. Santiago: IEEE: 1395-1403[DOI: 10.1109/ICCV.2015.164]
  • Xu H, Xie H T, Liu Y Z, Cheng C D, Niu C S and Zhang Y D. 2019. Deep cascaded attention network for multi-task brain tumor segmentation//Proceedings of the 22nd International Conference on Medical Image Computing and Computer-Assisted Intervention. Shenzhen: Springer: 420-428[DOI: 10.1007/978-3-030-32248-9_47]
  • Xue J, He K L, Nie D, Adeli E, Shi Z S, Lee S W, Zheng Y J, Liu X Y, Li D W, Shen D G. 2019. Cascaded multitask 3-D fully convolutional networks for pancreas segmentation. IEEE Transactions on Cybernetics, 99: 1-13 [DOI:10.1109/TCYB.2019.2955178]
  • Yan K, Bagheri M and Summers R M. 2018a. 3D context enhanced region-based convolutional neural network for end-to-end lesion detection//Proceedings of the 21st International Conference on Medical Image Computing and Computer-Assisted Intervention. Granada: Springer: 511-519[DOI: 10.1007/978-3-030-00928-1_58]
  • Yan K, Tang Y B, Peng Y F, Sandfort V, Bagheri M, Lu Z Y and Summers R M. 2019. Mulan: multitask universal lesion analysis network for joint lesion detection, tagging, and segmentation//Proceedings of the 22nd International Conference on Medical Image Computing and Computer-Assisted Intervention. Shenzhen: Springer: 194-202[DOI: 10.1007/978-3-030-32226-7_22]
  • Yan K, Wang X S, Lu L, Summers R M. 2018b. DeepLesion:automated mining of large-scale lesion annotations and universal lesion detection with deep learning. Journal of Medical Imaging, 5(3): #036501 [DOI:10.1117/1.JMI.5.3.036501]
  • Yang G, Yu S M, Dong H, Slabaugh G, Dragotti P L, Ye X, Liu F D, Arridge S, Keegan J, Guo Y K, Firmin D. 2018a. DAGAN:deep de-aliasing generative adversarial networks for fast compressed sensing MRI reconstruction. IEEE Transactions on Medical Imaging, 37(6): 1310-1321 [DOI:10.1109/TMI.2017.2785879]
  • Yang H R, Sun J, Carass A, Zhao C, Lee J, Xu Z B and Prince J. 2018b. Unpaired brain MR-to-CT synthesis using a structure-constrained CycleGAN//Proceedings of the 4th International Workshop, DLMIA 2018, and the 8th International Workshop, ML-CDS 2018, Held in Conjunction with MICCAI 2018. Granada: Springer: 174-182[DOI: 10.1007/978-3-030-00889-5_20]
  • Yang Q S, Yan P K, Zhang Y B, Yu H Y, Shi Y Y, Mou X Q, Kalra M K, Zhang Y, Sun L, Wang G. 2018c. Low-dose CT image denoising using a generative adversarial network with Wasserstein distance and perceptual loss. IEEE Transactions on Medical Imaging, 37(6): 1348-1357 [DOI:10.1109/TMI.2018.2827462]
  • Yang X, Dou H R, Li R, Wang X, Bian C, Li S L, Ni D and Heng P A. 2018d. Generalizing deep models for ultrasound image segmentation//Proceedings of the 21st International Conference on Medical Image Computing and Computer-Assisted Intervention. Granada: Springer: 497-505[DOI: 10.1007/978-3-030-00937-3_57]
  • Yang X, Kwitt R, Styner M, Niethammer M. 2017a. Quicksilver:fast predictive image registration-a deep learning approach. Neuroimage, 158: 378-396 [DOI:10.1016/j.neuroimage.2017.07.008]
  • Yang X, Lin Y, Wang Z W, Li X, Cheng K T. 2020b. Bi-modality medical image synthesis using semi-supervised sequential generative adversarial networks. IEEE Journal of Biomedical and Health Informatics, 24(3): 855-865 [DOI:10.1109/JBHI.2019.2922986]
  • Yang X, Yu L Q, Wu L Y, Wang Y, Ni D, Qin J and Heng P A. 2017b. Fine-grained recurrent neural networks for automatic prostate segmentation in ultrasound images//Proceedings of the 31st AAAI Conference on Artificial Intelligence. San Francisco: AAAI: 1633-1639
  • Yang Y, Sun J, Li H B and Xu Z B. 2016. Deep ADMM-Net for compressive sensing MRI//Proceedings of the 30th International Conference on Neural Information Processing Systems. Barcelona: Curran Associates Inc: 10-18
  • Yang Y, Sun J, Li H B, Xu Z B. 2020a. ADMM-CSNet:a deep learning approach for image compressive sensing. IEEE Transactions on Pattern Analysis and Machine Intelligence, 42(3): 521-538 [DOI:10.1109/TPAMI.2018.2883941]
  • Yi X, Babyn P. 2018. Sharpness-aware low-dose CT denoising using conditional generative adversarial network. Journal of Digital Imaging, 31(5): 655-669 [DOI:10.1007/s10278-018-0056-0]
  • Yi X, Walia E, Babyn P. 2019. Generative adversarial network in medical imaging:a review. Medical Image Analysis, 58: #101552 [DOI:10.1016/j.media.2019.101552]
  • Yin X R, Zhao Q L, Liu J, Yang W, Yang J, Quan G T, Chen Y, Shu H Z, Luo L M, Coatrieux J L. 2019. Domain progressive 3D residual convolution network to improve low-dose CT imaging. IEEE Transactions on Medical Imaging, 38(12): 2903-2913 [DOI:10.1109/TMI.2019.2917258]
  • Yoon Y H, Khan S, Huh J, Ye J C. 2019. Efficient B-mode ultrasound image reconstruction from sub-sampled RF data using deep learning. IEEE Transactions on Medical Imaging, 38(2): 325-336 [DOI:10.1109/TMI.2018.2864821]
  • Yu B T, Zhou L P, Wang L, Shi Y H, Fripp J, Bourgeat P. 2019. Ea-GANs:edge-aware generative adversarial networks for cross-modality MR image synthesis. IEEE Transactions on Medical Imaging, 38(7): 1750-1762 [DOI:10.1109/TMI.2019.2895894]
  • Zbontar J, Knoll F, Sriram A, Murrell T, Huang Z N, Muckley M J, Defazio A, Stern R, Johnson M, Bruno M, Parente M, Geras K J, Katsnelson J, Chandarana H, Zhang Z Z, Drozdzal M, Romero A, Rabbat M, Vincent P, Yakubova N, Pinkerton J, Wang D, Owens E, Zitnick C L, Recht M P, Sodickson D K and Lui Y W. 2018. fastMRI: an open dataset and benchmarks for accelerated MRI[EB/OL].[2020-05-01]. https://arxiv.org/pdf/1811.08839.pdf
  • Zeng W, Peng J, Wang S S, Liu Q G. 2020. A comparative study of CNN-based super-resolution methods in MRI reconstruction and its beyond. Signal Processing:Image Communication, 81: #115701 [DOI:10.1016/j.image.2019.115701]
  • Zhang E L, Seiler S, Chen M L, Lu W G and Gu X J. 2019a. Boundary-aware semi-supervised deep learning for breast ultrasound computer-aided diagnosis//Proceedings of the 41st Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Berlin: IEEE: 947-950[DOI: 10.1109/EMBC.2019.8856539]
  • Zhang E L, Seiler S, Chen M L, Lu W G, Gu X J. 2020a. BIRADS features-oriented semi-supervised deep learning for breast ultrasound computer-aided diagnosis. Physics in Medicine and Biology, 65(12): 125005 [DOI:10.1088/1361-6560/ab7e7d]
  • Zhang M H, Li M T, Zhou J J, Zhu Y J, Wang S S, Liang D, Chen Y, Liu Q G. 2020b. High-dimensional embedding network derived prior for compressive sensing MRI reconstruction. Medical Image Analysis, 64: #101717 [DOI:10.1016/j.media.2020.101717]
  • Zhang W L, Li R J, Deng H T, Wang L, Lin W L, Ji S W, Shen D G. 2015. Deep convolutional neural networks for multi-modality isointense infant brain image segmentation. NeuroImage, 108: 214-224 [DOI:10.1016/j.neuroimage.2014.12.061]
  • Zhang Z H, Zhang X S, Lin X N, Dong L C, Zhang S R, Zhang X L, Sun D S, Yuan K H. 2019c. Ultrasonic diagnosis of breast nodules using modified faster R-CNN. Ultrasonic Imaging, 41(6): 353-367 [DOI:10.1177/0161734619882683]
  • Zhang Z J, Fu H Z, Dai H, Shen J B, Pang Y W and Shao L. 2019b. ET-Net: a generic edge-attention guidance network for medical image segmentation//Proceedings of the 22nd International Conference on Medical Image Computing and Computer-Assisted Intervention. Shenzhen: Springer: 442-450[DOI: 10.1007/978-3-030-32239-7_49]
  • Zhao S Y, Dong Y, Chang E and Xu Y. 2019a. Recursive cascaded networks for unsupervised medical image registration//Proceedings of 2019 IEEE/CVF International Conference on Computer Vision. Seoul: IEEE: 10599-10609[DOI: 10.1109/ICCV.2019.01070]
  • Zhao X L, Zhang Y L, Zhang T, Zou X M. 2019b. Channel splitting network for single MR image super-resolution. IEEE Transactions on Image Processing, 28(11): 5649-5662 [DOI:10.1109/TIP.2019.2921882]
  • Zhao X M, Wu Y H, Song G D, Li Z Y, Zhang Y Z, Fan Y. 2018. A deep learning model integrating FCNNs and CRFs for brain tumor segmentation. Medical Image Analysis, 43: 98-111 [DOI:10.1016/j.media.2017.10.002]
  • Zhao Y X, Zhang Y M, Song M and Liu C L. 2019c. Multi-view semi-supervised 3D whole brain segmentation with a self-ensemble network//Proceedings of the 22nd International Conference on Medical Image Computing and Computer-Assisted Intervention. Shenzhen: Springer: 256-265[DOI: 10.1007/978-3-030-32248-9_29]
  • Zhou C H, Ding C X, Lu Z T, Wang X C and Tao D C. 2018. One-pass multi-task convolutional neural networks for efficient brain tumor segmentation//Proceedings of the 21st International Conference on Medical Image Computing and Computer-Assisted Intervention. Granada: Springer: 637-645[DOI: 10.1007/978-3-030-00931-1_73]
  • Zhou J, Luo L Y, Dou Q, Chen H, Chen C, Li G J, Jiang Z F, Heng P A. 2019a. Weakly supervised 3D deep learning for breast cancer classification and localization of the lesions in MR images. Journal of Magnetic Resonance Imaging, 50(4): 1144-1151 [DOI:10.1002/jmri.26721]
  • Zhou S H, Nie D, Adeli E, Yin J P, Lian J, Shen D G. 2020a. High-resolution encoder-decoder networks for low-contrast medical image segmentation. IEEE Transactions on Image Processing, 29: 461-475 [DOI:10.1109/TIP.2019.2919937]
  • Zhou Y Y, Li Y W, Zhang Z S, Wang Y, Wang A T, Fishman E K, Yuille A L and Park S. 2019b. Hyper-pairing network for multi-phase pancreatic ductal adenocarcinoma segmentation//Proceedings of the 22nd International Conference on Medical Image Computing and Computer-Assisted Intervention. Shenzhen: Springer: 155-163[DOI: 10.1007/978-3-030-32245-8_18]
  • Zhou Z W, Siddiquee M R, Tajbakhsh N, Liang J M. 2020b. UNet++:redesigning skip connections to exploit multiscale features in image segmentation. IEEE Transactions on Medical Imaging, 39(6): 1856-1867 [DOI:10.1109/TMI.2019.2959609]
  • Zhu B, Liu J Z, Cauley S F, Cauley S F, Rosen B R, Rosen M S. 2018a. Image reconstruction by domain-transform manifold learning. Nature, 555(7697): 487-492 [DOI:10.1038/nature25988]
  • Zhu W T, Liu C C, Fan W and Xie X H. 2018b. DeepLung: deep 3D dual path nets for automated pulmonary nodule detection and classification//Proceedings of 2018 IEEE Winter Conference on Applications of Computer Vision. Lake Tahoe: IEEE: 673-681[DOI: 10.1109/WACV.2018.00079]
  • Zhu W T, Vang Y S, Huang Y F and Xie X H. 2018c. DeepEM: deep 3D convnets with em for weakly supervised pulmonary nodule detection//Proceedings of the 21st International Conference on Medical Image Computing and Computer-Assisted Intervention. Granada: Springer: 812-820[DOI: 10.1007/978-3-030-00934-2_90]
  • Zlocha M, Dou Q and Glocker B. 2019. Improving retinaNet for CT lesion detection with dense masks from weak RECIST labels//Proceedings of the 22nd International Conference on Medical Image Computing and Computer-Assisted Intervention. Shenzhen: Springer: 402-410[DOI: 10.1007/978-3-030-32226-7_45]