目前, 各类医学影像数据积累迅速，给利用传统影像分析方法实现疾病诊断的医生带来了巨大挑战；随着技术发展，计算机视觉领域的深度学习方法日渐成熟，为实现医学影像的自动分析及辅助医生实现疾病的高精度智能诊断提供了新的契机(Cai等, 2020; Zhang等, 2017)。然而，医学影像领域往往存在着数据较少、数据缺失和分类不均等问题。本文综述了深度学习方法在医学影像领域的最新研究进展，并介绍了深度学习方法以及该类方法在医学影像领域的应用情况。本文综述了“医学人工智能”领域最近发表的24篇学术杂志和学术会议论文，内容涉及核磁共振、CT(computed tomogrphy)、超声、病理和生物电信号等领域。最后，预测了研究动向和研究趋势，并提出深度学习在医学影像研究中可能的发展方向。

核磁共振是医学图像分析的主要研究领域之一，现有的研究文献包括阿尔茨海默病(Alzheimer’s disease, AD)核磁共振影像、帕金森病核磁共振影像、脑肿瘤核磁共振影像、前列腺癌核磁共振影像和心脏核磁共振影像等。

吕鸿蒙等人(2017)改进了著名的AlexNet分类模型，并提出改进原始模型的4种增强AlexNet算法：AlexNet-4 same5、AlexNet-s1 sames5、AlexNet-1314 398和AlexNet-i5_398(其中AlexNet-i5_398的结构如图 1所示)，进行阿尔茨海默病核磁共振影像的2维分析。实验结果表明，在包含阿尔茨海默病、轻度认知障碍(mild cognitive impairment, MCI)和正常(healthy contro1, HC)的4个测试集合(AD vs HC、AD vs MCI、MCI vs HC、AD vs MCI vs HC)上，图像总数量超过7万幅，增强AlexNet的敏感度、特异度和精确度等指标均显著优于AlexNet。使用曙光W780-G20服务器，利用8块NVIDIA Tes1a K80进行GPU计算，增强AlexNet的耗时不超过30 min。

图 1 增强AlexNet模型结构示意图(吕鸿蒙等，2017)

Fig. 1 Schematic diagram of the enhanced AlexNet model structure (Lyu et al., 2017)

姚铁锤等人(2017)采用CaffeNet、GoogLeNet和VGG16(visual geometry group 16-layer net)进行阿尔茨海默病核磁共振影像的2维分析，获得了高于AlexNet的分类效果。

基于吕鸿蒙等人(2017)的工作，张巧丽等人(2018)针对帕金森病的病理特点，提出了优化AlexNet算法，对帕金森病核磁共振影像进行2维分析。实验结果表明，在北京301医院的帕金森病数据集合上，优化AlexNet算法的模型损失、准确率等指标显著高于AlexNet算法。

胶质瘤术前的准确分级对于治疗计划和预后预测是非常重要的。Yang等人(2018)采用迁移学习方法，选用AlexNet和GoogLeNet对脑胶质瘤核磁共振影像2维分析, 进行低恶度脑胶质瘤(lower grade glioma, LGG)和高恶度脑胶质瘤(higher grade glioma, HGG)的分类预测，并用大规模自然图像数据库ImageNet对模型进行微调。实验结果表明，在113例胶质瘤患者的磁共振影像数据集合上，从零开始训练的GoogLeNet的验证准确率、测试准确度和AUC(area under curve)的平均值分别为0.867、0.909和0.939。迁移了ImageNet模型信息的AlexNet和GoogLeNet的性能显著优于从零开始训练的AlexNet和GoogLeNet，模型结构如图 2所示。

图 2 迁移了ImageNet模型信息的AlexNet和GoogLeNet结构示意图(Yang等，2018)

Fig. 2 Schematic diagram of AlexNet and GoogLeNet with migrated ImageNet model information(Yang et al., 2018)

基于深度学习的生物医学图像分析的一个关键因素是训练样本的数量和标注。针对基于深度学习的生物医学图像分析中训练样本数量不足和标注困难等问题，汪红志等人(2018)开发了基于虚拟磁共振图像(magnetic resonance imaging, MRI)技术平台的样本增广和数据标注的方法，并在正常人脑和脑肿瘤磁共振影像的数据集合上进行了验证。

因为核磁影像是3维和4维的，需要对核磁影像直接进行3维和4维的分析。然而对3维医学图像使用卷积神经网络(convolutional neural network, CNN)进行训练处理时，经常会出现拟合现象，这是由于训练数据集数量不足而导致的。另外，由于3维卷积神经网络数据量大，计算量大，训练速度慢，需要针对高维度的核磁共振影像数据的相关特点来设计并行算法进行模型训练。

在复杂3维医学图像特征提取和图像识别难度大、训练数据集数量不足的情况下，神经网络所训练的模型容易产生过拟合现象。苏庆华等人(2019a)针对这一问题提出一种新的用于前列腺辅助诊断的简化AlexNet 3维模型，该模型优化了深度学习网络层次，采用较少的参数进行模型训练的方式以加快训练速度的目的，与此同时，参数量的降低也减少了过拟合的可能性。

在医学影像处理领域，数据量少是广泛存在的问题，优秀的数据更是难以获取。通常应对数据量不足的问题主要采用数据扩增产生训练数据。针对前列腺结构的对称特点以及病人拍摄医学图像时位置固定的特点，水平翻转图像并不会带来错误特征，苏庆华等人(2019a)采用的方式主要为图像翻转，同时采用随机灰白点的加噪方式对数据进行加噪。理论上这种扩增技术可以无限扩增数据，但也应注意到这种加噪方式可能会被网络认定为一种特征而被网络提取，因此仅进行适度扩增。同时为了减轻对特定神经元的依赖，在模型训练中加入dropout技术以尽可能减缓过拟合。

AlexNet模型本身具有较多参数，即使数据经过扩增，也容易产生过拟合问题。针对医学图像识别的应用场景，需选择一个合适的、具有较少参数的网络模型，通过降低网络模型复杂性、减少参数量以防止模型过拟合。苏庆华等人(2019a)采用简化的AlexNet模型进行训练，模型结构如图 3所示，以前列腺癌的医学影像作为切入点，将3维数据引入到深度学习的卷积神经网络中。通过具体的3维卷积神经网络搭建，证实其可行性及未来发展的价值，获得73%的识别准确率。在现实数据集大小难以支撑3维卷积神经网络训练时，通过应用多种方法来防止过拟合，尽可能达到需求的标准，从而实现完成项目的效果。

图 3 简化AlexNet 3维模型结构示意图(苏庆华等, 2019a)

Fig. 3 Simplified schematic diagram of AlexNet 3D model structure(Su et al., 2019a)

在深度学习中，一个神经网络模型通常包含大量参数，利用大量数据对模型进行训练十分耗时，这对于排查网络设计问题、及时调整网络结构十分不利。这些问题在3维卷积网络中影响更大，如何加快神经网络的训练一直是深度学习领域中的重要问题。为解决该问题，苏庆华等人(2019b)为简化AlexNet 3维模型设计了基于多GPU数据同步的并行算法。数据同步并行是指在一次迭代开始后，每个从节点都从主节点获取最新模型参数以更新网络模型，划分数据后使用不同的从节点进行训练，然后将得到的参数传回主节点；当主节点将所有从节点传回的参数都更新到模型后，系统的一次迭代完成，模型完成一次更新。若使用数据同步训练的系统中包含m个GPU，每个GPU的mini-batch大小为N，则该系统等价于利用单个GPU对大小为m×N的mini-batch进行训练。由于数据并行使用了平均梯度，减少了模型的更新次数，因此对最终的准确率产生了一定影响。但其准确率始终在72.5%上下浮动，这是因为基于随机梯度下降的训练具有较好的鲁棒性，即使是在使用12个GPU进行训练时也仅使最终的准确率降低了0.04%。相较于优秀的加速比，其精度的损失完全可以接受。然而该方法并不完善，其瓶颈在于GPU传输总线的传输速率远远小于其计算能力，由于多GPU的通信开销的提升会降低每个GPU训练效率，所以应当充分利用GPU的能力，尽量使各GPU满载(苏庆华等, 2019a)。实验结果表明，随着GPU数量的增加，简化AlexNet的3维模型基于多GPU数据同步的并行算法的加速比接近于线性增加。该并行算法的示意图如图 4所示。

图 4 数据同步并行示意图

Fig. 4 Parallel diagram of data synchronization

心脏是人体内唯一的快速运动的器官。因此，心脏核磁共振影像的成像与分析是医学影像分析领域最为困难的方面之一。

目前，深度学习在左心室轮廓分割领域仍有提升的空间。高强等人(2020)提出了GNNI U-Net(U-Net with group normalization and nearest interpolation)，即一种基于组归一化与最近邻插值的MRI左心室轮廓精确分割网络，网络结构如图 5所示。

图 5 GNNI U-Net模型结构示意图(高强等, 2020)

Fig. 5 GNNI U-Net model structure diagram(Gao et al., 2020)

GNNI U-Net基于最近邻插值法构建了用于特征信息还原的上采样模块，并利用组归一化方法构建了能够快速准确提取特征信息的卷积模块。GNNI U-Net证明带有组归一化操作的卷积模块能够加速网络收敛，并提高分割精度。对左心室轮廓这类较小目标的分割任务，采用最近邻插值法的上采样模块结果友好，能够在一定程度上加速网络收敛。高强等人(2020)在Sunnybrook与LVSC(left ventricle segmentation challenge) 两个左心室分割数据集上采用了中心裁减ROI(region of interest) 提取的预处理方法，相比较其他网络，GNNI U-Net在两个数据集上的Dice系数分别达到了0.937和0.957。

Yao等人(2018)开发了基于快速离散小波变换的心脏核磁共振影像的成像算法。计算结果表明，采用80×150×32×80心脏MRI数据集，在心脏核磁共振影像重建过程中，快速离散小波变换的速度大约是常规DWT(discrete wavelet transform)的3倍；基于快速离散小波变换的心脏核磁共振影像的成像算法比基于常规离散小波变换的心脏核磁共振影像的成像算法快约20%。

甲状腺结节超声图像分割是甲状腺疾病诊断的关键步骤。Guo等人(2020)开发了增强DeepLabv3+的分割模型(结构如图 6所示)，对甲状腺结节进行深度预测。实验结果表明，在1 400个甲状腺结节的数据集合上，增强DeepLabv3+的Dice系数为94.08%，准确率为97.91%，显著优于AlexNet、DeepLabv3+和U-Net。

图 6 带有编码器和解码器的改进的DeepLabv3 + DCNN模型(Guo等, 2020)

Fig. 6 The improved DeepLabv3+ DCNN model with encoder and decoder(Guo et al., 2020)

乳腺癌是女性最常见的恶性肿瘤之一，常用的筛查手段包括超声、钼靶等。因为乳腺癌良恶性结节在边缘处呈现较为显著的差异，乳腺结节良恶性判断的深度学习算法可以考虑采用对结节的边界加强处理的算法。陈思文等人(2019)对乳腺结节的超声图像采用自适应对比度增强(adaptive contrast enhancement, ACE)等方法进行预处理，并用AlexNet模型进行乳腺癌结节的分类研究。实验结果表明，在985个乳腺结节的训练集合上，使用ACE显著提高了AlexNet模型的敏感度、特异度和精确率等参数。

脂肪肝目前已经成为成年人的常见病。李丽玮等人(2018)选用自适应对比度增强等3种方法对脂肪肝图像的纹理特征进行预处理，并用LeNet-5网络进行脂肪肝分类任务的分析。实验结果表明，在包含368幅脂肪肝超声图像的数据集上，与其余两种方法相比，自适应对比度增强方法显著提高了LeNet-5网络的性能指标。

臂丛神经阻滞是上肢手术与术后护理中一种常用的局部麻醉方式，医院广泛应用超声设备检测和定位臂丛神经。杨桐等人(2019)开发了基于自适应对比度增强和SegNet的算法，对臂丛神经进行分割。

Chen等人(2020)提出了一种融合U-Net和SegNet的深度全卷积神经网络FNet(fusion network)，用于从婴儿髋关节超声影像中自动分割出股骨头区域，以指导后续的髋关节发育不良(developmental dysplasia of the hip，DDH)的自动检测。该算法首先采用均值滤波、形态学处理和最小二乘法检测出超声影像中髋关节基线和骨性髋臼基线，并获得其交点。然后以此交点提取出包含股骨头的感兴趣区域(region of interest, ROI)作为FNet网络的输入数据。最后，用级联的方式来训练所提出的FNet网络，并对网络中编码器所提取到的特征进行可视化，用于计算股骨头覆盖率(femoral head coverage, FHC)，检测流程图如图 7所示。结果表明, FNet学习到了非常重要的股骨头特征，以此获得了较好的分割精度。在超声数据集上测试了FNet模型，实验结果表明，所提出的股骨头分割方法的Dice系数、召回率和交并比(intersection over union, IoU)这3个指标的值分别为0.946, 0.937和0.897，可以满足临床上对DDH计算机辅助诊疗的应用。

图 7 DDH自动检测流程示意图(Chen等, 2020)

Fig. 7 Schematic diagram of DDH automatic detection process(Chen et al., 2020)

魏小娜等人(2020)提出了一种融合U-Net与ResNet的新型网络结构2D ResU-Net(网络结构如图 8所示)，用于进行关节滑膜分割。该方法解决了U-Net深度不足和网络较深时梯度消失的问题, 有效提升了模型的分割性能。实验结果表明，在Dice系数上，2D ResU-Net为69.98%，相比原始U-Net的59.26%提升了18.1%；在IoU上，2D ResU-Net为79.9%，相比原始U-Net的75.66%提高了5.6%。

图 8 2D ResU-Net网络模型(魏小娜等, 2020)

Fig. 8 2D ResU-Net network model(Wei et al., 2020)

病理数据作为癌症等疾病诊断的“金标准”，这一领域的诊断资源供需关系紧张。针对这一严峻形势，将深度学习方法应用到胃癌病理图像的识别中，基于胃癌的数字病理图像数据，设计计算机辅助诊断算法，为病理医师的工作提供辅助是大势所趋。深度学习方法能够在训练过程中从数据集里自主学习相关的特征信息，极大降低了对操作人员的病理相关专业知识的要求，因此能够大大缓解当前病理领域的人才供需问题。

张泽中等人(2018)使用Caffe框架搭建和训练神经网络，首先针对胃癌病理图像数据的特点对GoogLeNet进行结构上的优化，从而在保证模型识别效果的前提下降低训练所需的硬件成本和时间成本；然后，将AlexNet与GoogLeNet两种模型结合，分别设置权重w1、w2, 构建出新的融合模型, 以学习更加全面的胃癌病理特征，融合模型检测流程如图 9所示。实验结果表明, 该融合模型无论在训练效果还是泛化能力上，都取得了比AlexNet和GoogLeNet更好的效果。

图 9 使用基于AlexNet和GoogLeNet的融合模型检测胃癌流程示意图(张泽中等, 2018)

Fig. 9 Schematic diagram of the process of detecting gastric cancer using a fusion model based on AlexNet and GoogLeNet(Zhang et al., 2018)

目前主流的单通路结构深度学习模型难以兼顾局部特征和全局特征，但多尺度输入数据能够同时输入图像不同维度的特征，帮助模型更有针对性地捕捉图像的局部和全局特征，而特征融合策略能够兼顾模型对全局特征与局部特征的关注。张泽中等人(2019)提出一种基于多尺度输入与特征融合的多输入融合网络(multi-input-fusion net, MIFNet)模型，通过对不同输入尺度特征进行自动提取和融合, 实现对胃癌病理图像中病变区域的自动分割。

MIFNet模型的基础结构基于U-Net模型，结构如图 10所示。MIFNet模型的编码器中包含3个串联的编码结构，每个编码模块在计算过程中保留了一个特征图的副本，将该副本与解码模块中对应的特征图进行级联，用于弥补其特征不足，从而保证模型能够适应复杂病理图像中的数据特征。

图 10 MIFNet模型结构示意图(张泽中等，2019)

Fig. 10 Schematic diagram of MIFNet model structure(Zhang et al., 2019)

通过使用多尺度数据输入和特征融合，MIFNet对比3种模型U-Net、SegNet和PSPNet，对胃癌病例图像的分割效果提升显著。并且在提高分割效果的同时，参数量更少的MIFNet-A的参数规模减少到普通U-Net的1/7以下，效果更好的MIFNet-B的参数规模减少到普通U-Net的1/4以下，减少了计算资源的消耗。

实验结果表明，在中国大数据人工智能创新创业大赛的“病理切片识别AI挑战赛”数据集上，MIFNet的Dice系数达到了81.87%，远高于上文中提到的3种模型。

本节讨论1维的生物医学图像分析，包括EEG(electroencephalogram)、ECG(electrocardiogram)等信号。

癫痫患者的状态可以通过脑电信号EEG进行分析。Zhang等人(2018)开发了基于小波变换和SVM(support vector machine)的算法，预测癫痫患者(people with epilepsy, PWEs)无癫痫发作状态的概率。实验结果表明，在22例癫痫的数据集合中，基于小波变换和SVM算法对癫痫发作预测的准确率为90%，敏感性为100%，受试者ROC(receiver operating characteristic curve)为0.96。

针对现有QRS波群检测算法依赖于先验知识手动提取特征，鲁棒性以及抗噪声能力较差等问题，郭新杰等人(2020)提出一种基于1维卷积神经网络(1-D CNN)的QRS波群高效检测算法，网络模型如图 11所示。图中，N为输入数据的大小，X为经过valid模式卷积后的特征向量长度，Y为经过valid模式池化后的特征向量长度，FC为链接，BN为批归一化。实验结果表明，在MIT-BIH心律失常数据库(Massachusetts Institute of Technology Beth Israel Hospital Arrhythmia Database)验证集，1-D CNN模型的准确率为99.54%，假阳性检测率为1.145 6%，假阴性检测率为0.265 1%。

图 11 1-D CNN模型结构示意图(郭新杰等, 2020)

Fig. 11 Structure diagram of 1-D CNN model(Guo et al., 2020)

除了超声图像以外，筛查与诊断乳腺癌的另一种重要手段是乳腺钼靶X线摄影检查。孙泽宇等人(2019)提出了一种基于ImageNet和ResNet的乳腺钼靶图像自动诊断方法。首先，训练了一个基于ImageNet和ResNet的识别乳腺钼靶中病灶的多分类网络；然后，使用这个训练好的网络进行全图分析并输出显示预测概率的热图。实验结果表明，基于ImageNet和ResNet的乳腺钼靶图像自动诊断算法对于切块数据的识别精度可以达到93%左右。

糖尿病可以通过分析视网膜眼底图像进行预测。针对视网膜眼底图像，颜嵩林等人(2019)研究了CaffeNet、GoogLeNet和VGG19等不同的CNN模型的二次迁移学习算法。实验结果表明，二次迁移学习算法提高了深度学习模型的识别精度。

静息态功能磁共振(functional magnetic resonance imaging, fMRI) 技术常用的研究方法之一是静息态功能连接(resting-state functional connectivity, rs-FC)。王佳鑫等人(2019)使用rs-FC方法研究中老年人与年轻人小脑蚓FC差异，探讨老化对小脑蚓FC的影响，并了解小脑蚓部的认知功能。实验结果表明, 小脑蚓可直接参与认知功能，也可通过影响小脑蚓与大脑皮层之间的功能耦合参与认知功能。王佳鑫等人(2019)使用统计方法分析预处理后的fMRI图像，若将深度学习应用于fMRI图像分析则有巨大的潜力。同时，对大脑功能连接的研究对于人工神经网络的结构设计具有指导作用，能够促进深度学习方向的研究进展。

生物医学影像分析是生物医学工程和计算机技术尤其是在深度学习方向上的交叉领域。相比于自然图像样本，医学影像样本有着鲜明的特点，例如不同成像原理的医学图像之间差别大、不同来源的样本差距大、有效的训练数据缺乏、图像信息量大、关注区域小等，给该领域的工作带来了很多困难。同时，计算机辅助的医学影像分析能够实现对病人特定区域的无入侵定量分析，有利于快速初步确定病情，对于病患初诊以及减轻医生工作压力有极大帮助，有着极高的实际应用价值。

本文主要从4个领域入手，分析了深度学习在不同医学影像领域的研究成果，对不同方法提供多方面的描述，分析了不同方法的优缺点，并比较了各种算法的效果，希望为研究人员在基于深度学习的医学影像处理的研究中提供一些有用的帮助。当前对于医学影像的分类、检测和分割等问题依旧没有方法能够完美解决，故该领域有着极大的发展空间，同时学界对该领域的关注度也越来越高。相比于传统算法，深度学习方法在不同的子领域都展现出优势，成为医学影像领域的主流方法。

综上所述，深度学习在医学影像领域发展迅速、发展前景广阔，对疾病的早期诊断有重要作用。需要注意的是，训练数据的缺乏在该领域是一个不能忽视的问题，常用的方法有数据集扩增和迁移学习，GAN(generative adversarial network)也在部分领域展现出独有的效果。但传统的扩增方法效果有限，甚至在扩增量太大的情况下会造成反效果。本团队的研究表明，迁移学习将会是一个非常有潜力的研究方向。同时，作为一个跨学科交叉领域，在设计方法时必须要注意结合医学专业知识，才能设计出准确、高效的自动化医学影像分析算法。