Print

发布时间: 2022-03-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.210814
2022 | Volume 27 | Number 3




    综述    




  <<上一篇 




  下一篇>> 





迁移学习在医学图像分类中的研究进展
expand article info 黎英, 宋佩华
南宁师范大学广西人机交互与智能决策重点实验室, 南宁 530001

摘要

医学影像作为医疗数据的主要载体,在疾病预防、诊断和治疗中发挥着重要作用。医学图像分类是医学影像分析的重要组成部分。如何提高医学图像分类效率是一个持续的研究问题。随着计算机技术进步,医学图像分类方法已经从传统方法转到深度学习,再到目前热门的迁移学习。虽然迁移学习在医学图像分类中得到较广泛应用,但存在不少问题,本文对该领域的迁移学习应用情况进行综述,从中总结经验和发现问题,为未来研究提供线索。1)对基于迁移学习的医学图像分类研究的重要文献进行梳理、分析和总结,概括出3种迁移学习策略,即迁移模型的结构调整策略、参数调整策略和从迁移模型中提取特征的策略;2)从各文献研究设计的迁移学习过程中提炼共性,总结为5种迁移学习模式,即深度卷积神经网络(deep convolution neural network,DCNN)模式、混合模式、特征组合分类模式、多分类器融合模式和二次迁移模式。阐述了迁移学习策略和迁移学习模式之间的关系。这些迁移学习策略和模式有助于从更高的抽象层次展现迁移学习应用于医学图像分类领域的情况;3)阐述这些迁移学习策略和模式在医学图像分类中的具体应用,分析这些策略及模式的优点、局限性及适用场景;4)给出迁移学习在医学图像分类应用中存在的问题并展望未来研究方向。

关键词

医学图像; 图像分类; 迁移学习; 迁移学习策略; 迁移学习模式

Review of transfer learning in medical image classification
expand article info Li Ying, Song Peihua
Guangxi Key Laboratory of Human-machine Interaction and Intelligent Decision, Nanning Normal University, Nanning 530001, China
Supported by: National Natural Science Foundation of China(62062051, 62066032)

Abstract

Medical image classification is a key element of medical image analysis. The method of medical image classification has been evolving in deep learning and transfer learning. A large number of important literatures of medical image classification are analyzed based on transfer learning. As a result, three transfer learning strategies and five modes of medical image classifying are summarized. The transfer learning modes are constructed based on general characteristics which extracted from designed transfer learning processes theoretically. The relevance of the transfer learning strategies and the modes is illustrated as well. These transfer strategies and modes illustrated the application of transfer learning in this field from a higher level of abstraction. The applications, advantages, limitations of these transfer learning strategies and modes are analyzed. The transfer learning in the context of medical image feature extraction and classification is the model-based transfer learning. Most of the migrated models are deep convolution neural network (DCNN). High classifying efficiency is obtained due to ImageNet (a large public image database) training results. To migrate model from the source domain to the target domain, the model needs to be adapted to the tasks of the targeted domain. From the important literature of medical image classification, three transfer model adaptive strategies were sorted out. They are structure fit, parameter option and migrated model based features extraction. The strategies of fitted structure are to modify the structure of the migrated model. Layers can be deleted or added as needed. These layers can be as convolution layer, full connection layer, feature smoothing layer, feature extracting layer, and batch normalizing layer, respectively. The optional strategies of parameter are to re-train the migrated model to adjust the model parameters via using the target domain data. Both the parameters of convolution layer and the parameters of full connection layer can be fitted. The migrated-model-based strategy of features extraction is only used for feature extraction. Image features can be extracted from the convolution layer and the full connection layer. Five transfer learning modes were sorted out based on the literature of medical image classification. They are the DCNN mode, the hybrid mode, the mode of fused feature and classification. The mode of multi-classifier fusing and the mode of transferring are conducted two times all. For instance, the fitting strategies of structure and parameters of convolution layer are used in the DCNN mode to get more accurate features. The transfer learning modes can basically cover all kinds of transfer learning processes in medical image classification researches. The DCNN mode is to use a DCNN to complete image feature extraction and classification. The hybrid model is composed of a DCNN and a traditional classifier. The former is used for feature extracting and the latter is used for classifying. It has the advantage of DCNN feature extraction and advantage of traditional classified classifier. The mode of integrated feature and classification is composed of feature extraction methods and a classifier. Feature extracting methods can be a DCNN or manual features. The mode of multi-classifier fusing is composed of multiple classifiers. The final classifying result is obtained based on multiple classified integrating results. The integrating result is more reliable than the result from single classifier mode (i.e., the DCNN mode and the hybrid mode). In the twice mode of transferring, the initial model is trained in the source domain, then it is migrated to the temporary targeted domain to be trained for the second time, and finally it is migrated to the final targeted domain to be trained for the third time. Compared to first transfer, this mode priority is that the triple migrated model accumulates more knowledge of training. The transfer-learning based issues and of medical image classification potentials are illustrated as below: 1) It is difficult to pick an efficient transfer learning algorithm. Due to the diversity and complexity of medical images, the generalization capability of transfer learning algorithm is to be strengthened. Manual option for a specific image classifying task is often based on continuous high computational cost tests. A low cost automatic transfer learning algorithm is a challenging issue. 2) The modification of transfer model and the setting of mega parameters are lack of theoretical mechanism. The structure and parameters of the migrated model can only be modified through the existing experiences and continuous experiments, and the setting of mega parameters is not different, which lead to the low efficiency of transfer learning. 3) It is challenged to classify rare disease images due to pathological image data samples of rare diseases. The antagonistic transfer learning can generate and enhance target domain data. The heterogeneous transfer learning yield to transfer the knowledge of different modalities or the source domain to target domain. Therefore, the two methods of transfer learning can be further developed in image classification of rare diseases.

Key words

medical images; image classification; transfer learning; transfer learning strategies; transfer learning mode

0 引言

医学图像分类在计算机辅助疾病预测、诊断和治疗中发挥着重要作用。图像分类的建模核心是提取图像特征和构建分类器(俞益洲等,2019)。传统医学图像分类方法采用人工设计特征,计算复杂、效率低下、分类效果不理想、建立的特征抽取和模型选择难以泛化(郑光远等,2018)。卷积神经网络(convolution neural network,CNN)可以直接采用原始图像作为输入,自动学习和提取特征,避免传统算法的特征定义和参数设置的复杂过程,在各领域的表现比单纯使用传统算法更加优秀,有些甚至达到专业技术人员水平(杨培伟等,2021)。目前,深度学习已经在医学图像分类领域广泛应用(陈诗慧等,2017俞益洲等,2019陈弘扬等,2021杨培伟等,2021)。但是,生物医学图像公开数据量少,限制了CNN模型优势的发挥。

迁移学习具有克服医学影像标注数据稀缺问题而获得更好分类效果的优势(俞益洲等,2019),是该领域有潜力的研究方向(陈弘扬等,2021),已逐渐应用于癌症、肺部、肝脏、脑部、眼部、骨科和皮肤等各种疾病病理图像的分类检测。赵宸等人(2021)提出一种对抗生成网络,用来生成皮肤癌图像样本,通过增加样本的方法提高皮肤癌分类准确性,该研究属于对抗式迁移学习。李赵旭等人(2021)通过模型改进和迁移学习对网络模型进行优化,用来对乳腺癌图像进行分类,该研究属于基于模型的迁移学习。然而,迁移学习在医学图像分类应用中还存在不少问题,不利于迁移学习进一步应用。本文对医学图像分类领域的迁移学习应用情况进行综述,从中总结经验和发现问题,为未来研究提供线索。首先,围绕医学图像分类的特征提取和分类两大核心任务,通过梳理和分析相关重要文献,总结其中包含的迁移学习策略;其次,分析各研究文献的迁移学习过程,从中提炼出迁移学习模式,并阐述迁移学习策略和模式的关系。这些迁移学习策略和模式有助于从更高的抽象层次展现迁移学习在医学图像分类领域的应用;然后,详细阐述迁移学习策略和模式在医学图像分类中的具体应用及优缺点;最后,总结存在的问题并展望未来的研究方向。

1 迁移学习在医学图像分类中的应用

1.1 迁移学习分类

迁移学习从不同角度可分为多种类型。1)按迁移知识,迁移学习分为基于数据和基于模型的迁移学习。基于数据的迁移学习按迁移内容分为基于样本和基于特征的迁移学习,按是否引入对抗学习分为传统和对抗式迁移学习。基于样本的迁移学习是在源域数据和目标域数据有相同或相似特征情况下,从源域中筛选出与目标域数据具有相似分布的有标签样本,用来帮助训练目标域模型以便提高模型精度。基于特征的迁移学习是通过学习一对映射函数,将源域和目标域数据映射到共同的特征空间,从而减少域间的差异。如果基于样本的迁移学习的前提条件不满足,可以考虑基于特征的迁移学习。传统迁移学习仅利用原有数据进行迁移,而对抗式迁移学习利用生成对抗网络(generative adversarial network,GAN)生成和增强目标域数据,增加了额外的目标域数据,极大提高了数据迁移学习的效率。基于模型的迁移学习也称为基于参数的迁移学习,是将模型参数、模型先验知识或模型架构等模型层次上的知识迁移到目标域(杨强等,2020)。2)按源域和目标域特征空间是否可通约或标签空间是否相同,迁移学习分为同构和异构迁移学习。目前迁移学习领域大部分工作属于同构迁移学习,少数属于异构迁移学习。在基于特征的迁移学习中,如果源域和目标域的特征空间没有重叠,但是可能存在某些转换方式实现迁移学习,就属于异构迁移学习(杨强等,2020)。3)按是否自动利用以前的迁移学习经验,迁移学习分为自动和非自动迁移学习。自动迁移学习通过经验自动选择性能较好的迁移学习算法,可以避免人工选择迁移学习算法的昂贵计算代价。迁移学习的各种分类如图 1所示。

图 1 迁移学习分类
Fig. 1 Classification of transfer learning

1.2 迁移学习在医学图像分类中的应用

针对医学图像特征提取和分类这两大核心任务,绝大多数研究采用基于模型的迁移学习,并且主要采用深度卷积神经网络(deep convolution neural network,DCNN)作为迁移模型。这样做的一个原因是绝大部分DCNN都是为ImageNet大规模视觉识别挑战(imagenet large scale visual recognition challenge,ILSVRC)比赛开发的,具有较高的图像分类性能。另一个原因是ImageNet这个大型图像数据集中丰富的图像数据包含了一般图像的通用特征,甚至可能包含与医学图像相似的某些深度特征,因此在该数据集上预训练的DCNN可以迁移到医学图像分类领域。

DCNN迁移到目标域后,一般要经过结构调整或者参数调整以便更好地符合目标域的任务要求。调整结构或参数需要一定的策略,这就是结构调整策略和参数调整策略。迁移模型在目标域完成再训练后,如果需要从模型中提取特征作为其他分类器的输入,则需要一定策略从模型中提取特征,这就是特征提取策略。

在目标域,从医学图像中提取特征可以采用传统方法或迁移模型来完成,对医学图像分类可以采用传统分类器或迁移模型来完成。根据目标域图像特征提取和分类的完成方式,从相关研究文献中总结出5种迁移学习模式:DCNN模式、混合模式、特征组合分类模式、多分类器融合模式和二次迁移模式。

2 医学图像分类中的迁移学习策略及应用

医学图像分类中的迁移学习策略包括结构调整、参数调整和从迁移模型中提取特征3种策略。

2.1 结构调整策略

结构调整策略指修改迁移模型结构的方式,根据需要删除某些层或增加某些层,包括卷积层、完全连接(full connection,FC)层和其他层。其他层属于卷积层或FC层,例如池化层属于卷积层,而softmax层属于FC层。结构调整策略如图 2所示。

图 2 结构调整策略示意图
Fig. 2 Strategies of structure adjustment

在ImageNet上预训练的DCNN的目的是将图像分为1 000个类,因此至少需要修改它们的分类层以适应目标域的分类数量,同时为了提高分类性能,还需对FC层进行其他修改。通过修改迁移模型FC层进行医学图像分类的策略已用于多种疾病。例如,肺部疾病中的肺癌(Wang等,2020)、肺结节(Huang等,2020)和肺炎(Mohammadi等,2020),脑部疾病中的阿尔茨海默病(Maqsood等,2019)、癫痫(Si等,2020)和酒精中毒(Wang等,2019),以及癌症疾病中的乳腺癌(Samala等,2017)等。以新冠肺炎(corona virus disease 2019,COVID-19)图像分类和肺癌图像分类为例说明修改FC层策略的具体应用。针对新冠肺炎图像,Mohammadi等人(2020)利用预训练的VGG-16(Visual Geometry Group)、VGG-19、MobileNet和InceptionResNet_V2的卷积层提取胸部X线图像的特征,用新建立的一个全连通层完成对COVID-19图像的二元分类。该全连通层由averagepooling2D、flatten、dense、dropout和最后一层dense组成,通过softmax层进行COVID-19感染与没有感染二分类。实验结果表明,建立的模型能够对COVID-19进行二元分类,准确率达90.0%以上。针对肺癌图像,Wang等人(2020)使用在LUNA16(lung nodule analysis 16)公共医学图像数据集上预训练的残差神经网络ResNet-34作为迁移模型,在原有模型只有一个FC层的基础上增加另一个FC层来提高模型的迁移能力,并在山东省医院收集的肺癌知识产权数据集上微调,用来进行肺癌图像的特征提取和分类。首先,冻结迁移模型的前27个卷积层的权值,用于提取图像的一般特征(如边缘检测和颜色检测),后面的卷积层用于抽象与特定类别相关的特征。然后,对这些卷积层和FC层重新训练,从零开始识别肺癌图像类。实验结果表明,该模型优于AlexNet、VGG-16和DenseNet。

除了修改FC层的结构外,也可以修改其他层的结构。Zhang等人(2020b)提出使用深度残差网络框架解决基于胸部X射线图像的COVID-19检测问题。借用ResNet34的一些残差块构建提出的深度学习框架,使用ResNet34的输入层和接下来的3个残差块,分别在第2个残差块前后各插入一个特征平滑层,在第3个残余块后插入特征提取层。实验数据表明,该研究改进的ResNet34框架的性能优于ResNet34的原始版本。Akter等人(2021)使用迁移模型MobileNet-V1对儿童面部图像进行自闭症或者正常二分类,对迁移模型的修改包括将3个批处理规范化(batch normalization,BN)层和两个FC层依次附加到输出层之前。BN层用于通过重新确定中心和缩放输入值来规范化全局平均池层的输出。对所有用于比较的DCNN(包括DenseNet121、ResNet50、VGG-16、VGG-19和MobileNet-V2)也进行同样的结构修改,并用目标域数据集对所有模型进行训练。实验结果表明,MobileNet-V1表现最好。

2.2 参数调整策略

参数调整指通过使用目标域数据对迁移模型进行再训练以调整模型参数,目的是获得更好的分类效果。可以调整卷积层参数,也可以调整FC层参数,或者两者都调整。对于不需要调整参数的层,可以冻结这些层的参数。调整卷积层参数可以获得更准确的特征,调整FC层参数能提高分类性能。该策略如图 3所示。

图 3 参数调整策略示意图
Fig. 3 Strategies of parameter adjustment

通过调整卷积层参数进行医学图像分类的策略已经应用于多种疾病。例如,癌症疾病中的乳腺癌(吴英等,2019Liu等,2021Zhuang等,2020)和前列腺癌(Abbasi等,2020),肺部疾病中的肺结节(Huang等,2020)、普通肺炎(Irfan等,2020)、新冠肺炎(Apostolopoulos和Mpesiana,2020)和小儿肺炎(Liang和Zheng,2020),脑部疾病中的阿尔茨海默病(Wee等,2019金祝新等,2019),眼科疾病中的青光眼(Gómez-Valverde等,2019)、视盘偏侧(Liu等,2020)和视网膜病变(Le等2020),肝脏疾病中的肝脏纤维化(Xue等,2020)和肝硬化(Li等,2021a),以及牙科疾病(Lee等,2020Kim等,2020)等。下面以阿尔茨海默病为例说明调整卷积层参数策略的应用。金祝新等人(2019)将ImageNet上预训练的MCINet前两层卷积层参数迁移到目标域模型的卷积层前两层,采用冻结和不冻结前两层卷积层的迁移学习策略,用磁共振成像(magnetic resonance imaging,MRI)数据集进行再训练以微调参数,最终完成阿尔茨海默病的图像分类。结果表明,允许部分卷积层参与训练过程可以获得更好的实验结果。

调整FC层参数进行医学图像分类的策略同样应用广泛,已经用于多种疾病。例如,脑部疾病中的阿尔茨海默病(Maqsood等,2019)、酒精中毒(Wang等,2019)和癫痫(Si等,2020)等,癌症疾病中的乳腺癌(Samala等,2017, 2019)、胶质瘤(Yang等,2018)和肺癌(Wang等,2020),肺部疾病中的肺结节(黄鸿等,2020)和新冠肺炎(Minaee等,2020Mohammadi等,2020),前列腺疾病(Chen等,2019),以及眼科疾病中的黄斑病变(Karri等,2017)等。下面以前列腺病变分类为例说明调整FC层参数策略的应用。Chen等人(2019)提出了一种基于迁移学习的深度学习方法,用于多参数磁共振成像图像中前列腺病变的分类。首先在ImageNet上对InceptionV3和VGG-16进行预训练,然后修改最后的分类层,生成良性和恶性两类图像,迁移到目标域后只调整最后一层的权重,并在多参数磁共振成像数据集再训练。实验结果表明,两个模型的分类结果都达到了放射科医生的水平,VGG-16的分类结果好于InceptionV3。

同时调整卷积层参数和FC层参数进行医学图像分类的策略主要用于肺部疾病。例如,结核病和肺癌(Tan等,2018)、肺炎(Hashmi等,2020Romero等,2020)、肺结节(张驰名等,2020)等,也可以用于神经胶质瘤(Yang等;2018)。下面以神经胶质瘤为例说明同时调整卷积层和FC层参数策略的应用。Yang等人(2018)将ImageNet上预训练的AlexNet和GoogLeNet模型迁移到目标域,随机初始化并重新训练FC层以适应新的对象类别,冻结其他卷积层的权值,微调第一卷积层以适应目标域的特征提取。用胶质瘤核磁共振图像对迁移模型再训练后对胶质瘤进行分类。实验结果表明,与传统的基于手工特征的机器学习方法,甚至是从头开始训练的DCNN相比,基于迁移学习和微调训练的DCNN提高了神经胶质瘤分级的性能。

2.3 从迁移模型中提取特征的策略

从迁移模型中提取特征的策略指从模型的某个或某些层提取特征,可以从卷积层提取特征,也可以从FC层提取特征。该策略如图 4所示。

图 4 从迁移模型中提取特征策略
Fig. 4 Strategies of extracting features from the migrated model

从DCNN不同的卷积层提取的图像特征不同,较深卷积层提取的特征更加高层、抽象,较浅卷积层提取的特征则包含诸如图像边缘轮廓、纹理等底层信息。褚晶辉等人(2018)从DCNN不同的层提取特征对乳腺癌进行分类,实验结果表明,随着DCNN卷积层的加深,卷积层提取的特征对于最终分类任务的性能呈现上升趋势。从DCNN不同的FC层提取的图像特征也不同,最靠近卷积层的FC层包含卷积层提取的全部图像特征。离卷积层越近,FC层节点越多,包含的图像特征越详细;离卷积层越远,FC层节点越少,包含的图像特征越笼统。Deniz等人(2018)设计了两个不同的实验,第1个实验先从AlexNet和VGG-16模型的FC6层中提取特征向量,然后进行拼接。第2个实验利用AlexNet和VGG-16模型的FC7层进行特征提取,并将得到的特征向量串联起来,将两个实验提取的特征用来分类。实验结果表明,第1次实验结果优于第2次实验结果,说明从越靠近卷积层的FC层中提取的特征越能提高分类性能。

2.4 迁移学习策略的比较

3种迁移学习策略有各自的优缺点及适用场景,具体如表 1所示。在实际应用中要根据具体情况选用合适的策略。

表 1 迁移学习策略的比较
Table 1 Comparison of transfer learning strategies

下载CSV
策略 优点 缺点 适用场景
参数调整 可以优化模型,更加适应目标域任务,提高了模型精度。 难以确定调整哪些层的参数。 不调整模型而直接使用但达不到精度的场景;模型结构调整后需要调整参数的场景。
结构调整 有利于改进模型以适应目标域任务,提高了模型精度,提升了目标域特征提取和分类性能。 难以确定删除或增加哪些层。 源域和目标域分类数量不同,需要修改分类层结构以适应目标域分类的场景;使用参数调整策略后仍达不到精度的场景。
从模型中提取特征 可以根据需要从不同的层提取不同的特征,为分类提供更准确的数据。 难以确定从哪一层提取特征。 迁移模型只用于特征提取的场景。

3 医学图像分类中的迁移学习模式及应用

迁移学习模式根据是否包含其他模式可分为简单模式和复杂模式。简单模式包括DCNN模式、混合模式和特征组合分类模式;复杂模式包括多分类器融合模式和二次迁移模式,它们都可以包含若干个DCNN模式或者混合模式。各种迁移学习模式的目标函数要根据其中包含的DCNN和传统分类器来计算。不同的分类器有不同的目标函数,这些目标函数要求最小化,否则求解5种模式的目标函数时,无法与DCNN的目标函数(即损失函数)相加。DCNN的损失函数为交叉熵,主要有二分类交叉熵和多分类交叉熵。

二分类交叉熵计算为

$ \begin{array}{*{20}{c}} {{L_1} = \frac{1}{N}\sum\limits_i - \left[ {{y_i} \cdot \log \left( {{p_i}} \right) + } \right.}\\ {\left. {\left( {1 - {y_i}} \right) \cdot \log \left( {1 - {p_i}} \right)} \right]} \end{array} $ (1)

式中,$L_{1}$表示二分类交叉熵值,$N$为样本数量,$y_{i}$表示样本$i$的标签,正类为1,负类为0,$p_{i}$表示样本$i$预测为正类的概率。

多分类交叉熵计算为

$ {L_2} = - \frac{1}{N}\sum\limits_i {\sum\limits_{c = 1}^M {{y_{ic}}} } \cdot \log \left( {{p_{ic}}} \right) $ (2)

式中,$L_{2}$表示多分类交叉熵值,$N$为样本数量,$M$表示类别数量,$y_{ic}$是一个符号函数,如果样本的真实类别等于$c$取1,否则取0,$p_{ic}$是观测样本$i$属于类别$c$的预测概率。

3.1 DCNN模式

DCNN模式就是用同一个DCNN完成图像特征提取和分类,如图 5所示。

图 5 DCNN模式示意图
Fig. 5 DCNN model

DCNN能够通过卷积层提取医学图像的深层特征,同时还可以通过全连接层完成图像的分类任务,比传统图像分类方法更为准确和高效,因此DCNN模式已经成为医学图像分类领域广泛使用的模式。在DCNN模式中,根据目标域分类任务选用合适的损失函数,二分类任务用式(1),多分类用式(2)。例如,Maqsood等人(2019)对预先训练好的卷积网络AlexNet进行微调后用于脑MRI分类以检测阿尔茨海默病,就采用$k$个互斥类的交叉熵函数(交叉熵)作为损失函数。该研究的损失函数属于多分类交叉熵。

使用DCNN模式进行医学图像分类已经应用于多种疾病。例如,癌症疾病中的乳腺癌(Samala等,2017, 2019吴英等,2019Zhuang等,2020Liu等,2021Munien和Viriri,2021)、肺癌(Tan等,2018Wang等,2020)、胶质瘤(Yang等,2018Im等,2021)、直肠癌(Li等,2021b)和前列腺癌(Liu等,2021);肺炎疾病中的一般肺炎(Hashmi等,2020Irfan等,2020Romero等,2020)、新冠肺炎(Apostolopoulos和Mpesiana,2020Minaee等,2020Mohammadi等,2020Bahgat等,2021Chen等,2021Taresh等,2021)和小儿肺炎(Liang和Zheng,2020);各类结节分类(Han等,2020),主要是肺结节(黄鸿等,2020Huang等,2020张驰名等,2020陈道争和江倩,2021);脑部疾病中的阿尔茨海默病(金祝新等,2019Maqsood等,2019Wee等,2019)、自闭症(Akter等,2021)、癫痫(Si等,2020)和酒精中毒(Wang等,2019);以及眼科(Karri等,2017Gómez-Valverde等,2019Le等,2020Liu等,2020)、牙科(Lee等,2020Kim等,2020)、肝脏疾病(Xue等,2020Li等,2021a)、前列腺疾病(Chen等,2019)和肺结核(Tan等,2018)等。下面以结节检测分类研究为例说明DCNN模式的应用。Han等人(2020)探索了一种自动诊断方法预测结节,采用VGG-16进行特征提取和分类,卷积层参数不变,用目标域数据集调整FC层参数;为了对比,采用了一种传统的机器学习方法,通过支持向量机(support vector machine,SVM)提取纹理特征并进行分类。实验表明,来自医学图像和自然图像的特征具有聚焦于更简单和抽象程度较低的对象的相似性,即迁移的卷积层越多,分类效果越好。

3.2 混合模式

混合模式由DCNN和分类器组成,前者进行特征提取,后者用于分类,如图 6所示。分类器一般是传统分类器。手动选择(或特征设计)可能导致一组特征不太理想,并且过度专用于特定的数据集,从而导致对更大或未知数据集的泛化能力较差,而DCNN可以通过训练而不是“手工制作”或专门设计来找到图像特征;传统分类器可解释性强且训练参数少,所以将DCNN与传统分类器结合起来能发挥二者优势。混合模式的目标函数由DCNN损失函数和分类器目标函数组成。具体为

$ F = L + f $ (3)

式中,$F$表示混合模式的目标函数,$L$表示DCNN的损失函数,$f$表示分类器的目标函数。

图 6 混合模式
Fig. 6 The hybrid model

使用混合模式进行医学图像分类已经应用于多种疾病。例如,癌症疾病中的乳腺癌(Trivizakis等,2019)、淋巴瘤(Zhang等,2020a)和甲状腺乳头状癌(Yu等,2020);脑部疾病中的阿尔茨海默病(程波等,2016Oh等,2019)、脑功能连接(Li等,2018)和脑出血(Dawud等,2019)以及眼科疾病(Burlina等,2017)等。下面以眼科疾病为例说明混合模式的应用。Burlina等人(2017)将ImageNet上预训练的OverFeat迁移到一个大型的年龄相关性黄斑变性(age-related macular degeneration,AMD)图像公开数据集上用于特征提取,从该模型的一个FC层中提取通用深度特征,再使用SVM或随机森林(random forrest)对AMD进行多类分类。结果表明,在几乎不需要额外处理的情况下,通用深度特征与支持向量机相结合,提供了引人注目的性能;OverFeat提取通用特征之前,没有对该迁移模型进行优化,但效果不错;从OverFeat的一个FC层提取的通用特征以紧凑的方式封装了低层特征和空间特征,很好地适应了视网膜眼底图像的分析。

3.3 特征组合分类模式

某些医学图像分类研究(Paul等,2016褚晶辉等,2018Pei等,2019Deniz等,2018Paul等,2016)发现,组合DCNN提取的医学图像特征和传统方法获得的传统图像特征,比单纯使用DCNN提取的特征或者传统图像特征能获得更好的图像分类效果;还有一些研究(Pei等,2019Wang等,2021)发现,组合多种DCNN提取的相同图像的特征,也比单独使用单个DCNN提取图像特征获得了更好的图像分类效果。特征组合分类模式就是基于这两种发现的。该模式由DCNN或手工设计特征等其他特征提取方法及一个分类器组成,其中特征提取由DCNN和其他特征提取方法完成,分类则由分类器完成。该模式的核心是使用多种方法分别提取同一个图像数据集的特征,得到的多种特征再通过某些方法进行融合。该模式中,特征来源有两种情况,一种是图像特征由不同DCNN分别提取;另一种是由DCNN和传统方法分别提取。该模式如图 7所示,图中“传统方法提取特征”是可选的,选择与否分别对应两种特征来源情况。

图 7 特征组合分类模式
Fig. 7 Mode of feature combing and classifying

特征组合分类模式的目标函数由参与其中的所有DCNN的损失函数和分类器的目标函数组成。具体为

$ F = \sum\limits_i {{L_i}} + f $ (4)

式中,$F$表示特征组合分类模式的目标函数,$L_{i}$表示第$i$个DCNN的损失函数,$f$表示分类器的目标函数。

特征组合分类模式主要用于乳腺肿瘤病理图像分类(Pei等,2019褚晶辉等,2018Deniz等,2018Huynh等,2016)。其他疾病类型的图像也有应用。例如,COVID-19(Wang等,2021)、肺癌(Paul等,2016)、肾脏(Zheng等,2019)。下面分别以肺癌和乳腺癌图像分类为例说明特征组合分类模式的应用。Paul等人(2016)用肺癌图像对预训练的MatConvNet-VGG-m、MatConvNet-VGG-f和MatConvNet-VGG-s进行再训练,用于提取肺癌深度特征,然后再将其与传统特征混合后,分别用来训练各种分类器(决策树、随机森林、朴素贝叶斯和最近邻),以便预测肺癌短期和长期患者。实验结果表明,将提取的深度神经网络特征与传统的定量特征相结合,从预训练MatConvNet-VGG-f中提取的5个最佳后校正线性单元特征和5个最佳传统特征的精度为90%,曲线下面积(area under curve,AUC)为0.935。该研究中的特征来源是DCNN和传统方法。Pei等人(2019)使用VGG-16、ResNet-50和Inception-v3提取乳腺癌组织病理学图像的特征,将3个DCNN提取的特征合并在一起,再使用一种称为最小冗余最大相关(minimum redundancy maximum relevance,mRMR)的特征选择方法搜索最少特征,然后使用主成分分析(principal component analysis,PCA)降维,最后使用提升树和SVM区分癌变和非癌变斑块。研究结果验证了该方法与病理学专家的估计结果的一致性。该研究中的特征来源是不同的DCNN。

3.4 多分类器融合模式

多分类器融合模式由多个分类器组成,其核心是得到多个分类结果再进一步整合得到最终分类结果,分为包含DCNN模式和包含混合模式两种,如图 8所示。

图 8 多分类器融合模式
Fig. 8 Mode of multi classifier fusing
((a) including DCNN model; (b) including hybrid model)

包含DCNN模式的多分类器融合模式的目标函数由所有DCNN的损失函数组成。具体为

$ F = \sum\limits_i {{L_i}} $ (5)

式中,$F$表示多分类器融合模式的目标函数,$L_{i}$表示第$i$个DCNN的损失函数。

包含混合模式的多分类器融合模式的目标函数由DCNN的损失函数和两个传统分类器的目标函数组成。具体为

$ F = L + {f_1} + {f_2} $ (6)

式中,$F$表示多分类器融合模式的目标函数,$f_{1}$用于传统特征分类,$f_{2}$用于对DCNN提取的特征进行分类。

多分类器融合模式已经用于皮肤病(Mahbod等,2020)、脑肿瘤(Hao等,2021)和COVID-19(Altaf等,2021)等多种疾病的医学图像分类。

在皮肤病图像分析研究中,Mahbod等人(2020)提出并评估了一种基于三级集成策略的多尺度多CNN(multi-scale multi-CNN,MSM-CNN)融合方法,该策略利用EfficientNetB0、EfficientNetB1和SeReNeXt-50训练不同尺度的皮肤镜图像,调整了卷积层参数以提取更准确的特征,并修改最后一个完全连接层以适应目标域的分类任务,最后将3个微调网络的结果融合在一起得到最终的分类结果。实验结果表明,在国际皮肤成像协作组织(International Skin Imaging Collaboration,ISIC)2018皮肤病变分类挑战测试集上,MSM-CNN算法的平衡多类准确率为86.2%,是目前在线排行榜排名第2的算法。该研究使用了3次DCNN模式,分别对应EfficientNetB0、EfficientNetB1和SeReNeXt-50,并且采取了调整卷积层参数的策略及调整FC层结构的策略。Altaf等人(2021)提出的用于COVID-19分类及检测其他胸腔疾病的迁移学习方法中,使用了VGG、ResNet、DenseNet和Inception-V3等4个迁移模型,得到4个分类结果再融合。而Hao等人(2021)提出的基于迁移学习的脑肿瘤分类主动学习框架中,使用AlexNet作为迁移模型,使用3个不同的学习率进行训练,冻结卷积层参数,微调FC层参数,得到3个分类概率,再计算总的分类概率,这其实是使用了3次DCNN模式。上述研究使用的是包含DCNN模式的多分类器融合模式。

还有研究使用了混合模式。Zheng等人(2019)使用ImageNet-CAFFE-Alex通过两种不同方法从2维超声肾脏图像中提取特征,通过预训练的DCNN(AlexNet)从像素数据中自动提取特征(方法A)并通过基于肿瘤的分段分析方法(方法B)进行提取。然后在每个特征集上训练支持SVM分类器。在分别使用CNN特征(方法A)和分析提取特征(方法B)进行分类后,使用一种称为软投票的简单集成技术来组合两个分类器的输出。通过这种技术,将每个分类器的输出概率平均,然后作为最终的预测概率。该研究使用的是包含混合模式的多分类器融合模式。

3.5 二次迁移模式

二次迁移模式有一个源域、一个中间目标域(也称为中间源域)和一个最终目标域。在源域对模型进行第1次预训练,然后将模型迁移到中间目标域进行第2次预训练,再将经过二次预训练的模型迁移到最终目标域进行再训练。二次迁移学习可以使用DCNN模式,也可以使用混合模式。该模式如图 9所示,其中最终目标域中的分类器是可选的,若选择则表示使用混合模式,即在最终目标域中进行特征提取和分类用的是不同模型。

图 9 二次迁移模式
Fig. 9 Mode of transferring two times

二次迁移模式的目标函数由两个目标域的DCNN的损失函数组成。具体为

$ F = {L_1} + {L_2} $ (7)

式中,$F$表示二次迁移模式的目标函数,$L_1$表示临时目标域DCNN的损失函数,$L_2$表示最终目标域DCNN的损失函数。

如果二次迁移模式在最终目标域使用分类器,则还需加上它的目标函数。具体为

$ F = {L_1} + {L_2} + f $ (8)

式中,$f$表示分类器的目标函数。

二次迁移模式已经应用于宫颈癌前病变检测、乳腺癌分类和COVID-19的分类检测。

李燕云等人(2021)基于ImageNet预训练的Resnet101模型,通过宫颈转化区分类的开源阴道镜数据进行第1次迁移学习,再以自有数据的病变分类为目标进行第2次迁移学习得到特征提取器。将经过二次迁移的ResNet101作为特征提取器整合到Faster-RCNN中,替换Faster-RCNN的数层卷积层,用于病变区域特征提取。以开源Faster-RCNN代码进行实验,参数采用源代码的默认参数,目标输出为病变区域及类型。实验结果表明,构建的高级别和3类(低级别、高级别和癌)病变定位检测模型在宫颈癌前病变检测中取得了较好效果。该研究将迁移模型进行二次迁移,作用都是提取特征,通过调整卷积层参数提高提取特征的准确度,并采用softmax分类。该研究采用了两次混合模式,并且采取了调整FC层参数的策略。

褚晶辉等人(2018)采用迁移学习研究乳腺癌分类,迁移模型为VGG-16,第1次迁移的源域为ImageNet,目标域为乳腺X光数字乳腺图像数据库,第2次迁移的源域为第1次迁移的目标域,目标域为乳腺核磁共振图像(MRI)肿瘤数据集。两次迁移都冻结了用于提取特征的卷积层的权重,只调整FC层;实验结果表明,二次迁移比一次迁移更有效。该研究采用了两次DCNN模式,并且采取了调整FC层结构及参数的策略。

Zhang等人(2020b)提出了一个两步转移学习途径和一个深度残差网络框架来解决基于胸部X射线图像的COVID-19检测问题,最终的FC层是512 × $k$$k$是所研究问题中的类数。用预训练的ResNet34进行两阶段分类训练,第1阶段用胸部X射线图像来微调所提出的模型($k $= 2),进行肺炎和正常的二分类,第2阶段是用COVID-19图像来微调第2阶段的模型($k $= 3),进行COVID-19、其他肺炎和正常的三分类。研究表明,采用两步转移学习策略可以在小数据集上建立一个具有良好预测性能的深度学习模型。实验数据表明,采用两步转移学习策略对基于X射线图像的深度学习模型进行改进是必要的,该模型仅使用189幅带注释的COVID-19 X射线图像。由于两个阶段分类数量不同,因此这两个阶段至少要调整分类层;另外,两个阶段的训练都需要学习新特征,因此这两个阶段都需要调整卷积层。该研究采用两次DCNN模式完成二次迁移,并且还采用了调整卷积层的参数策略和调整FC层的结构及参数策略。

3.6 迁移学习模式的比较

上述5种迁移学习模式有各自的适用场景及优缺点,具体如表 2所示。选用何种迁移学习模式需要通过分析实际情况并结合各种模式的适用场景及优缺点来决定。

表 2 迁移学习模式的比较
Table 2 Comparison of transfer learning modes

下载CSV
模式 优点 缺点 使用场景
DCNN 可以充分利用DCNN进行特征提取并分类的优点,使用比较简单方便。 模式简单,得到理想分类效果的可能性小于特征组合分类模式、多分类器融合模式及二次迁移模式。 在5种模式中应用场景最广泛。只要能找到与目标域相似的源域,都可以采用。
混合 可以充分利用DCNN提取特征和传统分类器分类的优点。 需要训练用于特征提取的DCNN和分类器两种模型,增加了训练复杂性。 单独使用传统方法或DCNN模式进行特征提取和分类达不到理想效果的场景。
特征组合分类 能够融合多个来源特征,形成更加完整的特征,为分类任务提供更高质量数据,提升了分类性能。 从多个来源获取特征进行融合,增加了计算量和计算时间,计算复杂性更高,需要更多的计算资源。 单特征分类模式(如DCNN模式、混合模式)不能得到理想分类效果的场景。
多分类器融合 获得“集思广益”的结果,比单分类器模式(即DCNN模式和混合模式)结果更可靠。 需要进行多次特征提取和多次分类,以及融合多个分类结果,计算更复杂更费时。 单分类器模式得不到理想效果的场景。
二次迁移 迁移模型经过一次预训练和两次再训练,比一次迁移积累的知识要多,模型的分类精度更高。 迁移次数增多的同时,增加了训练时间,并且消耗更多的计算资源。 当一次迁移得不到理想效果、存在3个相似数据源且其中1个数据源包含数量巨大样本的场景。

4 迁移学习策略和模式的关系

DCNN模式中,至少要修改迁移模型最后的分类层,并且要重新调整该层参数,因此该模式使用参数调整策略和结构调整策略。混合模式中,需要使用从模型中提取特征的策略来获得特征,并且根据实际应用情况,还可能用到结构调整策略和参数调整策略来调整模型的结构和参数以获得更准确的特征。特征组合分类模式中,有部分特征是从迁移模型中提取的,因而也要用到从模型中提取特征的策略,还可能用到参数调整策略及结构调整策略。包含DCNN模式的多分类器融合模式使用策略的情况与DCNN模式类似,包含混合模式的多分类器融合模式使用策略的情况与混合模式类似。综上所述,迁移学习模式包含了迁移学习策略。

5 结语

目前迁移学习已经广泛应用于医学图像分类领域,其中基于模型的迁移学习应用最广泛,其他迁移学习应用较少。本文从基于迁移学习的医学图像分析研究文献中归纳总结了3种迁移学习策略,提炼了5种迁移学习模式,并阐述了各种策略和模式之间的关系,分析了各种迁移学习策略及模式在医学图像分析中的具体应用、适用场景、优点和局限性。最后,给出迁移学习在医学图像分类应用中存在的问题及未来研究方向,具体如下:

1) 难以选择高效的迁移学习算法。由于医学图像的多样性和复杂性,以及医学图像分类的迁移模型DCNN的可解释性较弱,导致迁移学习算法泛化能力不强。为某个特定类别的医学图像分类设计的迁移学习算法不一定适用其他种类的医学图像分类,因此需要从已有迁移学习算法中选择合适的算法。使用人工选择的方法需要不断尝试各种算法,消耗大量的计算资源,而自动迁移学习通过经验自动选择迁移学习算法,因此可以考虑用自动迁移学习解决迁移学习算法的选择问题。

2) 迁移模型的修改和超参数的设置缺乏理论指导。迁移模型的结构中,容易修改的部分是最后的分类层,其他层的结构修改则比较困难,特别是卷积层。选择调整哪些卷积层和FC层的参数也是比较困难的。对这些难以修改的结构和参数,只能通过结合已有的经验和不断进行实验来完成,超参数的设置也是如此。这导致迁移学习效率低下。研究能够指导修改迁移模型的结构和参数,以及设置超参数的理论,可以提高迁移学习的效率,促进迁移学习在医学图像分类中的应用。

3) 罕见疾病图像分类困难。罕见疾病病理图像数据样本很少,如何通过迁移学习提高罕见疾病图像分类也是一个问题。对抗式迁移学习通过一种新的迁移学习方法,即数据扩展,生成和增强目标域数据;异构迁移学习允许将不同模态或不同方面的源域知识迁移到目标域。因此,可以考虑在罕见疾病图像分类领域使用对抗迁移学习和异构迁移学习,一方面通过对抗迁移学习来生成符合要求的罕见疾病病理图像样本,增加样本数量;另一方面,通过异构迁移学习将其他符合要求的源域知识迁移到罕见疾病图像分类目标域。

参考文献

  • Abbasi A A, Hussain L, Awan I A, Abbasi I, Majid A, Nadeem M S A, Chaudhary Q A. 2020. Detecting prostate cancer using deep learning convolution neural network with transfer learning approach. Cognitive Neurodynamics, 14(4): 523-533 [DOI:10.1007/s11571-020-09587-5]
  • Akter T, Ali M H, Khan M I, Satu M S, Uddin M J, Alyami S A, Ali S, Azad A, Moni M A. 2021. Improved transfer-learning-based facial recognition framework to detect autistic children at an early stage. Brain Sciences, 11(6): #734 [DOI:10.3390/brainsci11060734]
  • Altaf F, Islam S M S, Janjua N K. 2021. A novel augmented deep transfer learning for classification of COVID-19 and other thoracic diseases from X-rays. Neural Computing and Applications, 30(20): 14037-14048 [DOI:10.1007/s00521-021-06044-0]
  • Apostolopoulos I D, Mpesiana T A. 2020. Covid-19: automatic detection from X-ray images utilizing transfer learning with convolutional neural networks. Physical and Engineering Sciences in Medicine, 43(2): 635-640 [DOI:10.1007/s13246-020-00865-4]
  • Bahgat W M, Balaha H M, AbdulAzeem Y, Badawy M M. 2021. An optimized transfer learning-based approach for automatic diagnosis of COVID-19 from chest x-ray images. Computer Science, 7: #555 [DOI:10.7717/peerj-cs.555]
  • Burlina P, Pacheco K D, Joshi N, Freund D E, Bressler N M. 2017. Comparing humans and deep learning performance for grading AMD: a study in using universal deep features and transfer learning for automated AMD analysis. Computers in Biology and Medicine, 82: 80-86 [DOI:10.1016/j.compbiomed.2017.01.018]
  • Chen D Z, Jiang Q. 2021. Pulmonary nodule detection based on convolutional neural networks with transfer learning. Computer Engineering and Design, 42(1): 240-247 (陈道争, 江倩. 2021. 基于卷积神经网络和迁移学习的肺结节检测. 计算机工程与设计, 42(1): 240-247) [DOI:10.16208/j.issn1000-7024.2021.01.035]
  • Chen H T, Guo S S, Hao Y B, Fang Y J, Fang Z X, Wu W H, Liu Z G, Li S L. 2021. Auxiliary diagnosis for COVID-19 with deep transfer learning. Journal of Digital Imaging, 34(2): 231-241 [DOI:10.1007/s10278-021-00431-8]
  • Chen H Y, Gao J Y, Zhao D, Wang H Z, Song H, Su Q H. 2021. Review of the research progress in deep learning and biomedical image analysis till 2020. Journal of Image and Graphics, 26(3): 475-486 (陈弘扬, 高敬阳, 赵地, 汪红志, 宋红, 苏庆华. 2021. 深度学习与生物医学图像分析2020年综述. 中国图象图形学报, 26(3): 475-486) [DOI:10.11834/jig.200351]
  • Chen Q, Hu S L, Long P R, Lu F, Shi Y J, Li Y P. 2019. A transfer learning approach for malignant prostate lesion detection on multiparametric MRI. Technology in Cancer Research and Treatment, 18: #153303381985836 [DOI:10.1177/1533033819858363]
  • Chen S H, Liu W X, Qin J, Chen L L, Bin G, Zhou Y X, Wang T F. 2017. Research progress of computer-aided diagnosis in cancer based on deep learning and medical imaging. Journal of Biomedical Engineering, 34(2): 314-319 (陈诗慧, 刘维湘, 秦璟, 陈亮亮, 宾果, 周煜翔, 汪天富. 2017. 基于深度学习和医学图像的癌症计算机辅助诊断研究进展. 生物医学工程学杂志, 34(2): 314-319) [DOI:10.7507/1001-5515.201609047]
  • Cheng B, Zhu B L, Xiong J. 2016. Multimodal multi-label transfer learning for early diagnosis of Alzheimer's disease. Journal of Computer Applications, 36(8): 2282-2286, 2291 (程波, 朱丙丽, 熊江. 2016. 基于多模态多标记迁移学习的早期阿尔茨海默病诊断. 计算机应用, 36(8): 2282-2286, 2291) [DOI:10.11772/j.issn.1001-9081.2016.08.2282]
  • Chu J H, Wu Z R, Lyu W, Li Z. 2018. Breast cancer diagnosis system based on transfer learning and deep convolutional neural networks. Laser and Optoelectronics Progress, 55(8): 201-207 (褚晶辉, 吴泽蕤, 吕卫, 李喆. 2018. 基于迁移学习和深度卷积神经网络的乳腺肿瘤诊断系统. 激光与光电子学进展, 55(8): 201-207) [DOI:10.3788/LOP55.081001]
  • Dawud A M, Yurtkan K, Oztoprak H. 2019. Application of deep learning in neuroradiology: brain haemorrhage classification using transfer learning. Computational Intelligence and Neuroscience, 2019: #4629859 [DOI:10.1155/2019/4629859]
  • Deniz E, Şengür A, Kadiroǧlu Z, Guo Y H, Bajaj V, Budak ü. 2018. Transfer learning based histopathologic image classification for breast cancer detection. Health Information Science and Systems, 6: #18 [DOI:10.1007/s13755-018-0057-x]
  • Gómez-Valverde J J, Antón A, Fatti G, Liefers B, Herranz A, Santos A, Sánchez C I, Ledesma-Carbayo M J. 2019. Automatic glaucoma classification using color fundus images based on convolutional neural networks and transfer learning. Biomedical Optics Express, 10(2): 892-913 [DOI:10.1364/BOE.10.000892]
  • Han F F, Yan L K, Chen J X, Teng Y Y, Chen S, Qi S L, Qian W, Yang J, Moore W, Zhang S, Liang Z R. 2020. Predicting unnecessary nodule biopsies from a small, unbalanced, and pathologically proven dataset by transfer learning. Journal of Digital Imaging, 33(3): 685-696 [DOI:10.1007/s10278-019-00306-z]
  • Hao R Q, Namdar K, Liu L, Khalvati F. 2021. a transfer learning-based active learning framework for brain tumor classification. Frontiers in Artificial Intelligence, 4: #635766 [DOI:10.3389/frai.2021.635766]
  • Hashmi M F, Katiyar S, Keskar A G, Bokde N D, Geem Z W. 2020. Efficient pneumonia detection in chest Xray images using deep transfer learning. Diagnostics, 10(6): #417 [DOI:10.3390/diagnostics10060417]
  • Huang C X, Lv W H, Zhou C S, Mao L, Xu Q M, Li X Y, Qi L, Xia F, Li X L, Zhang Q R, Zhang L J, Lu G M. 2020. Discrimination between transient and persistent subsolid pulmonary nodules on baseline CT using deep transfer learning. European Radiology, 30(12): 6913-6923 [DOI:10.1007/s00330-020-07071-6]
  • Huang H, Peng C, Wu R Y, Tao J L, Zhang J Q. 2020. Self-supervised transfer learning of pulmonary nodule classification based on partially annotated CT images. Acta Optica Sinica, 40(18): #1810003 (黄鸿, 彭超, 吴若愚, 陶俊利, 张久权. 2020. 基于部分注释CT图像的自监督迁移学习肺结节分类. 光学学报, 40(18): #1810003) [DOI:10.3788/AOS202040.1810003]
  • Huynh B Q, Li H, Giger M L. 2016. Digital mammographic tumor classification using transfer learning from deep convolutional neural networks. Journal of Medical Imaging, 3(3): #034501 [DOI:10.1117/1.JMI.3.3.034501]
  • Im S, Hyeon J, Rha E, Lee J, Choi H J, Jung Y, Kim T J. 2021. Classification of diffuse Glioma subtype from clinical-grade pathological images using deep transfer learning. Sensors, 21(10): #3500 [DOI:10.3390/s21103500]
  • Irfan A, Adivishnu A L, Sze-To A, Dehkharghanian T, Rahnamayan S and Tizhoosh H R. 2020. Classifying pneumonia among chest X-rays using transfer learning//Proceedings of the 42nd Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Montreal, Canada: IEEE: 2186-2189 [DOI: 10.1109/EMBC44109.2020.9175594]
  • Jin Z X, Qin F W, Fang M E. 2019. Deep transfer learning-assisted early diagnosis of Alzheimer's disease. Computer Applications and Software, 36(5): 171-177 (金祝新, 秦飞巍, 方美娥. 2019. 深度迁移学习辅助的阿尔兹海默氏症早期诊断. 计算机应用与软件, 36(5): 171-177) [DOI:10.3969/j.issn.1000-386x.2019.05.029]
  • Karri S P K, Chakraborty D, Chatterjee J. 2017. Transfer learning based classification of optical coherence tomography images with diabetic macular edema and dry age-related macular degeneration. Biomedical Optics Express, 8(2): 579-592 [DOI:10.1364/BOE.8.000579]
  • Kim J E, Nam N E, Shim J S, Jung Y H, Cho B H, Hwang J J. 2020. Transfer learning via deep neural networks for implant fixture system classification using periapical radiographs. Journal of Clinical Medicine, 9(4): #1117 [DOI:10.3390/jcm9041117]
  • Le D, Alam M, Yao C K, Lim J I, Hsieh Y T, Chan R V P, Toslak D, Yao X C. 2020. Transfer learning for automated OCTA detection of diabetic retinopathy. Translational Vision Science and Technology, 9(2): #35 [DOI:10.1167/tvst.9.2.35]
  • Lee K S, Jung S K, Ryu J J, Shin S W, Choi J. 2020. Evaluation of transfer learning with deep convolutional neural networks for screening osteoporosis in dental panoramic radiographs. Journal of Clinical Medicine, 9(2): #392 [DOI:10.3390/jcm9020392]
  • Li H L, He L L, Dudley J A, Maloney T C, Somasundaram E, Brady S L, Parikh N A, Dillman J R. 2021a. DeepLiverNet: a deep transfer learning model for classifying liver stiffness using clinical and T2-weighted magnetic resonance imaging data in children and young adults. Pediatric Radiology, 51(3): 392-402 [DOI:10.1007/s00247-020-04854-3]
  • Li H L, Parikh N A, He L L. 2018. A novel transfer learning approach to enhance deep neural network classification of brain functional connectomes. Frontiers in Neuroscience, 12: #491 [DOI:10.3389/fnins.2018.00491]
  • Li J, Zhou Y, Wang P, Zhao H N, Wang X X, Tang N, Luan K. 2021b. Deep transfer learning based on magnetic resonance imaging can improve the diagnosis of lymph node metastasis in patients with rectal cancer. Quantitative Imaging in Medicine and Surgery, 11(6): 2477-2485 [DOI:10.21037/qims-20-525]
  • Li Y Y, Wang Y M, Zhou Q, Li Y X, Wang Z, Wang J, Meng Y, Cai Q Q, Sui L, Hua K Q. 2021. Deep learning model exploration of colposcopy image based on cervical epithelial and vascular features. Fudan University Journal of Medical Sciences, 48(4): 435-442 (李燕云, 王永明, 周奇, 李亦学, 王振, 王珏, 孟妍, 蔡青青, 隋龙, 华克勤. 2021. 基于宫颈上皮与血管特征的阴道镜图像深度学习模型探索. 复旦学报(医学版), 48(4): 435-442) [DOI:10.3969/j.issn.1672-8467.2021.04.002]
  • Li Z X, Song T, Ge M F, Liu J X, Wang H W, Wang J. 2021. Breast cancer classification from histopathological images based on improved Inception model. Laser and Optoelectronics Progress, 58(8): #0817001 (李赵旭, 宋涛, 葛梦飞, 刘嘉欣, 王宏伟, 王佳. 2021. 基于改进Inception模型的乳腺癌病理学图像分类. 激光与光电子学进展, 58(8): #0817001) [DOI:10.3788/LOP202158.0817001]
  • Liang G B, Zheng L X. 2020. A transfer learning method with deep residual network for pediatric pneumonia diagnosis. Computer Methods and Programs in Biomedicine, 187: #104964 [DOI:10.1016/j.cmpb.2019.06.023]
  • Liu T Y A, Ting D S W, Yi P H, Wei J C, Zhu H X, Subramanian P S, Li T B, Hui F K, Hager G D, Miller N R. 2020. Deep learning and transfer learning for optic disc laterality detection: implications for machine learning in neuro-ophthalmology. Journal of Neuro-Ophthalmology, 40(2): 178-184 [DOI:10.1097/WNO.0000000000000827]
  • Liu W X, Cheng Y L, Liu Z Y, Liu C L, Cattell R, Xie X Y, Wang Y Y, Yang X J, Ye W T, Liang C S, Li J, Gao Y, Huang C, Liang C H. 2021. Preoperative prediction of Ki-67 status in breast cancer with multiparametric MRI using transfer learning. Academic Radiology, 28(2): e44-e53 [DOI:10.1016/j.acra.2020.02.006]
  • Mahbod A, Schaefer G, Wang C L, Dorffner G, Ecker R, Ellinger I. 2020. Transfer learning using a multi-scale and multi-network ensemble for skin lesion classification. Computer Methods and Programs in Biomedicine, 193: #105475 [DOI:10.1016/j.cmpb.2020.105475]
  • Maqsood M, Nazir F, Khan U, Aadil F, Jamal H, Mehmood I, Song O Y. 2019. Transfer learning assisted classification and detection of Alzheimer's disease stages using 3D MRI scans. Sensors, 19(11): #2645 [DOI:10.3390/s19112645]
  • Minaee S, Kafieh R, Sonka M, Yazdani S, Soufi G J. 2020. Deep-COVID: predicting COVID-19 from chest X-ray images using deep transfer learning. Medical Image Analysis, 65: #101794 [DOI:10.1016/j.media.2020.101794]
  • Mohammadi R, Salehi M, Ghaffari H, Rohani A A, Reiazi R. 2020. Transfer learning-based automatic detection of coronavirus disease 2019 (COVID-19) from chest X-ray images. Journal of Biomedical Physics and Engineering, 10(5): 559-568 [DOI:10.31661/jbpe.v0i0.2008-1153]
  • Munien C, Viriri S. 2021. Classification of hematoxylin and eosin-stained breast cancer histology microscopy images using transfer learning with efficient nets. Computational Intelligence and Neuroscience, 2021: #5580914 [DOI:10.1155/2021/5580914]
  • Oh K, Chung Y C, Kim K W, Kim W S, Oh I S. 2019. Classification and visualization of Alzheimer's disease using volumetric convolutional neural network and transfer learning. Scientific Reports, 9(1): #18150 [DOI:10.1038/s41598-019-54548-6]
  • Paul R, Hawkins S H, Balagurunathan Y, Schabath M, Gillies R J, Hall L O, Goldgof D B. 2016. Deep feature transfer learning in combination with traditional features predicts survival among patients with lung adenocarcinoma. Tomography, 2(4): 388-395 [DOI:10.18383/j.tom.2016.00211]
  • Pei Z A, Cao S L, Lu L J, Chen W F. 2019. Direct cellularity estimation on breast cancer histopathology images using transfer learning. Computational and Mathematical Methods in Medicine, 2019: #3041250 [DOI:10.1155/2019/3041250]
  • Romero M, Interian Y, Solberg T, Valdes G. 2020. Targeted transfer learning to improve performance in small medical physics datasets. Medical Physics, 47(12): 6246-6256 [DOI:10.1002/mp.14507]
  • Samala R K, Chan H P, Hadjiiski L M, Helvie M A, Cha K H, Richter C D. 2017. Multi-task transfer learning deep convolutional neural network: application to computer-aided diagnosis of breast cancer on mammograms. Physics in Medicine and Biology, 62(23): 8894-8908 [DOI:10.1088/1361-6560/aa93d4]
  • Samala R K, Chan H P, Hadjiiski L, Helvie M A, Richter C D, Cha K H. 2019. Breast cancer diagnosis in digital breast tomosynthesis: effects of training sample size on multi-stage transfer learning using deep neural nets. IEEE Transactions on Medical Imaging, 38(3): 686-696 [DOI:10.1109/TMI.2018.2870343]
  • Si X P, Zhang X J, Zhou Y, Sun Y L, Jin W P, Yin S Y, Zhao X, Li Q and Ming D. 2020. Automated detection of juvenile myoclonic epilepsy using CNN based transfer learning in diffusion MRI//Proceddings of the 42nd Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC). Montreal, Canada: IEEE: 1679-1682 [DOI: 10.1109/EMBC44109.2020.9175467]
  • Tan T, Li Z, Liu H X, Zanjani F G, Ouyang Q C, Tang Y L, Hu Z Y, Li Q. 2018. Optimize transfer learning for lung diseases in bronchoscopy using a new concept: sequential fine-tuning. IEEE Journal of Translational Engineering in Health and Medicine, 6: #1800808 [DOI:10.1109/JTEHM.2018.2865787]
  • Taresh M M, Zhu N B, Ali T A A, Hameed A S, Mutar M L. 2021. Transfer learning to detect COVID-19 automatically from X-Ray images using convolutional neural networks. International Journal of Biomedical Imaging, 2021: #8828404 [DOI:10.1155/2021/8828404]
  • Trivizakis E, Ioannidis G S, Melissianos V D, Papadakis G Z, Tsatsakis A, Spandidos D A, Marias K. 2019. A novel deep learning architecture outperforming 'off-the-shelf' transfer learning and feature-based methods in the automated assessment of mammographic breast density. Oncology Reports, 42(5): 2009-2015 [DOI:10.3892/or.2019.7312]
  • Wang S D, Dong L Y, Wang X, Wang X G. 2020. Classification of pathological types of lung cancer from CT images by deep residual neural networks with transfer learning strategy. Open Medicine, 15(1): 190-197 [DOI:10.1515/med-2020-0028]
  • Wang S H, Nayak D R, Guttery D S, Zhang X, Zhang Y D. 2021. COVID-19 classification by CCSHNet with deep fusion using transfer learning and discriminant correlation analysis. Information Fusion, 68: 131-148 [DOI:10.1016/j.inffus.2020.11.005]
  • Wang S H, Xie S P, Chen X Q, Guttery D S, Tang C S, Sun J D, Zhang Y D. 2019. Alcoholism identification based on an AlexNet transfer learning model. Frontiers in Psychiatry, 10: #205 [DOI:10.3389/fpsyt.2019.00205]
  • Wee C Y, Liu C Q, Lee A, Poh J S, Ji H, Qiu A Q. 2019. Cortical graph neural network for AD and MCI diagnosis and transfer learning across populations. NeuroImage: Clinical, 23: #101929 [DOI:10.1016/j.nicl.2019.101929]
  • Wu Y, Luo L P, Xu B, Huang J, Zhao L Y. 2019. Classification and diagnosis of ultrasound images with breast tumors based on transfer learning. Chinese Journal of Medical Imaging Technology, 35(3): 357-360 (吴英, 罗良平, 许波, 黄君, 赵璐瑜. 2019. 基于迁移学习的乳腺肿瘤超声图像智能分类诊断. 中国医学影像技术, 35(3): 357-360) [DOI:10.13929/j.1003-3289.201807052]
  • Xue L Y, Jiang Z Y, Fu T T, Wang Q M, Zhu Y L, Dai M, Wang W P, Yu J H, Ding H. 2020. Transfer learning radiomics based on multimodal ultrasound imaging for staging liver fibrosis. European Radiology, 30(5): 2973-2983 [DOI:10.1007/s00330-019-06595-w]
  • Yang P W, Zhou Y H, Xing G, Tian Z Q, Xu X Y. 2021. Applications of convolutional neural network in biomedical image. Computer Engineering and Applications, 57(7): 44-58 (杨培伟, 周余红, 邢岗, 田智强, 许夏瑜. 2021. 卷积神经网络在生物医学图像上的应用进展. 计算机工程与应用, 57(7): 44-58) [DOI:10.3778/j.issn.1002-8331.2009-0161]
  • Yang Q, Zhang Y, Dai W Y, Pan J L. 2020. Transfer Learning. Beijing: Machinery Industry Press (杨强, 张宇, 戴文渊, 潘嘉林. 2020. 迁移学习. 北京: 机械工业出版社)
  • Yang Y, Yan L F, Zhang X, Han Y, Nan H Y, Hu Y C, Hu B, Yan S L, Zhang J, Cheng D L, Ge X W, Cui G B, Zhao D, Wang W. 2018. Glioma grading on conventional MR images: a deep learning study with transfer learning. Frontiers in Neuroscience, 12: #804 [DOI:10.3389/fnins.2018.00804]
  • Yu J H, Deng Y H, Liu T T, Zhou J, Jia X H, Xiao T L, Zhou S C, Li J W, Guo Y, Wang Y Y, Zhou J Q, Chang C. 2020. Lymph node metastasis prediction of papillary thyroid carcinoma based on transfer learning radiomics. Nature Communications, 11(1): #4807 [DOI:10.1038/s41467-020-18497-3]
  • Yu Y Z, Shi D J, Ma J C, Zhou Z. 2019. Advances in application of artificial intelligence in medical image analysis. Chinese Journal of Medical Imaging Technology, 35(12): 1808-1812 (俞益洲, 石德君, 马杰超, 周振. 2019. 人工智能在医学影像分析中的应用进展. 中国医学影像技术, 35(12): 1808-1812) [DOI:10.13929/j.1003-3289.201909150]
  • Zhang C M, Wang Q F, Liu Z Q, Huang J, Zhou Y, Liu Q Y, Xu W Y. 2020. Pulmonary nodule auxiliary diagnosis method based on deep transfer learning. Computer Engineering, 46(1): 271-278 (张驰名, 王庆凤, 刘志勤, 黄俊, 周莹, 刘启榆, 徐卫云. 2020. 基于深度迁移学习的肺结节辅助诊断方法. 计算机工程, 46(1): 271-278) [DOI:10.19678/j.issn.1000-3428.0053340]
  • Zhang J F, Cui W S, Guo X Y, Wang B, Wang Z. 2020a. Classification of digital pathological images of non-Hodgkin's lymphoma subtypes based on the fusion of transfer learning and principal component analysis. Medical Physics, 47(9): 4241-4253 [DOI:10.1002/mp.14357]
  • Zhang R C, Guo Z H, Sun Y, Lu Q, Xu Z J, Yao Z M, Duan M Y, Liu S, Ren Y J, Huang L, Zhou F F. 2020b. COVID19XrayNet: a two-step transfer learning model for the COVID-19 detecting problem based on a limited number of chest X-Ray images. Interdisciplinary Sciences: Computational Life Sciences, 12(4): 555-565 [DOI:10.1007/s12539-020-00393-5]
  • Zhao C, Shuai R J, Ma L, Liu W J and Wu M L. 2021. The generation and classification of skin cancer images based on Self-Attention-StyleGAN. Computer Engineering and Applications [J/OL]. [2021-04-19]. https://kns.cnki.net/kcms/detail/11.2127.tp.20210419.1440.067.html (赵宸, 帅仁俊, 马力, 刘文佳, 吴梦麟. 2021. 基于Self-Attention-StyleGAN的皮肤癌图像生成与分类. 计算机工程与应用[J/OL]. [2021-04-19]. https://kns.cnki.net/kcms/detail/11.2127.tp.20210419.1440.067.html[DOI:10.3778/j.issn.1002-8331.2102-0092])
  • Zheng G Y, Liu X B, Han G H. 2018. Survey on medical image computer aided detection and diagnosis systems. Journal of Software, 29(5): 1471-1514 (郑光远, 刘峡壁, 韩光辉. 2018. 医学影像计算机辅助检测与诊断系统综述. 软件学报, 29(5): 1471-1514) [DOI:10.13328/j.cnki.jos.005519]
  • Zheng Q, Furth S L, Tasian G E, Fan Y. 2019. Computer-aided diagnosis of congenital abnormalities of the kidney and urinary tract in children based on ultrasound imaging data by integrating texture image features and deep transfer learning image features. Journal of Pediatric Urology, 15(1): 75.e1-75.e7 [DOI:10.1016/j.jpurol.2018.10.020]
  • Zhuang Z M, Kang Y Q, Raj A N J, Yuan Y, Ding W L, Qiu S M. 2020. Breast ultrasound lesion classification based on image decomposition and transfer learning. Medical Physics, 47(12): 6257-6269 [DOI:10.1002/mp.14510]