乳腺癌是女性最常见的癌症之一，严重危害女性身体健康。其准确诊断对于后续的治疗以及预后具有重要意义(Siegel等，2020)。医学影像是临床进行乳腺癌筛查和鉴别诊断的重要工具。其中，$\rm B$型超声($\rm B$超)是一种无创、无辐射的实时成像诊断技术，主要对浅表和内脏器官等软组织进行实时成像，在临床诊断中为医生提供病灶的结构形态及病理学改变所引起的结构变化的信息，是目前临床诊断乳腺癌的常规工具(Wang等，2019)。随着人工智能技术的飞速发展，基于$\rm B$超的乳腺癌计算机辅助诊断(computer-aided diagnosis，CAD)系统的研究也已经广泛开展，其具有可重复性和一致性高的优点，可以辅助医生提高诊断的准确性(Sutton，1989)。

值得注意的是，单一模态的$\rm B$超所提供的信息类型主要局限于病灶的结构形态和声像，缺乏与病灶相关的其他方面的诊断信息，这在一定程度上制约了CAD模型的性能。而实际上，乳腺癌在其发展过程中，细胞外基质逐渐变硬，胶原纤维的形状和排列发生改变，导致乳腺癌病灶本身及周围基质发生力学上的改变，硬度或弹性随之而增加，但这种硬度的改变在$\rm B$超中并不能有效显示和表征(Shi等，2018)。近年来，基于超声弹性成像的乳腺癌诊断在临床逐步开展。该技术以加压等方式探测不同组织的硬度或弹性的改变，从而以伪彩编码的形式对不同组织和病灶的硬度信息进行实时成像显示，提供病灶的生物力学相关的信息(Sigrist等，2017)。因此，弹性成像技术可以对$\rm B$超成像提供补充的诊断信息，联合应用二者能有效提高乳腺癌诊断的准确性(Carlsen等，2013)。于是，基于双模超声的CAD模型也是目前的研究热点之一，其性能也优于单模超声CAD模型(Mahmood等，2020)。然而，由于多种因素的制约，目前超声弹性成像在临床的应用尚未完全普及，特别是在基层医院通常缺乏超声弹性成像设备以及能熟练操控该设备的有经验的超声医生。因此，研发基于单模态$\rm B$超的乳腺癌CAD模型仍然具有更为广泛和灵活的应用前景，但其性能也还有待进一步提高。

在各种机器学习方法中，迁移学习可以通过将在源域中学习到的知识或训练的模型迁移至目标域，实现从源域到目标域的知识迁移，从而提升目标域模型的性能(Weiss等，2016；杜章锦等，2020)。因此，可以将超声弹性图像作为源域，通过迁移学习技术将该图像所提供的生物力学相关信息迁移至基于$\rm B$超的乳腺癌CAD模型，具有提升其性能的可行性。

深度迁移学习是目前迁移学习领域的前沿方向，已经应用于医学影像CAD(Yu等，2017)。从临床数据应用角度，医学影像CAD中的深度迁移学习可以分为不同疾病之间的迁移和不同模态之间的迁移。前者指目标域(诊断模态)和源域数据属于同模态的影像，对应疾病类型不同；后者指源域和目标域数据对应的疾病相同，但两者影像属于不同模态。超声弹性图像至$\rm B$超图像之间的信息迁移属于不同模态之间的迁移，为深度迁移学习方法的使用提供了可行性。

然而，临床影像数据通常面临数据采集周期长、成本高和标记困难等问题(Sahiner等，2008)，导致用于训练深度学习模型的样本一般较少。为了缓解小样本学习问题，多种机器学习方法已经相继提出，自监督学习(self-supervised learning，SSL)就是其中一种有效的方法(Jing和Tian，2021)。该方法通常利用数据自身蕴含的属性和信息，从无标签数据中自主生成伪标签，以此来构建代理任务预训练骨干网络。然后，将骨干网络的权重参数迁移至下游目标任务，使用少量标记的训练样本进行微调训练，最终提升模型在目标任务上的性能(Liu等，2020)。为了应对临床影像数据样本数有限的问题，研究人员将自监督学习引入医学图像领域，并将其应用于分类、分割和定位等任务(Chen等，2019)，研究结果表明其具有有效性。

Bhatt等人(2019)提出了一种关联多模态深度卷积神经网络(step-based correlation multi-modal deep convolution neural network，CorrMCNN)，分别通过两个编解码结构的子网络重建两个模态的信息，并使用关联损失函数对不同模态的高维表征进行约束，以此来最大化两者之间的相关性。目前，CorrMCNN主要应用于多模态数据的表征学习，而基于CorrMCNN的图像重建操作本质上属于一种自监督学习范式，并且是一种新的多模态图像的自监督学习任务。网络能在训练重建图像信息的过程中，自主学习到多模数据内在的高维特征表达。而将CorrMCNN应用于双模态超声图像重建，在进行自监督学习的同时，也实现了两个超声模态数据之间的信息迁移学习，即基于自监督学习的深度迁移学习。

另外，由于双模态的$\rm B$超和超声弹性成像是对同一患者的同一病灶区域进行扫描成像，两者成对出现，共享标签。利用标签信息的有监督迁移学习通常较无监督的迁移学习具有更好的迁移性能。而特权信息学习(learning using privileged information，LUPI)则是一种专门针对共享标签的成对源域(即特权信息)和目标域数据的有监督迁移学习范式，能通过共享标签来挖掘源域和目标域成对数据之间内在的知识关联性，并引导知识迁移，提升迁移性能(Vapnik和Vashist，2009)。因此，LUPI范式可以应用于共享标签的双模态超声图像之间的知识迁移。

由于在分类器中易于实现利用标签信息引导迁移学习，目前的LUPI研究主要提出多种新的分类器算法(Pechyony和Vapnik，2012；Li等，2018)。其中，支持向量机+(support vector machine plus，SVM+) 是一种典型的LUPI分类器，并且已有多种改进的SVM+算法相继提出，应用于各种迁移学习分类任务之中。目前，基于LUPI的分类算法研究已经成功应用于医学影像CAD领域。例如，Duan等人(2014)将单核苷酸作为特权信息，以常规检查中更易获得的眼底图像作为诊断模态，共同训练SVM+分类器模型，通过迁移单核苷酸信息，提升了基于眼底图像的青光眼诊断准确性；Zhang等人(2021)以3个典型时相的超声造影图像作为特权信息，以$\rm B$超图像作为诊断模态，提出了一种多核学习SVM+ 算法，以有效地从多视图超声造影图像中传递多源域知识，从而提升基于$\rm B$超的肝癌CAD模型性能。上述研究表明了LUPI算法在CAD领域的可行性和应用潜力。但是，目前的LUPI算法集中于分类器的研究。实际上，特征表达是决定一个CAD系统性能的关键环节，而基于深度学习的LUPI算法的研究尚处于起步阶段，有待进一步的研究。

综上，为了提升基于单一模态$\rm B$超的乳腺CAD的诊断性能，提出一种基于两阶段深度迁移学习(two-stage deep transfer learning，TSDTL)算法，实现超声弹性图像向基于$\rm B$超的CAD模型的知识迁移。在第1阶段的深度迁移学习中，提出将双模态超声图像重建任务作为一种自监督学习任务，训练一个关联多模态深度卷积神经网络模型，实现$\rm B$超图像和超声弹性图像之间的信息交互迁移；然后，在第2阶段的深度迁移学习中，进行基于双模态超声图像的乳腺肿瘤分类任务，通过标签信息引导下的分类进一步加强两个模态之间的特征融合与信息交互，以隐式的LUPI范式进行特征级迁移；最后，采用单模态$\rm B$超数据对所对应通道的分类网络进行微调，实现最终的乳腺癌$\rm B$超图像分类模型。

本文工作的主要创新点包括：

1) 提出一种新的两阶段深度迁移学习算法应用于基于$\rm B$超的乳腺癌CAD模型，有机结合自监督迁移学习和特征级LUPI这两种迁移模式，实现从弹性超声图像到乳腺$\rm B$超CAD模型的知识迁移，从而有效缓解双模态超声数据的小样本学习问题，提升CAD模型的诊断准确性，并且具有简单易行的优点。

2) 在两级迁移学习过程中，均通过隐式的特征级深度迁移学习方式有效实现从弹性超声图像到基于$\rm B$超的乳腺CAD模型的知识迁移，即通过构建双模态超声图像的自监督重建任务实现隐式的特征级迁移学习；然后利用双模态超声图像共享标签的特性，通过多模态分类任务以隐式LUPI的范式实现两个骨干网络之间的信息迁移，增强$\rm B$超通道网络的特征表达，使其内在蕴含对应超声弹性图像的信息。

提出的TSDTL算法流程如图 1所示。该算法主要包含两个迁移学习阶段，以及一个单通道网络微调阶段。其具体核心步骤如下：

1) 第1阶段自监督迁移学习。在本阶段的深度迁移学习中，设计了一个基于双模超声图像重建的自监督学习任务，以此来训练得到关联多模态深度卷积神经网络模型，从而实现$\rm B$超和超声弹性成像两个模态图像之间的信息交互迁移。该CorrMCNN模型首先使用双通道的编码器网络分别学习$\rm B$超图像和超声弹性图像特征表达；然后将模型在两个通道中学习到的高维特征进行拼接操作，得到联合特征表达；再采用双通道解码器网络从联合特征表达中分别重建出原有的$\rm B$超图像和超声弹性图像。其中，网络在训练过程中通过优化相关性损失隐式地实现深度迁移学习。需要注意的是双通道网络中的编码器部分和联合特征表达层将作为第2阶段迁移学习的预训练骨干网络。

2) 第2阶段多模态分类迁移学习。第1阶段获得的预训练骨干网络将用于第2阶段多模态分类任务。在其之后再添加新的全连接层以降低特征维度，并用Softmax函数计算分类结果。将$\rm B$超和超声弹性图像输入该新网络进行基于双模超声的乳腺癌分类任务。在该阶段的网络训练中，由于双模超声图像样本共享标签，因此两个通道的网络之间可以在共同优化参数的过程中进行进一步的信息交互迁移。在这一过程中，源域和目标域数据共享标签，并且有监督地进行迁移学习，符合一般的LUPI范式。因此，可以认为，该阶段是通过进行基于双模超声的乳腺癌分类任务，隐式地实现了LUPI范式下的特征级迁移学习。在完成此阶段迁移学习以后，再单独将$\rm B$超对应的网络通道(不包含联合特征表达层)作为最终的基于$\rm B$超的乳腺癌CAD模型的预训练骨干网络。

3) 单通道网络微调阶段。在得到新的预训练骨干网络后，添加全连接层和Softmax函数运算，构建最终的基于$\rm B$超的乳腺癌CAD模型网络。在该微调阶段中，只采用单模态的$\rm B$超图像对该网络进行训练，以进一步提升针对$\rm B$超数据的分类性能。

4) 测试阶段。将步骤3)中微调后的单通道网络作为最终的基于$\rm B$超的乳腺癌CAD的网络模型，该模型可以直接应用于新的$\rm B$超图像的诊断任务。

第1阶段借助图像恢复的自监督学习任务，对交叉网络进行预训练，以此来学习乳腺$\rm B$超和超声弹性模态的公共表征信息。该阶段的CorrMCNN包含4个子模块：特征提取、非线性映射、联合特征表达和重构。

利用特征提取模块学习$\rm B$超和超声弹性模态的图像高维特征。特征提取模块由一个卷积层和一个ReLU激活层组成。其中，卷积层从图像中提取特征，而ReLU激活层负责实现特征的非线性映射。将输入的$\rm B$超图像记为${\boldsymbol{I}}$$_\text{B}$，输入的超声弹性图像记为${\boldsymbol{I}}$$_\text{E}$，从$\text{B}$超图像提取的特征记为${\boldsymbol{F}}$$_\text{B}$，从$\text B$超图像提取的特征记为${\boldsymbol{F}}$$_\text{E}$，计算为

$ \boldsymbol{F}_{\mathrm{B}}=\boldsymbol{G}_{\mathrm{B}}\left(\boldsymbol{I}_{\mathrm{B}}, \boldsymbol{W}_{\mathrm{B}}\right) $

(1)

$ \boldsymbol{F}_{\mathrm{E}}=\boldsymbol{G}_{\mathrm{E}}\left(\boldsymbol{I}_{\mathrm{E}}, \boldsymbol{W}_{\mathrm{E}}\right) $

(2)

式中，$G_\text{B}$为$\text{B}$超模态通道的特征提取映射函数，$G_\text{E}$ 为超声弹性模态通道的特征提取映射函数，${\boldsymbol{W}}$$_\text{B}$为特征提取子模块中$\text B$超模态通道的参数，${\boldsymbol{W}}$$_\text{E}$为特征提取子模块中超声弹性模态通道的参数。

将特征提取模块输出的高维特征送入非线性映射模块，继而使用8个连续的残差块学习得到高级特征表达。第1阶段预训练网络中，每一通道的非线性映射都由8个残差块组成。

其中，非线性映射子模块中每个残差块的组成结构如图 2所示。残差块使用残差学习策略，模块只需要学习输入特征与目标特征之间的差异，而两者间相同的信息可以通过跳连接直接传到残差块的输出端。假设输入为$x$，映射函数为$m$，最终输出$y$为

$ y=x+m(x) $

(3)

将特征提取模块输出的高维特征${\boldsymbol{F}}$$_\text{B}$和${\boldsymbol{F}}$$_\text{E}$送入非线性映射的首个残差块，这些特征在第1个残差块进行计算，得到相对输入特征来说更高维度的特征表达。然后，将首个残差块中得到的特征送入第2个残差块，以此类推，两个模态的特征分别经过8个残差块的计算，然后将得到的高级特征表达作为联合表征模块的输入。其中，将$\text B$超模态通道获得的高级特征表达记为${\boldsymbol{T}}$$_\text{B}$，超声弹性模态通道获得的高级特征表达记为${\boldsymbol{T}}$$_\text{E}$，计算为

$ \boldsymbol{T}_{\mathrm{B}}=M_{\mathrm{B}}\left(\boldsymbol{F}_{\mathrm{B}}, \theta_{\mathrm{B}}\right) $

(4)

$ \boldsymbol{T}_{\mathrm{E}}=M_{\mathrm{E}}\left(\boldsymbol{F}_{\mathrm{E}}, \theta_{\mathrm{E}}\right) $

(5)

式中，$M_\text{B}$为$\rm B$超模态通道的非线性映射函数，$M_\text{E}$为超声弹性模态通道的非线性映射函数，$θ$$_\text{B}$为非线性映射模块中$\rm B$超模态通道的参数，$θ$$_\text{E}$为非线性映射模块中超声弹性模态通道的参数。

输入的$\rm B$超模态图像和超声弹性模态图像分别经过了特征提取和非线性映射模块，获得对应的高级特征表达。然后，在联合特征表达模块中，利用拼接操作对两个模态通道输出的高级特征进行特征融合，即投影到公共子空间获得联合特征表达，计算式为

$ \boldsymbol{T}=\left[\boldsymbol{T}_{\mathrm{B}}, \boldsymbol{T}_{\mathrm{E}}\right] $

(6)

式中，${\boldsymbol{T}}$为联合特征表达，即拼接操作的结果。

在重构模块中，将联合表征模块输出的特征表达${\boldsymbol{T}}$$_\text{B}$和${\boldsymbol{T}}$$_\text{E}$输入双通道网络，分别重建出原先作为输入的$\rm B$超与超声弹性图像。重建模块包含两个网络通道，分别由5个上采样层和1个卷积层组成，每个上采样层结构如图 3所示。

利用多层上采样结构，两个网络通道分别将联合特征表达上采样至原输入图像尺寸，分别用做重建$\rm B$超与超声弹性图像。恢复的$\rm B$超图像记为${\boldsymbol{B}}$$_\text{r}$，恢复的超声弹性图像记为${\boldsymbol{E}}$$_\text{r}$，计算为

$ \boldsymbol{B}_{\mathrm{r}}=H_{\mathrm{B}}\left(\boldsymbol{T}, \boldsymbol{\beta}_{\mathrm{B}}\right) $

(7)

$ \boldsymbol{E}_{\mathrm{r}}=H_{\mathrm{E}}\left(\boldsymbol{T}, \beta_{\mathrm{E}}\right) $

(8)

式中，$H_\text{B}$为$\rm B$超模态通道的重构映射函数，$H_\text{E}$为超声弹性模态通道的重构映射函数，$β$$_\text{B}$为重构模块中$\rm B$超模态通道参数，$β$$_\text{E}$为重构模块中超声弹性模态通道的参数。

在第1阶段预训练中，本文算法计算了3个损失函数，包括两个模态图像的自重建损失函数和双模态之间的关联损失函数。均方误差(mean square error，MSE)是一种像素级优化损失函数，它是图像重建任务中最常用的损失函数。因此，本文算法采用MSE作为自监督重建任务的损失函数。将$\rm B$超模态自重建损失函数记为$Loss$$_\text{B}$，超声弹性模态自重建损失函数记为$Loss$$_\text{E}$，计算为

$ {Loss}_{\mathrm{B}} =\frac{1}{2 N} \sum\limits_{i=1}^{N}\left\|\boldsymbol{B}_{\mathrm{r}i}-\boldsymbol{I}_{\mathrm{B} i}\right\|_{2} $

(9)

$ {Loss}_{\mathrm{E}} =\frac{1}{2 N} \sum\limits_{i=1}^{N}\left\|\boldsymbol{E}_{\mathrm{r}i}-\boldsymbol{I}_{\mathrm{E} i}\right\|_{2} $

(10)

式中，$N$为双模态训练样本对总数，$i$表示样本对序号。

联合表征模块中$\rm B$超和超声弹性模态之间的关联损失记为$Loss$$_\text{C}$，其计算为

$ \begin{gathered} {Loss}_{\mathrm{C}}=\\ -\frac{\sum\limits_{i=1}^{N}\left(h_{\mathrm{B}}\left(\boldsymbol{I}_{\mathrm{B}}\right)-\overline{h_{\mathrm{B}}\left(\boldsymbol{T}_{\mathrm{B}}\right)}\right)\left(h_{\mathrm{E}}\left(\boldsymbol{I}_{\mathrm{E}}\right)-\overline{h_{\mathrm{E}}\left(\boldsymbol{T}_{\mathrm{E}}\right)}\right)}{\sqrt{\sum\limits_{i=1}^{N}\left(h_{\mathrm{B}}\left(\boldsymbol{I}_{\mathrm{B}}\right)-\overline{h_{\mathrm{B}}\left(\boldsymbol{T}_{\mathrm{B}}\right)}\right)^{2} \sum\limits_{i=1}^{N}\left(h_{\mathrm{E}}\left(\boldsymbol{I}_{\mathrm{E}}\right)-\overline{h_{\mathrm{E}}\left(\boldsymbol{T}_{\mathrm{E}}\right)}\right)^{2}}} \end{gathered} $

(11)

式中，$h_\text{B}$为$\rm B$超模态通道的映射函数，$h_\text{E}$为超声弹性模态通道的映射函数，$\overline{h_\text{B}({\boldsymbol{T}}_\text{B})} $为$\rm B$超模态高级特征表达的平均向量，$\overline{h_\text{E}({\boldsymbol{T}}_\text{E})} $ 表示超声弹性模态高级特征表达的平均向量，$N$为双模态训练样本对总数，$i$表示样本对序号。

最终，第1阶段的损失函数$Loss$$_\text{1}$由上述3个损失函数加权计算得到

$ {Loss}_{1}={Loss}_{\mathrm{B}}+{Loss}_{\mathrm{E}}+\mu {Loss}_{\mathrm{C}} $

(12)

式中，$μ$∈ ${\bf{R}}$$^\text{+}$为$Loss$$_\text{C}$的权重。

在第1阶段预训练中，用总损失函数$Loss$$_\text{1}$来优化网络参数。其中，第1个分量$Loss$$_\text{B}$计算$\rm B$超模态图像自重建的损失，约束$\rm B$超通道网络的参数优化；第2个分量$Loss$$_\text{E}$计算超声弹性模态通道的自重建损失，约束超声弹性通道网络的参数优化；第3个分量$μLoss$$_\text{C}$计算的是联合表征模块中公共子空间的关联损失，约束两个模态的表征相关性。由式(12)可以看出，$Loss$$_\text{B}$和$Loss$$_\text{E}$越小，说明两个模态的自重建效果越好，$Loss$$_\text{C}$越小，说明两个模态投影到公共子空间的特征表达越相关。

如图 1所示，第2阶段多模态分类是在第1阶段得到的预训练骨干网络基础上，添加新的全连接层以降低特征维度，并利用Softmax函数运算得到分类的预测值，然后输入$\rm B$超和超声弹性图像，进行基于双模超声的乳腺癌分类任务。该阶段的网络包含特征提取和非线性映射两个子模块，这两部分的网络结构和网络参数等设置和第1阶段相同，故本节不再赘述。与第1阶段预训练网络不同的是，第2阶段将联合特征表达层输出的高级特征直接进行Softmax函数运算，实现共享标签的双模态分类任务。

在第2阶段多模态分类任务中，使用常用的交叉熵损失函数对网络进行训练，将其记为$Loss$$_\text{2}$，计算为

$ {Loss}_{2}=\sum\limits_{i=1}^{N}\left[y_{i} \log \left(a_{i}\right)+\left(1-y_{i}\right) \log \left(1-a_{i}\right)\right] $

(13)

式中，$y_{i}$表示第$i$对双模态图像样本所共享的分类标签，恶性标签为1，良性标签为0，$a_{i}$表示第$i$对样本预测为恶性的概率值，$N$为双模态训练样本对总数。

该阶段使用第2阶段迁移学习获得的预训练骨干网络(即$\rm B$超对应的单通道网络)，并在其后添加几层全连接层以及Softmax函数运算，构建基于$\rm B$超单模态的乳腺癌CAD模型。该阶段是在第2阶段预训练得到的骨干网络模型基础上，使用$\rm B$超单模态数据进行迁移微调，其中预训练模型已经蕴含了经过两阶段迁移得到的超声弹性图像信息。该阶段同样使用交叉熵损失函数，记为$Loss$$_\text{3}$，计算为

$ {Loss}_{3}=\sum\limits_{j=1}^{N}\left[y_{j} \log \left(a_{j}\right)+\left(1-y_{j}\right) \log \left(1-a_{j}\right)\right] $

(14)

式中，$y_{j}$表示$\rm B$超模态图像的分类标签，恶性标签为1，良性标签为0，$a_{j}$表示预测为恶性的概率值。

使用的乳腺肿瘤双模态超声数据集是由南京鼓楼医院采集，两种模态的数据同时采集自264位患者，其中包括129位良性乳腺肿瘤患者和135位恶性乳腺肿瘤患者，已获得医院伦理委员会的批准，所有患者均签署了知情同意书。乳腺图像是由Mindray Resona7超声扫描仪通过L11-3探头采集的，包括$\rm B$超和超声弹性两种模态的医学影像信息，所有恶性肿瘤均已经过专业医生的病理诊断证实。

医生手动截取了原始数据$\rm B$超和超声弹性图像中的感兴趣区域(region of interest, ROI)，因此本文算法直接在ROI区域数据上进行实验验证。图 4所示分别为良恶性双模态超声图像ROI区域的数据示例样本。

为了评估TSDTL算法的性能，实验与多种目前常用的深度迁移学习算法进行了比较。由于$\rm B$超是临床中使用最广泛的肿瘤诊断模态，且$\rm B$超图像相比超声弹性图像更容易获得, 因此，实验以$\rm B$超图像作为诊断模态，超声弹性图像作为源域模态。

与TSDTL对比的算法有：

1) ResNet-18(He等，2016)。对比实验采用一个单通道的ResNet-18应用于单模态的$\rm B$超进行乳腺癌良恶性分类，其结果作为基准算法。

2) 深度域混淆网络(deep domain confusion，DDC)(Tzeng等，2014)。这是一种引入了自适应层和域混淆损失函数的深度迁移网络。本文使用ResNet-18作为该算法的骨干网络。

3) 深度自适应相关对齐网络(correlation alignment for deep domain adaptation，DeepCORAL)(Sun和Saenko，2016)。这是一种将CORAL方法(Sun等，2016)和深度神经网络相结合的深度迁移网络。本文使用ResNet-18作为该算法的骨干网络。

4) 深度自适应网络(deep adaptation network，DAN)(Long等，2015)。这是一种将多核最大均值差异度量应用于多层域自适应网络中的深度迁移网络。本文使用ResNet-18作为该算法的骨干网络。

5) 动态对抗自适应网络(dynamic adversarial adaptation network，DAAN)(Yu等，2019)。这是一种使用对抗模型来动态地学习域不变表达的深度迁移学习网络。原始论文中使用ResNet-50作为基础网络，本文将其替换为ResNet-18网络。

6) 深度子域自适应网络(deep subdomain adaptation network，DSAN)(Zhu等，2021)。这是一种基于局部最大均值差异的深度迁移网络。原始论文中使用ResNet-50作为基础网络，本文将其替换为ResNet-18网络。

在上述实验的基础上，为了进一步验证本文提出的TSDTL算法的有效性，设计了两个只包含一阶段迁移学习的消融实验：

1) SSL-TL。在这个消融实验中，只保留第1阶段基于自监督学习的迁移学习(self-supervised learning based transfer learning，SSL-TL)，而将基于双模超声的分类任务的第2阶段迁移学习过程删除，这是为了验证第2阶段迁移学习的有效性。在实际训练过程中，直接将如图 1中第1阶段网络训练以后得到的$\rm B$超对应的单通道编码器网络部分直接应用到单通道网络微调阶段，后续步骤不变。该阶段算法记为SSL-TL。

2) 基于双模分类的迁移学习(dual-modal classification transfer learning，DMC-TL)。在这个消融实验中，只保留基于双模超声的乳腺癌分类任务第2阶段迁移学习，而将基于自监督学习的第1阶段迁移学习过程删除，这是为了验证第1阶段迁移学习的有效性。在实际训练过程中，跳过如图 1中所示的第1阶段图像重建任务，直接进行第2阶段的基于双模超声的乳腺癌分类任务，后续步骤不变。该阶段算法记为DMC-TL。

为了对比不同算法针对$\rm B$超图像的分类效果，采用5折交叉验证方法进行实验，结果均以5次结果的平均±标准差的形式呈现。最终结果使用了如下指标：分类准确率(accuracy，${\rm{ACC}}$)、敏感度(sensitivity，${\rm{SEN}}$)、特异度(specificity，${\rm{SPE}}$)和约登指数(Youden index，${\rm{YI}}$)。计算式为

$ \left\{\begin{array}{l} A C C=(T P+T N) /(T P+F N+T N+F P) \\ S E N=T P /(T P+F N) \\ S P E=T N /(T N+F P) \\ Y I=S E N+S P E-1 \end{array}\right. $

(15)

式中，$TP$为真阳性，$FP$为假阳性，$TN$为真阴性，$FN$为假阴性。$ACC$能够直观反映算法的性能；$SEN$反映了对该疾病的敏感程度和漏诊程度；$SPE$反映了误诊程度；$YI$综合考虑$SEN$和$SPE$的结果，评判了算法的真实性，该值越大，说明分类效果越好，真实性越大。利用真正例率和假正例率描述两者之间的受试者工作特征曲线(receiver operating characteristic curve，ROC)，并计算对应曲线下面积(area under ROC curve，AUC)作为评价指标。AUC值越大，表明该模型的分类性能越强。

此外，TSDTL算法第1阶段的总损失由3个损失函数加权得到。其中，分量$Loss$$_\text{C}$为联合表征模块中公共子空间的关联损失。为了确定其权重$μ$，对该超参数的不同取值进行了对比实验。

对公共子空间关联损失的应用位置进行了消融实验。分别在TSDTL算法的第1、第2阶段以及两阶段加入关联损失，从而验证本文的TSDTL算法仅在第1阶段使用该损失的有效性和合理性。

实验中所有对比算法都是基于图像ROI进行训练和测试的，图像的大小统一为224×224像素，并做归一化操作。使用深度学习Pytorch框架构建模型并完成实验，所有模型的参数初始化采用Msra算法(He等，2015)，使用Adam算法优化参数，学习率设为0.001，批量大小设置为16。另外，为了对比公平，对所有算法的网络层数和其余各项超参数的设置也尽可能相同。

表 1为不同分类算法实现乳腺肿瘤分类诊断的结果。

由表 1可以发现，本文提出的TSDTL算法获得了整体最优的分类结果，其对应的平均分类准确率、敏感度、特异度和约登指数结果分别为87.84±2.08 %、88.89±3.70 %、86.71±2.21 %和75.60±4.07 %。与直接采用ResNet-18进行单模态$\rm B$超分类的结果相比，TSDTL算法在分类准确率、敏感度、特异度和约登指数上分别提高了3.74 %、3.70 %、3.72 %和7.43 %，表明了TSDTL算法的有效性；与其他深度迁移学习算法相比，本文提出的TSDTL算法在分类准确率、敏感度、特异度和约登指数上至少提高了1.10 %、1.48 %、0.65 %和2.13 %。表明了TSDTL算法能更充分地将超声弹性图像中补充性信息迁移至基于$\rm B$超的乳腺癌CAD模型中。

图 5所示为在乳腺肿瘤超声数据集上不同算法的ROC曲线，图中标注了各个算法的AUC值，由图 5可知，本文算法对应ROC下面积最大，即AUC值最高，为0.918，表明了TSDTL算法的有效性。

表 2为消融实验的结果。由表 2可以发现，TSDTL算法虽然在敏感度指标上的结果比DMC-TL算法降低了2.22 %，但其在分类准确率、特异度和约登指数上的结果均分别比DMC-TL算法提升了1.08 %、4.51 %和2.29 %，TSDTL算法整体性能优于DMC-TL算法，表明了第1阶段自监督学习在信息迁移中的有效性。TSDTL算法虽然在敏感度指标上的结果比SSL-TL算法降低了0.74 %，但其在分类准确率、特异度和约登指数上的结果均分别比SSL-TL算法提升了1.84 %、4.49 %和3.75 %，TSDTL算法整体性能优于SSL-TL算法，表明了第2阶段多模态分类对最终超声CAD模型分类性能的有效性。此外，SSL-TL算法和DMC-TL算法分类准确率、敏感度、特异度和约登指数上的结果都优于ResNet-18算法，再次验证了第1阶段自监督学习和第2阶段多模态分类LUPI对模型性能的有效性。

图 6所示为在乳腺肿瘤超声数据集上不同算法的ROC曲线以及对应的AUC值。由图 6可知，TSDTL算法的AUC值高于DMC-TL算法，验证了第1阶段自监督深度迁移学习的有效性。此外，TSDTL算法的AUC值相较于SSL-TL算法同样提升明显，表明了第2阶段多模态分类LUPI的有效性。

图 7展示了在第1阶段的训练中损失函数使用不同$μ$取值时，TSDTL算法分类结果的变化。由图 7可知，$μ$=10$^\text{-4}$时，TSDTL算法能达到最优的综合分类性能。此外，值得注意的是，为了达到较好的训练效果，$μ$的数量级较小，这是因为在第1阶段的3个损失分量中，关联损失相比另外两个图像重建损失较大。因此，为了平衡这两类损失，超参数$μ$在第1阶段的训练中取值较小。

表 3所示为TSDTL算法分别在不同的训练阶段使用关联损失的分类结果。为了表述方便，使用TSDTL-Stage1来表示仅在第1阶段使用关联损失；TSDTL-Stage2表示仅在第2阶段使用关联损失；TSDTL-Stage1&2表示在两阶段都使用关联损失。由该消融实验结果可知，TSDTL算法仅在第1阶段使用该损失的方式在各项指标上取得了最优性能，验证了该训练策略的有效性。

在TSDTL的第1阶段预训练中，算法采用的是一种双模态图像重建的自监督学习任务。加入关联损失的目的是为了在双模态数据在分别自主编码过程中形成一种约束机制，提升两者特征表达的相关性，从而避免模型在训练过程中只通过单一模态(如超声弹性模态)完成重建双模图像的任务。而在训练第2阶段的分类任务时，已有预训练模型和类别标签，不存在第1阶段的问题，使用冗余的损失反而可能损伤其性能。因此，只在第1阶段的训练中使用该关联损失是TSDTL的最优训练策略。

提出了一种基于两阶段深度迁移学习的乳腺超声CAD算法，有效实现了将超声弹性图像所内涵的生物力学相关的信息迁移至基于$\rm B$超的乳腺癌CAD模型之中，从而提升CAD模型的分类诊断性能。该算法创新性地结合了基于双模态超声图像的自监督学习任务和分类任务，分别在两阶段实现了隐式的特征级深度迁移学习，在有效缓解样本较少问题的同时，对乳腺超声CAD模型的信息完整性提供了支持。其中，算法在第1阶段构建了一个双模态超声图像的自监督重建任务，并通过相关性损失函数实现了隐式的特征级迁移学习；第2阶段则是利用共享标签的特性，以隐式LUPI的范式加强两个通道骨干网络学习到特征之间的信息交互。TSDTL分类算法在乳腺肿瘤双模态超声数据集上进行了实验。相较于其他深度迁移学习算法，本文算法在各项分类评价指标上取得了最佳性能，表明了提出的两阶段深度迁移学习能够使$\rm B$超模态和超声弹性模态之间的信息进行充分的交互迁移。此外，消融实验的结果也分别验证了第1阶段自监督学习和第2阶段多模态分类对提升网络分类性能的有效性。

本文算法仍有待进一步改进。在ROC曲线图中，本文算法虽然均取得了最佳的AUC值，但相较于其他算法，对应的ROC曲线没有明显的优势。而消融实验的结果表明，第1阶段的自监督学习对整体性能有效，但仍然有提升空间。在未来的研究工作中，将探索自监督学习领域的另一个前沿分支，即对比学习在第1阶段迁移学习中的应用效果。基于共享标签的双模态超声数据，通过优化对比损失使网络学习两者之间的内在关联性，从而进一步增强CAD模型的分类性能。