甲状腺结节是一种甲状腺细胞异常增生后在腺体内出现的团块，患病人群的覆盖范围和年龄跨度较大，尤其在女性群体中发病率较高(迟剑宁等，2018)，因此对甲状腺结节组织进行及时筛查、诊断尤为关键。在甲状腺结节诊断过程中，超声影像是医生对结节良恶性诊断的重要依据(Tessler等，2017)。然而超声影像是灰度图，其中结节区域与背景区域差异较小，且视觉表现较弱。超声影像的诊断准确率很大程度上依赖于有丰富临床经验的医师的主观判断，这一现实情况直接导致诊断受限于医疗资源分配不均和高水平医生短缺等条件，此外也带来了诊断效率低下和标准不一等诸多问题(Wang等，2019)。

卷积神经网络(convolutional neural network，CNN)的更新迭代使图像分类、目标检测等计算机视觉任务的性能得到显著提升，在医学领域也越来越多地作为辅助手段应用于临床诊断。一般来说，拟合训练数据的深度网络模型在与该类数据特征分布相同的测试数据中表现良好，然而将其直接迁移到分布存在偏差的另一数据域中，往往表现出显著的性能下降，这是深度神经网络泛化性不强的弊端。这类应用场景在医学领域较为常见，本文以甲状腺超声影像作为研究对象，如图 1所示，不同超声影像仪器扫描方式和输出频率的差异使每个域都有特定的语义表现，如蓝色框内不同机型影像具有不同颜色的影像纹理和标记符号等，这类数据特征间的差异称为域偏移现象(Tzeng等，2014)。CNN对域偏移现象的处理有着局限性，很难将某类超声影像所学知识直接迁移至另一超声影像集。无监督域自适应方法(Pan和Yang，2010)可以缓解超声影像数据中存在的域偏移问题，此类方法能避免大规模超声影像数据的人工标记，使单一模型可以通过已标注的源域样本集学习适应于多类存在数据偏差的目标域样本集，在一定程度上提升CNN模型的泛化性。

在无监督域自适应研究中，对抗学习策略将特征提取网络与域判别网络构成对抗关系，融合源域样本与目标域样本的特征空间，学习样本特征的域不变表达。该类方法在基准自然数据集上(如mnist数据集、office-31数据集(Saenko等，2010))取得了良好的成效，对解决医学影像处理的相关瓶颈问题具有巨大应用前景(张颖麟等，2022)。甲状腺超声影像数据集与传统的自然数据集存在差异，例如影像前景区域特征表达较弱，结节组织区域大小不一等，这类数据特性给对抗域自适应网络的特征提取带来了困难。

本文提出一种甲状腺超声影像的元优化深度对抗域自适应网络，缓解上述特征提取不佳，以及域融合和样本分类优化不一致等问题。网络主干模型依然遵循特征提取器与域判别器的对抗结构，为特征提取模块引入多层出口，并匹配对应输入尺度的领域判别模块进行优化，这种多尺度结构更加适用于不同大小前景组织的输入数据。此外，模型引入元优化策略，将域融合任务作为元训练任务优化网络，样本分类任务作为元测试任务验证优化结果，通过理论分析证明该策略的有效性，对比实验表明该策略可以实现协调优化。

本文主要贡献如下：1)提出一种多级对抗域自适应方法，引入多维对抗结构，优化了对于多域甲状腺超声数据集的不同尺度结节组织的特征提取。2)将元优化的策略引入对抗域自适应方法中，缓解了领域融合和样本分类的优化不一致性，进一步提升对于无标记目标域样本的分类精度。3)提出的元优化多级对抗域自适应方法泛化性较强，在自制甲状腺超声医学影像数据集的跨机型域自适应任务中取得了领先的性能。

基于生成对抗的域自适应方法借鉴了生成对抗网络(generative adversarial networks, GAN)(Goodfellow等，2014)的思路，将特征提取器与域判别器构成对抗学习的关系，目的是使网络极大程度上混淆输入数据的领域判别，促进对于无标记目标数据的分类效果。域对抗神经网络(domain adversarial neural network，DANN)(Ganin等，2016)作为该类方法的创新性研究，将梯度反转层引入模型级联特征提取网络和域判别网络，实现了端到端的对抗学习。对抗判别域自适应(Tzeng等，2017)构造出独立源域特征提取器和独立目标特征提取器的双分支结构，目标特征提取器的参数由预训练的源特征提取器初始化。此外，为避免整体匹配源域与目标域特征空间导致的负迁移(Tzeng等，2017)问题，多级对抗性域自适应(multi-adversarial domain adaptation，MADA)(Pei等，2018)和条件对抗域自适应(conditional adversarial domain adaptation，CDAN)(Long等，2018)分别为域特征标签添加了类别权重，将一个域判别器更换为多个域判别器，匹配类别空间中相同类别的数据分布来促进准确迁移。Xu等人(2020)提出了将数据增强方法中的线性插值(mix-up)应用到域自适应，分别在像素级别和特征级别线性插值，获得精细的领域判别。综上所述，基于对抗的无监督域自适应方法模拟对抗学习的思路来混合源域以及目标域。

对抗域自适应研究在医学图像领域的应用受到广泛关注。Pacheco和Vidal (2019)提出一种无监督域自适应方法来分类干细胞衍生的心肌细胞，以最大均值差异(maximum mean discrepancy，MMD)作为训练损失的无监督域自适应方法来训练循环神经网络(recurrent neural network，RNN)分类器，达到了较优的分类准确率。在语义分割方面，Dong等人(2018)提出用于自动估算心胸比率的无监督域自适应方法，从公开数据源中学习域不变特征表示，为未标记的数据集生成准确的胸部器官分割，通过估算心胸比率来诊断心脏肥大。Wang等人(2019)提出一种无监督的领域适应框架，称为边界和熵驱动的对抗学习，创新性地加入了香农熵来获得熵图，有效提升了视盘和视杯的分割性能，尤其在边界不明确的区域。此外，多尺度自注意力无监督域自适应(multi-scale self-attention unsupervised adaptation，MSDAN)(Ying等，2020)是一种应用于甲状腺超声影像分类任务的网络，集多尺度特征提取和混合域判别于一体，用于不同域中有标记的甲状腺超声影像和未标记的甲状腺超声影像之间的域自适应。Zhao等人(2022)设计了一种语义一致性生成对抗网络，用于多模态医学影像的识别，取得了较高的分类准确率。贡荣麟等人(2022)提出一种基于两阶段深度迁移学习的乳腺超声辅助诊断算法，将超声弹性图像中的信息迁移至基于B超的乳腺癌辅助诊断模型。综上，目前域自适应方法在医学领域取得了阶段性进展，针对超声影像灰度图的特性，影像内部前景组织的特征提取是进一步的优化方向。

人工智能在计算机视觉，尤其是甲状腺医疗辅助诊断方面取得了突破性进展。在甲状腺超声影像良恶性分类方面，Ma等人(2017)首先将卷积神经网络引入甲状腺超声图像的分类中，为后续研究提供了指导方向。Sun等人(2020)应用支持向量机(support vector machine，SVM)对CNN提取的特征进行分类，准确率达到92.5 %。Yu等人(2020)将深度CNN用于甲状腺的临床检查，取得了比SVM更好的结果。在甲状腺超声影像结节分割中，Song等人(2022)提出一种特征增强型双分支网络，通过在检测网络中加入语义分割分支和特征增强机制来完成结节检测任务，取得了具有竞争力的检测性能。上述研究均基于完全监督的设置，语义分割任务中的超声影像数据需要大量的人工掩码标记，并且需要专业医师的细致标注和筛选，带来了较大困难。针对上述问题，Yu等人(2022)提出一种用于弱监督语义分割的边缘自注意力擦除方法，在仅需要影像分类标签的前提下即可获取良好的结节分割结果。尽管上述研究工作的准确性已逐渐赶超专业医生的诊断结果，但大多数研究忽略了人工智能辅助诊断在多源医学影像性能不佳的现状。

生成对抗思想的引入为域自适应方法带来了显著的性能增益，但是对抗学习的策略并非是针对样本分类任务所设计，域融合任务和样本分类任务的优化方向并不一致。然而当前大多数方法将二者直接叠加，这可能会对目标域样本分类任务造成负面影响。元优化策略是一种提升网络多阶段损失优化一致性的解决方案，这种训练策略可以在一定程度上使多个不同训练任务协调优化。元优化已广泛应用于深度神经网络(Andrychowicz等，2016)和小样本分类(Vinyals等，2016)的优化。Finn等人(2017)提出用于深度网络快速适应的模型无关元学习算法，将其应用于小样本学习和强化学习，旨在找到良好的初始化参数，以便快速适应新任务。Li和Hospedales (2020)引入一种最短路径元学习框架，进一步提升多源域自适应的性能。域自适应与元优化策略具有可结合性，因此使用元优化训练策略优化训练过程。

本文的域自适应工作采用完全无监督的设置，目标是将源域有标记样本学习到的知识迁移至无标记的目标域样本，提升模型对于目标域数据的分类精度。

首先, 将域定义为潜在的数据分布$P$, 源域数据分布表示为$P_{\mathrm{s}}$, 目标域数据分布表示为$P_{\mathrm{t}}$, 且$P_{\mathrm{s}} \neq P_{\mathrm{t}}$。基于可获取的带有标记的源域样本$\boldsymbol{S}^{\mathrm{s}}=$ $\left\{\left(\boldsymbol{x}_i^{\mathrm{s}}, y_i^{\mathrm{s}}\right)\right\}_{i=1}^{n_{\mathrm{s}}} \sim P_{\mathrm{s}}$和无标记的目标域样本$\boldsymbol{S}^{\mathrm{t}}=$ $\left\{\left(\boldsymbol{x}_j^{\mathrm{t}}\right)\right\}_{j=1}^{n_{\mathrm{t}}} \sim P_{\mathrm{t}}, \boldsymbol{x}_i^{\mathrm{s}}$和$\boldsymbol{x}_j^{\mathrm{t}}$分别为源域图像和目标域图像, $y_i^\text{s}$为源域图像标签, 源域$P_{\mathrm{s}}$与目标域$P_{\mathrm{t}}$的类别数一致。无监督域自适应分类任务的目标是学习一个特征提取函数$g(\cdot)$来拉近$P_{\mathrm{s}}$与$P_{\mathrm{t}}$的距离, 进而获取适用于目标样本$\boldsymbol{S}^{\bf{t}}$的分类函数$f(\cdot)$提升准确率。

本文提出的元优化多级对抗域自适应模型流程如图 2所示，包含模型的训练阶段和测试阶段。训练阶段使用带有人工标记的源域样本和不带标记的目标域样本进行特征提取器与分类器的训练；测试阶段使用无标记目标域样本数据进行模型验证。本文首先介绍适用于多域甲状腺超声影像分类任务的基线网络。根据适应性考虑，该网络特征提取部分采用残差网络ResNet50(He等，2016)，并为特征提取模块匹配多维域判别器，对应引入自注意力优化结节区域特征表达。其次，对抗域自适应中域对齐任务和对象分类任务的优化并不协调，这可能会损害特征判别能力。多层域判别网络使用元优化训练策略，目标是缓解上述优化不一致性问题。

本文提出的网络模型主要由3部分构成, 分别是特征提取器$G$、样本分类器$C$和域判别器$D$。模型与基线方法DANN（Ganin等, 2016) 采用相同的设置, 试图同时优化对象分类损失$L_c$和域对齐损失$L_d$。特征提取器$G$和分类器$C$联合构成样本分类分支, 源域$P_{\mathrm{s}}$中的分类损失为

$ L_c\left(P_{\mathrm{s}}\right)=\frac{1}{n_{\mathrm{s}}} \sum\limits_{i=1}^{n_{\mathrm{s}}} y_i^{\mathrm{s}} \log \left(C_{\theta_c}\left(G_\theta\left(\boldsymbol{x}_i^{\mathrm{s}}\right)\right)\right) $

(1)

式中, $n_{\mathrm{s}}$是源域样本数量, 域判别器$D$是一个二分类的全连接分类器, 其目的是基于特征提取器$G$的输人来混淆数据是来自源域或目标域, $\theta_c$为样本分类器$C$的参数。域判别损失函数为

$ \begin{gathered} L_d\left(P_{\mathrm{s}}, P_{\mathrm{t}}\right)=\frac{1}{n_{\mathrm{s}}} \sum\limits_{i=1}^{n_{\mathrm{s}}} \log \left(D_{\theta_d}\left(G_\theta\left(\boldsymbol{x}_i^{\mathrm{s}}\right)\right)\right)+ \\ \frac{1}{n_{\mathrm{t}}} \sum\limits_{j=1}^{n_{\mathrm{t}}} \log \left(1-D_{\theta_d}\left(G_\theta\left(\boldsymbol{x}_j^{\mathrm{t}}\right)\right)\right) \end{gathered} $

(2)

式中, $n_{\mathrm{t}}$是目标域样本数量, 生成对抗的目标是欺骗域判别器$D$来对齐域分布, $\theta_d$为域判别器$D$的参数。在模型训练阶段中, 训练域判别器$D$使$L_d$最大化, 同时联合训练特征提取器$G$和样本分类器$C$使$L_c$和$L_d$最小化, 两损失通过梯度反转层连接, 实现端到端的训练。

综上，生成对抗思想的引入为域自适应带来了一定程度的性能提升，可以对齐源域和目标域的特征空间分布，从而实现域不变特征的提取。

在无监督域自适应任务中，生成对抗策略的引入促进了域特征空间的对齐，显著提升了模型对于无标记目标域数据的泛化性。然而域对齐的目标是减小源域特征空间与目标域特征空间的差异，并不是为目标域样本的分类任务设计，其梯度下降方向与分类任务本身存在不一致性。进一步地，目前主流对抗域自适应方法一般采用将两类损失叠加的方式($L_d+L_c $)，这会导致域对齐任务和样本分类任务缺乏有效交互。然而两个任务的优化本身可能存在梯度下降方向的不同，使得域对齐削弱所需要的目标样本分类性能。

基于上述背景，考虑采用元优化的策略缓解域对齐任务和样本分类任务的优化不一致问题。元优化是一种多段学习的方式，先通过其他的任务训练出一个较好的超参数，然后再对特定任务进行训练。对抗域自适应的元优化思路来自用于深度网络快速适应的模型未知元学习(Finn等，2017)，后者将训练样本划分为元训练样本和元测试样本，首先使用元训练样本来训练模型，以便在基于元训练知识的元测试中快速学习。基于2.2节所述的对抗域自适应方法，对同一组源域和目标域级联的输入数据进行处理，将域对齐任务设置为元训练任务，源域有标记样本的分类设置为元测试任务，使用元测试对于经过元训练的模型进行性能测试和再优化。

为证实采用的元优化策略的有效性, 进行下列推导。在$2.2$节介绍的多层对抗域判别网络中, 域对齐损失与样本分类损失联合优化, 可学习的网络参数由共享的特征提取器参数$\theta$、域对齐参数$\theta_d$和分类器参数$\theta_c$共同组成。其优化方式为

$ \min\limits _{\theta, \theta_c} \max\limits _{\theta_d} L_d\left(G_\theta, D_{\theta_d}\right)+L_c\left(G_\theta, C_{\theta_c}\right) $

(3)

该优化方式并没有解决两分支的优化方向不一致的问题。因此网络自然地将元学习的策略应用于两任务的优化，首先将相同数据样本的域对齐设置为元训练任务训练模型，再使用元测试任务(分类)来评估元训练任务优化效果，该设置的总体元优化损失为

$ \begin{gathered} \min _{\theta, \theta_c} \max _{\theta_d} L_d\left(G_\theta, D_{\theta_d}\right)+ \\ L_c\left(\theta-\alpha \nabla_\theta L_d\left(G_\theta, D_{\theta_d}\right), C_{\theta_c}\right) \end{gathered} $

(4)

式中, $\alpha$表示元学习率, 式(4) 第2项通过一个梯度下降步骤更新共享的特征提取器参数$\theta, \nabla$为梯度算子。元测试任务损失$L_c$使用更新后的参数$\theta^{\prime}$继续训练整体模型。继续采用一阶泰勒展开公式第2项, 可以优化为

$ \begin{gathered} \min _{\theta, \theta_c} \max _{\theta_d} L_d\left(G_\theta, D_{\theta_d}\right)+L_c\left(G_\theta, C_{\theta_c}\right)- \\ \alpha \nabla_\theta L_c\left(G_\theta, C_{\theta_c}\right) \nabla_\theta L_d\left(G_\theta, D_{\theta_d}\right) \end{gathered} $

(5)

对式(5)与式(3)进行比较可以看出，增加的最后一项通过最大化$ \nabla_\theta L_c \text {和} \nabla_\theta L_d$的点积，促进了两个任务中优化方向(梯度)的一致性。综上，元优化策略对于域自适应是很有意义的，加强了域对齐和对象分类的显式交互，二者以协调的方式进行优化。

此外，在特征提取器与域判别器的对抗过程中，仅将特征提取网络中末端层的级联输出嵌入对抗网络进行判别，不符合图像特征从一般过渡到特殊的性质，因此分别在特征提取器$G $的深层提取多个不同尺度的特征图进行处理，不同大小的特征图代表不同的语义信息(ResNet50的卷积块的每个输出作为特征图)。需要注意的是，特征图在分别进入域判别器之前需要经过一个自注意力模块，可以突出前景区域的表达。整体的优化目标为

$ \begin{gathered} \min _{\theta, \theta_c} \max _{\theta_d} L_d\left(G_\theta, D_{\theta_d}\right)+ \\ L_c\left(\left\{\theta_m-\alpha \nabla_{\theta_m} L_d\left(G_\theta, D_{\theta_d}\right)\right\}_{m=1}^3, C_{\theta_c}\right) \end{gathered} $

(6)

式中，$ \theta_m$表示不同尺度特征层参数，$m$∈{1, 2, 3}，构造了一个包含不同尺度特征的3层对抗结构来进一步改善域融合效果。

医学图像结节区域的外观几何信息是医生诊断的重要依据。以甲状腺超声图像为例，边缘、回声和钙化点等因素是判断甲状腺结节良恶性的重要参考指标。然而目前使用的超声仪器多为2维超声仪器，展现的影像均为抽象的2维图像，结节组织与背景区域的特征分布(如对比度)差异较小，因此前景区域特征提取较为困难。在域自适应中，病变组织的几何语义信息的传递具有极大的挑战性。

为克服以上挑战，本文引入了自注意力模块(Wang等，2018)，增强了病变组织区域全局几何特征。具体而言，非局部操作通过特征矩阵乘法操作计算图中任意两个像素点之间的相关性，获得注意力矩阵，降维特征图与权重注意力图的融合进一步强化了长距离依赖的特征，起到获取病变组织区域全局几何特征的作用。

如图 3所示, 自注意力模块给定一个局部特征图$\boldsymbol{H} \in {\bf{R}}^{C \times W \times H}$作为网络输人, 经过卷积操作降维获取到特征矩阵$\boldsymbol{Q}, \boldsymbol{K} \in {\bf{R}}^{C^{\prime} \times W \times H}$, 对于$\boldsymbol{Q}$的每一个像素点位置均可以得到特征向量$\boldsymbol{Q}_u \in {\bf{R}}^{C^{\prime}}$, 同时在$\boldsymbol{K}$中获取向量集$\mathit{\pmb{\Omega}}_u \in {\bf{R}}^{C^{\prime} \times W \times H}$, 通过亲和性(affinity) 计算, 得到$\boldsymbol{Q}_u$与$\mathit{\pmb{\Omega}}_{i, u}$间任意两向量之间的相关性$\boldsymbol{d}_{i, u}$, 经过softmax归一化得出注意力矩阵$\boldsymbol{A} \in {\bf{R}}^{W \times H \times W} $。亲和性计算方法为

$ \boldsymbol{d}_{i, u}=\boldsymbol{Q}_u \otimes \mathit{\pmb{\Omega}}_{i, u} $

(7)

式中，$ \otimes$表示像素乘积。

将计算所得的注意力矩阵$\boldsymbol{A}$作为权重应用于特征向量$\boldsymbol{V} \in {\bf{R}}^{C \times W \times H}$。同上所述, $\boldsymbol{V}$的每个位置$u$可以获得向量集合$\mathit{\pmb{\Phi}}_u \in {\bf{R}}^{C \times W \times H}$, 与生成的注意力矩阵做聚合(aggregation) 操作, 通过残差结构与原输人特征进行融合。聚合计算方法为

$ \boldsymbol{H}_u^{\prime}=\sum\limits_{i \in\left|\mathit{\pmb{\Phi}}_u\right|} \boldsymbol{A}_{i, u} \otimes \mathit{\pmb{\Phi}}_u+\boldsymbol{H}_u $

(8)

式中, $\boldsymbol{H}_u$是自注意力模块的输人特征, $\boldsymbol{H}_u^{\prime}$是经过计算后的输出特征。综上, 通过自注意力模块提取全局几何语义信息, 模型成功地增强了对于甲状腺超声影像结节区域特征提取的效果。

实验使用多机型甲状腺超声影像数据集验证提出的网络模型及训练策略的有效性。自制医学数据集来自天津医科大学肿瘤研究院收集的6 849幅甲状腺超声影像，影像的采集和使用均受到合作医院和患者知情同意。影像来自各年龄段患者，每幅影像都包含至少1个结节。根据超声仪器的类型和设置，将甲状腺超声影像按视觉风格分为4种不同的数据域：$P $, $T $, $F $, $U $。

1) $P $机型。该类影像是Philips机型1超声仪器拍摄的甲状腺部位的灰度影像，其中带有结节部位十字标识和结节部位的横纵切表示，亮度值较高，前景背景对比度差异较大。

2) $T $机型。该类影像是Toshiba机型超声仪器拍摄的甲状腺部位的灰度影像，带有横纵虚线的结节位置标识，亮度值较小且对比度较低，图像颜色偏向深绿。

3) $F $机型。该类影像是GE(general electric)机型超声仪器拍摄的甲状腺部位的灰度影像，带有黄色结节位置的十字标记，但图像分辨率较低。

4) $U $机型。该类影像是Philips机型2超声仪器拍摄的甲状腺部位的灰度影像，相较于$P $机型影像，$U $机型影像分辨率较高，前景和背景区域的区分度更高。

上述4种机型的全部影像均由甲状腺科室专业医师依据病理报告(手术)进行标注，以确保数据的真实性和可信性。由于医学影像的特殊性，数据集的公开需要一段时间。多机型甲状腺超声数据集具体数量分布如表 1所示。

实验硬件环境为Intel Core i7-7700k处理器与单块NVIDIA TITAN RTX图形显卡。操作系统使用Linux Ubuntu，深度学习框架选用Pytorch 1.1，开发语言版本是python3.7。

在训练过程中，模型使用全部源域中带标签的源域图像和全部目标域无标签图像进行完全无监督迭代训练，设置模型学习率为0.001，动量为0.9，批数量为32，训练迭代轮数为50 000，测试过程对于全部目标域图像进行分类验证，批处理数量设置为4。所有图像都经过预处理，图像均调整为224 × 224像素。针对甲状腺超声数据集，在模型训练前对输入图像进行上、下、左、右、左上、右上、左下、右下和中心共9个方位的裁剪，以及随机图像旋转和翻转进行数据扩充，确保每幅输入图像的结节组织区域的语义表达。

为展现所提出方法对于医学领域自适应任务的性能，实验在甲状腺超声数据集上与各种主流的无监督自适应方法进行对比。为进行公平比较，均使用ResNet50作为骨干网络，在训练过程中对目标域数据采取完全无监督的设置，即训练过程不使用目标域的良恶性监督信息。实验设置了基于4个域上9个方向的域自适应：$P $→$T $, $P $→$U $, $P $→$F $, $T $→$P $, $T $→$U $, $T $→$F $, $U $→$P $, $U $→$T $和$U $→$F $。由于$F $数据集的超声影像数量较少，实验没有设置$F $数据集作为源域的迁移任务，缺少约束的模型可能会对训练数据过拟合。

表 2显示了多机型甲状腺超声数据集的元优化多级对抗域自适应与其他主流方法的实验对比结果。

根据实验结果可以看出，1)基于差异的域自适应方法与基于对抗的域自适应方法(如DANN)相比较差，甚至远低于所提方法的准确度，说明在医学影像的域自适应学习中，基于对抗的方法相较基于差异的方法是更加适用的。2)ResNet50方法表示未经过对抗域自适应的特征提取器和分类器的分支，通过对比可以看出对抗域自适应方法在处理分析不同源数据方面的优势。值得注意的是，提出的MADAN的表现优于其他算法，与未经过域自适应的网络ResNet50相比，全部迁移任务的平均准确率从69.680 % 提高至90.141 %，与DANN方法对比也有一定提升。3)MADAN(with meta-optimized)实验结果表明，引入元优化策略后平均分类精度提升约1.67 %，协调对齐和分类进行优化对模型整体泛化性有显著性增强。上述结果意味着所提方法提高了人工智能辅助诊断的准确性和泛化性。

为进一步证明元优化多级对抗域适应网络对多机型甲状腺超声数据集多域迁移的性能，实验设置了单域向多域的域自适应任务，分别将$P $、$T $、$U $ 3种数据域设置为源域，其他数据域联合作为目标域。如表 3所示，所提出的网络模型在单域到多域的迁移任务中取得了较优性能，相较于基础网络DANN，平均准确率提升了约2.49 %，元优化训练策略也带来一定性能增益，综合说明该模型对于单域到多域的迁移任务同样有效。但相较于单域到单域的迁移任务性能略差，这是由于本研究主要对于两域迁移进行模型优化，并未添加多域特征空间对齐的约束。

消融研究可以评估基于无监督对抗域自适应引入模块带来的益处，本文分别基于特征提取模块、多级对抗结构和自注意力模块进行消融实验。首先对特征提取网络的选取进行两组对比实验，分别以目标域数据集的分类精度和损失作为评价标准，在$P $→$T $的域自适应任务中对比不同基线模型的特征提取器的应用效果。模型分别选取ResNet18、ResNet34、ResNet50、ResNet101和ResNet152作为特征提取器的编码分支。如图 4所示，在模型训练过程中，浅层深度卷积网络在训练初期对于目标域数据的拟合情况较差，且分类损失与对抗损失整体收敛速度较慢，层数较多的深度卷积网络相对而言收敛较快。从测试阶段目标域数据的分类精度来看，ResNet50表现出明显高于其他深度卷积网络的分类准确率。基于对甲状腺超声数据集的拟合程度、内存开销和测试精度等多方面因素的综合考虑，模型选取ResNet50作为所提域自适应方法的特征提取模块。

实验采用DANN方法作为消融研究的基线网络。基于医学甲状腺超声数据集，将$P $数据集作为源域训练数据，其他数据集分别作为目标域训练数据进行域自适应任务，模型在目标域的迁移准确率作为判断依据。

如表 4所示，基线方法融合多级对抗判别器DANN (with MA)后的精度优于基线方法，表明多级对抗框架能够捕捉并融合多尺度的粗细粒度的特征。基线方法融合自注意力模块DANN (with SA)后的精度优于基线方法，表明对全局几何特征提取进行优化有益于病变组织语义信息学习。与ResNet50相比，多级对抗域自适应网络(MADAN)的整体平均精度提升了21.60 %。综上所述，在基于$P $机型作为源域数据的3个迁移任务中，所提出的每个模块对域自适应过程都有积极影响。

如表 5所示，元优化策略的引入和多判别器结构带来较低GPU内存成本与一定性能增益。分别使用ResNet50、DANN与元优化多级对抗域自适应网络作为基线网络，图像的批处理大小设置为32，输出的深度特征维度设置为256。与ResNet50相比，多级对抗域自适应结构和自注意力模块带来20.461 % 的目标域平均分类精度提升。元优化对于多级对抗域自适应的性能增强也是显著的，在提升准确率的同时，仅增加了0.3 GB的GPU内存开销，表明元优化策略为模型训练带来的时空开销较低。

为验证自注意力模块对于病变组织全局几何特征提取的有效性，实验对超声影像分阶段进行热力图的可视化展示，对比结果如图 5所示。

通过加入自注意力模块前后的可视化结果对比，可以看出基线网络DANN的热力图只有效激活了结节的中心位置，没有完整关注超声影像中的结节区域。而加入自注意力模块后，激活区域有效扩展到结节组织的全局几何区域，域不变特征提取的效果更为明显，对甲状腺结节良恶性的判定具有积极作用。

为更清晰地表示所提方法的性能，通过t-SNE可视化$P $→$T $任务的特征表达，结果如图 6所示。

如图 6(a)所示，在经过域自适应之前，源域数据分布与目标域数据分布存在一定偏差，表明源域特征空间与目标域特征空间存在域偏移。

从图 6(b)可以看出，经过多级对抗域自适应模型后的数据样本特征空间已初步融合，同类别样本点基本聚合。

图 6(c)表明，经过元优化策略改进的多级对抗域自适应方法可以得到更好的融合结果，其中同一类别样本集群更紧凑，分散在集群之间的边界上的离群点更少。

综上，对抗域自适应方法对于数据分布存在差异的域融合具有一定作用，可视化结果进一步验证了元优化对于样本逐类别融合的有效性。

针对计算机辅助诊断模型对多机型超声影像处理性能不佳的问题，本文提出一种多级对抗域自适应网络来提升模型泛化性。根据甲状腺超声影像特征提取困难的特性，采用自注意力机制增强病变组织区域全局几何特征。此外，对抗域自适应方法中域对齐任务和分类任务本身之间的优化不一致性是另一个研究重点，本文采用元优化的策略使二者协调交互优化。实验结果表明，提出的元优化多级对抗域自适应方法在多机型医学甲状腺超声数据集的迁移任务中取得了优异的性能，在无监督设置下取得了较好的分类结果，具有一定的医疗诊断落地的应用价值与意义。

但是，所提模型仍有待改进。从模型域自适应范围的角度，提出的无监督域自适应方法在训练过程中主要针对所属两种域的数据进行特征空间对齐。从可用数据标记的角度，所提方法是基于源域带有标签的完备数据和目标域不带标签的数据进行实验，而在实际情况下大规模有标记医疗超声数据集是难以获取和使用的。综上，提升模型多域数据源的图像处理能力和减少源域类别标记的需求是后续的优化方向和目标。