论文引用格式：Su Y X and Xiao Z Y. 2023. Semi-supervised dual-task cross-consistency constraint network for 3D cardiac MRI segmentation. Journal of Image and Graphics， 28（04）：1198-1211（引用格式:苏逸欣， 肖志勇. 2023. 面向3维心脏MRI分割的半监督双任务交叉一致性约束网络. 中国图象图形学报， 28（04）：1198-1211）［0　引 言语义分割是医学影像分析中的一项基本任务，广泛应用于医学图像中细胞、组织或器官等感兴趣区域的自动划分。核磁共振成像（magnetic resonance imaging，MRI）技术是临床诊断的重要辅助手段之一，以对人体没有电离辐射损伤的非入侵成像方式提供具有良好图像质量和良好的软组织对比度的图像，MRI已成为精确识别患者心脏结构和病因、指导诊断和生成治疗决策的标准（Karamitsos等，2009）。3维（three-dimensional， 3D）核磁共振图像中左心房（left atrium， LA）的自动分割可以使医生直观地看到被分割心房的整体形状及大小，还可以通过观察具有空间关系的多幅2维切片来判断病症，对于促进心房颤动的治疗具有重要意义。有了大量有标注数据并且随着更强大的计算硬件的发展和临床数据库的增长，越来越多的研究人员使用深度学习方法来促进发展更稳健的心脏影像分割方法（Suinesiaputra等，2011），深度学习极大地促进了左心房的分割效果（Xiong等，2019）。此外，在MICCAI 2018 （Medical Image Computing and Computer Assisted Intervention Society）心房分割挑战赛发布的17种方法中，有15种使用深度学习从MRI中分割LA，获得了高精确度的结果，优于传统的分割方法（Pop等，2019）。这一成果与2013年的心房分割挑战赛形成了鲜明对比，当时只有一种方法使用了深度学习算法（Tobon-Gomez等，2015）。因此，随着深度学习的应用成果日益增长，心房分割和更广泛的临床影像学发展也随之发生转变，越来越多地转向基于深度学习的方法。然而，对于医学成像领域中的3D数据，由经验丰富的专家以逐层的方式从3D医学图像中描绘可靠的标注既昂贵又烦琐耗时。由于未标注数据通常是大量且丰富的，本文重点研究利用少量的有标注3D MRI数据和丰富的无标注3D MRI数据对左心房进行分割的半监督学习方法。近年来，半监督图像分割方面的工作主要集中在将未标注数据利用到卷积神经网络的训练中。一类方法主要考虑半监督分割的一般设置，其中大多数采用对抗性学习（adversarial learning）或一致性损失（consistency loss）作为正则化方式，以利用未标注的数据进行模型学习。对抗式学习的方法（Zhang等，2017；Nie等，2018；Zheng等，2019）强制未标记与标记图像的分割分布接近。Nie等人（2018）利用对抗性学习，以高置信度选择未标记图像的区域，以训练分割网络。而一致性损失方法（Tarvainen和Valpola，2017；Li等，2018；Bortsova等，2019；Yu等，2019）利用均值教师方法（mean teacher，MT）（Tarvainen和Valpola，2017）中的师生网络模型进行设计，并要求其输出在输入图像的随机扰动或变换下保持一致。Yu等人（2019）介绍了一种基于MT框架的教师网络利用不确定性指导学生网络学习的方法。尽管这些方法的结果很值得展望，但它们缺乏对语义对象的几何先验信息的建模，常常导致分割对象的覆盖率和边界预测较差。还有一种半监督方法试图通过在模型学习中结合对感兴趣对象的解剖先验知识来解决上述缺点（Zheng等，2019；He等，2019）。例如，Zheng等人（2019）介绍了基于深度学习的图集先验信息模型（deep atlas prior， DAP），该模型在损失函数设计中对形状概率进行了编码。He等人（2019）提出了一种自动编码器来学习未标记数据集的先验解剖特征。然而，这种先验知识通常假定输入图像正确对齐，这在实际中对于姿势或形状变化较大的对象很难实现，因此本文方法选择Li等人（2020）的水平集回归方法对目标分割物获取具有动态形状感知的隐式先验信息。此外，在以往的半监督图像分割方法中，主要以数据层面或模型层面扰动的一致性正则以及近期出现的任务层面的任务间一致性正则来使网络模型更好地利用无标注数据的特征。本文旨在将数据模型层面的扰动结合任务间的一致性正则来增强网络模型的分割准确度以及泛化能力。为了实现这一点，本文设计了一个多解码器结合多任务结构的深度神经网络，该网络中输入数据通过共享编码器后经过数据扰动进入主解码器和辅助解码器，通过分割任务和回归任务分别得到像素级分割图和带符号距离图（signed distance map，SDM）（Luo等，2021a），SDM中为每个像素分配一个值，指示其到目标对象最近边界的有符号距离，使模型中增加了一种隐式形状先验，而后对所有预测结果使用交叉一致性正则化来优化分割网络。在左心房分割挑战数据集（Xiong等，2021）上对本文方法进行评估，并与现有半监督方法进行广泛比较。实验结果表明，本文方法利用未标注的数据实现了性能提升，可以对分割目标进行高质量的全局形状分割。1　相关工作1.1　用于图像分割的深度神经网络深度神经网络中各层的神经元数量、类型和连接定义了网络体系结构。其中，卷积神经网络（convolutional neural network， CNN）模型是图像分析中应用最广泛的模型之一。CNN是一种特定的神经网络架构，其隐藏层由一个或多个卷积层组成。卷积层作为输入图像的特征提取器，每个神经元从前一层的多个相邻神经元接收其输入，共享权值，并保留最相关的空间信息。通常在连续卷积层之间插入池化层，用于降低每个生成特征图的维数并保留相关信息以减少计算成本，同时也扩大后续卷积层的视野。对于专门用于图像分割的CNN架构，Long等人（2015）首先提出了用于语义分割的全卷积网络（fully convolutional network，FCN）体系结构，随后人们对其进行了调整和进一步扩展，特别是提出了U-Net（Ronneberger等，2015）。这是一种用于生物组织图像分割的U形体系结构，如图1（a）所示，包含一个特征提取的编码器部分和一个通过上卷积进行像素级预测的解码器部分。U-Net架构通过使用下采样特征图和上采样特征图之间的跳跃连接，允许特征在网络的编码部分和解码部分之间传递，防止奇点并且实现更高的精度（Drozdzal等，2016；Mao等，2016；Orhan和Pitkow，2018；何康辉和肖志勇，2021）。而后，为了学习到3D医学影像中切片间的关系获取更加有效的信息，Çiçek等人（2016）和Milletari等人（2016）进一步发展了U形结构，提出广泛用于3D图像分割的基础架构3D U-Net和V-Net，这两种网络模型使用3D图像作为输入，更准确地分割出解剖对象的空间结构。本文方法使用V-Net作为基础网络框架，如图1（b）所示。10.11834/jig.211019.F001图1U-Net和V-Net的原网络模型结构图Fig.1The structure diagram of the original network model of U-Net and V-Net （（a） U-Net； （b） V-Net）1.2　基于半监督的医学图像分割半监督学习（semi-supervised learning， SSL）广泛应用于各种计算机视觉任务中。目前深度学习方法在医疗实践的各个领域蓬勃发展，半监督学习在有标注数据匮乏的情况下，在医学图像分割中取得了良好效果。为了利用未标注数据进行半监督医学图像分割，一种简单直观的方法是给未标注数据生成伪标签。伪标签通常是通过迭代生成的，其中模型通过学习自身对未标注数据的预测来迭代提高伪标签的质量（Bai等，2017）。Chen等人（2021）使用锐化函数或固定阈值将概率映射转换为伪标签，在伪标签的监督下，模型可以学习并产生低熵的预测结果。Rizve等人（2021）将概率和不确定性阈值结合起来，为SSL选择最准确的伪标签。尽管带有伪标签的半监督学习已展示出良好的性能，但模型生成的标签仍然会有噪声，并对后续分割模型产生不利影响。使用对抗性学习来利用未标注的数据也是一种流行的半监督医学图像分割方法。Zhang等人（2017）提出一种新的基于深度对抗网络的医学图像分割模型，利用此方法激励未注释图像的分割与注释图像的分割达到相似。同时，Miyato等人（2019）和Mittal等人（2021）进一步采用对抗性训练，应用一致性约束来增强SSL。此外，通过使用指数移动平均（exponential moving average，EMA）操作，在平均教师模型MT（Tarvainen和Valpola，2017）中讨论了模型参数的一致性。Yu等人（2019）扩展了MT模型，使用不确定性来指导其学生网络进行半监督左心房分割。之后，Li等人（2020）引入了一种具有形状感知的半监督分割策略，利用未标注数据对分割输出实施几何形状约束，实现了隐式先验信息的融入。进一步考虑到不同任务的一致性，Luo等人（2021a）将多任务框架应用于分割和水平集函数回归，从而在任务级别加强了一致性表达。1.3　一致性正则化一致性正则化（Bachman等，2014；Sajjadi等，2016；Bortsova等，2019）利用未标记数据时依据的假设是，对于类似的输入，模型应该产生一致的预测，图2（a）是在单分割模型下对同一个无标注数据进行数据扰动后产生的预测进行一致性正则化，图2（b）是对同一个无标注数据在双模型中产生的预测进行一致性正则化。一致性正则化使训练后的模型在输入扰动或转换过的数据后，可以输出相同的分类预测或分割预测。这类方法通过最小化深度神经网络对传递扰动或数据扰动后得到的预测之间的差异，以获得具有更好泛化能力的模型。例如，Ouali等人（2020）对中间特征图进行了若干数据增强操作，并约束模型输出不变的分割预测图。10.11834/jig.211019.F002图2一致性正则化基本结构Fig.2Basic structure of consistency regularization（（a） single network consistency regularization； （b） double network consistency regularization）一致性正则化方法中大多使用图2（b）的结构。例如，对于不同噪声扰动下有相同输入的教师和学生模型，Yu等人（2019）进一步将不确定性估计引入MT模型。Li等人（2020）将几何变换一致性损失引入MT模型中，应用于病灶、眼底视网膜和肝脏肿瘤的半监督分割。在MT框架中，Zhou等人（2020）对无标注数据的利用是通过教师和学生网络在小扰动下的预测在特征和语义水平上保持一致，并将模型应用于宫颈细胞的半监督分割。Fotedar等人（2020）明确强调了MT框架在扰动下不同样本间关系的一致性。Bortsova等人（2019）没有使用自训练策略（即MT范式），而是通过一种暹罗网络，评估和学习一个输入样本在通过不同的变换方式后生成的一对输出样本之间的相似度，以此来强制产生有标注和无标注数据之间转化的一致性，并在胸部X射线图分割上实现了最先进的性能。Laradji等人（2021）对CT（computed tomography）图像中的COVID-19（corona virus disease 2019）的弱监督分割也采用了类似的思想。此外，Sohn等人（2020）利用训练样本在弱扰动和强扰动下的一致性来促进模型的训练。Wang等人（2022）则利用特征空间中的语义方向实现语义数据增强，从而对模型进行一致性约束。对于半监督医学图像分割，Peng等人（2020）进一步采用基于交互信息的聚类损失，明确加强了未标注图像和随机扰动后的未标注图像中邻近像素之间的预测一致性。2　本文方法2.1　网络模型概述本文设计的用于半监督左心房分割的具有形状感知的基于双任务的交叉一致性正则网络（shape-aware cross-consistency regular network based on dual tasks， SACC-Net）的总体结构如图3所示。原始的V-Net由一个编码器部分和一个解码器部分组成，深层特征图经过上采样后，与从编码器部分通过跳跃连接而来的浅层特征图相结合，以弥补编码器中的池化操作带来的特征损失，从而使神经网络可以加速学习到分割目标的特征。本文方法使用的网络模型以UA-MT（uncertainty-aware mean teacher）模型（Yu等，2019）去除编码部分和解码部分残差结构的V-Net为主干。为了更好地利用无标注数据的有价值的特征，SACC-Net包含一个编码器和两个相互独立的解码器，分为主解码器A和辅助解码器B，对共享编码器的输出分别添加噪声扰动δ和δ'后分别传入解码器A和解码器B，两个解码器在每次迭代后同时输出预测结果。在训练过程中，最终使两部分结果获得最小化差异，以增加模型的泛化性以及抗噪能力。10.11834/jig.211019.F003图3SACC-Net整体网络结构Fig.3SACC-Net overall network structure另外，虽然训练样本中有标签样本的占比极小，但由于通过预处理后的医学影像样本之间的特征分布较为相似，因此考虑通过添加针对分割目标的几何先验信息约束来进一步提升模型对分割样本的学习能力。在每个解码器的最后分别多添加了一层形状感知回归层，在训练阶段使每个解码器同时输出两个任务即分割任务（任务1）及回归任务（任务2）的预测结果，即网络经过每次迭代的总体输出共包含4部分，分别为主解码器A输出的分割图SA、带符号距离图SDMA，以及辅助解码器B输出的分割图SB、带符号距离图SDMB，通过对每个解码部分分别进行双任务一致性的自我约束和解码器间的交叉约束来更大程度地增强模型对分割目标的有效特征学习能力。2.2　算法原理2.2.1　基于模型扰动和数据扰动的一致性正则在上述整体半监督分割架构SACC-Net中，设计了基于V-Net结构的双解码器结合双任务预测的方法。在本文方法中，训练模型输入的数据增强后的3D MRI样本X∈RH×W×D中包括N个有标注样本和M个无标注样本，其中N≪M。定义有标注数据为Dl=Xn,Yn,Znn=1N，无标注数据为Du=Xmm=N+1N+M，共享编码器连同添加了噪声扰动的主解码器A和辅助解码器B一起执行N次随机正向传播，如图3所示，当输入有标注样本Xn∈RH×W×D时，Yn∈0, 1H×W×D是样本的真实分割标签，Zn∈RH×W×D是从样本的真实分割标签(ground truth,GT)Yn通过水平集函数T·转换而来的带符号距离图SDMGT。在训练过程中，主解码器A和辅助解码器B通过学习添加了不同扰动的训练样本来相互独立地进行反向传播。此外，由于网络模型中的两个解码器还添加了dropout层来进行模型层面的扰动，并且由于神经网络模型参数的优化过程本身也具有随机性，从而会使两个解码器分别进行反向传播时均可以对用来提取特征的共享编码器里的参数进行优化，使编码器在特征提取能力增强的同时提升了模型整体对扰动的抵抗能力和泛化能力，实现了数据层面与模型层面的扰动相结合。2.2.2　基于先验知识的任务间一致性正则本节介绍将双任务一致性融合进多解码器的训练架构。如上述整体框架图（图3）所示，每个解码器由末尾的两个任务部件组成，即在训练过程中可同时输出像素级分割概率图和传统回归任务中通过水平集函数表示的分割目标几何形状图。本文利用先验知识时，使用的水平集函数为物体的3D轮廓的一种表示方式，可使用定义的函数公式将输入的3D图像上的3维空间点x映射到1维空间，从而产生输入图像所对应的带符号距离图SDM。由于分割结果可以由像素级的分割标签图和水平集函数（Luo等，2021a）捕捉的全局几何轮廓来表示，因此这两个预测任务应当具有一致性。为了将任务间一致性约束融合进半监督分割框架，更好地利用无标注数据，将这种双任务一致性策略应用在双解码器之间，通过最小化两个解码器间的相互交叉一致性损失，进一步通过几何先验知识增强模型的分割性能。为了建立主解码器和辅助解码器之间的几何约束一致性，使用转换式T-1·将回归任务生成的带符号距离图SDMA和SDMB分别转换为对应的像素级的分割概率图SDMsegA和SDMsegB，由平滑 Heaviside 函数实现。本文方法中应用的将分割标签图转化为带符号距离图的转换层T·为 Tx=-infy∈∂Dx-y2x∈Di0x∈∂D+infy∈∂Dx-y2x∈Do （1）式中，x-y表示两个不同体素点x和y之间的欧氏距离，inf表示计算取距离值的最大下界，∂D是0水平集即0距离，代表分割目标的边界轮廓，Di表示分割目标内部，Do表示分割目标外部。因此在一般情况下，转换式的值在像素点属于分割目标内部时取负值，反之取正值。由于输入的图像样本具有不同的视野和不同的分割目标体积，进一步在输出层使用 tanh 激活函数将 T·归一化，使每个输入样本得到的值在 ［-1， 1］ 。通过转换式T·即可将训练样本中有标注数据的GT转化为对应的带符号距离图SDMGT。此外，由于转换式的函数表达有不可微分的性质，所以无法直接用转换式的逆向算式将带符号距离图SDMA和SDMB直接转化为分割概率图。对此，使用Luo等人（2021a）方法中的平滑近似方式进行逆转换T-1·，具体为T-1(z)=11+e-k⋅z,  z∈SDM （2）式中，z是体素x在带符号距离图SDM中的值，k应选择尽可能大的变换因子，以实现平滑的近似变化效果。通过以上转换式和逆转换式，模型中的双任务输出得以进行任务间一致性的优化操作。2.3　损失函数如图3所示，为了实现上述方法中描述的数据模型和任务间的一致性优化，本文使用的损失函数包含两部分，即作用在有标注样本上的有监督训练损失Lseg、Lsdf和应用于包含无标注数据的全部训练样本的无监督训练损失LconA、LconB。其中，对于有标注的训练样本Dl=Xn,Yn,Znn=1N，定义3D样本中的体素x,y∈X,Y，训练过程中主解码器A和辅助解码器B输出的两个像素级预测概率图通过sigmoid函数生成分割图SA和分割图SB，选用Dice损失函数进行分割图和真实标签之间的损失计算，具体计算为Lsegx,y=12∑xi,yi∈Dl1-2×∑xj∈xi,yj∈yifA1xi×yi2×∑xj∈xi,yj∈yifA1xj+∑yj∈yiyj+∑xi,yi∈Dl1-2×∑xj∈xi,yj∈yifB1xi×yi2×∑xj∈xi,yj∈yifB1xj+∑yj∈yiyj （3）式中，∑xj∈xi,yj∈yi和∑xi,yi∈Dl分别表示3D图像样本中的体素和训练数据集中的有标注样本，fA1·和fB1·表示解码器输出的分割图SA和分割图SB。两个解码器在输出分割图的同时，输出的带符号距离图SDMA和SDMB分别与真实标签通过上述逆转变式T·生成的SDMGT进行损失计算，具体计算为Lsdfx,y=∑xi,yi∈DlfA2xi-Tyi2+∑xi,yi∈DlfB2xi-Tyi2 （4）式中，fA2·和fB2·表示解码器输出的SDMA和SDMB。从而有监督部分的总体损失函数定义为Lsup=Lseg+βLsdf （5）式中，β是平衡两个损失项的加权系数。为了更好地利用大量的无标注样本，本文将任务一致性与模型一致性相融合，设计了一种在两个解码器各自的两项任务输出之间用一种一致性损失函数进行交叉约束，面向全体训练集数据，训练优化过程中分别对主解码器A的分割任务输出的概率图A和辅助解码器B的回归任务输出的距离图之间，以及辅助解码器B的分割任务输出的概率图B和主解码器A的回归任务输出的距离图之间进行一致性优化操作，具体计算为Lcrossx=∑xi∈DfA1xi-T-1fB2xi2+∑xi∈DfB1xi-T-1fA2xi2 （6）式中，∑xi∈D·表示训练集中的所有样本。由上可得出本文设计的半监督图像分割模型的总体损失函数为L=Lsup+αLcross （7）式中，α为用来控制有监督训练损失与无监督训练损失之间平衡的超参数，从而稳定整体训练的损失权重。本文使用与时间相关的高斯warm-up函数（Tarvainen和Valpola，2017；Yu等，2019）的退火策略来使其缓慢增加。3　实验和讨论3.1　数据集为了评估本文方法，将算法应用于MICCAI（Medical Image Computing and Computer Assisted Intervention）在2018年发布的心房分割挑战赛（Xiong等，2021）中提供的3D 左心房MRI公开数据集。该数据集是一种广泛用于半监督医学图像分割定量分析的数据集（Yu等，2019；Li等，2020；Luo等，2021a），由100幅3D 左心房MRI样本和专家标注的左心房分割标签组成，分辨率为0.625 mm × 0.625 mm × 0.625 mm，各向同性分辨率为1.0 mm × 1.0 mm × 1.0 mm。实验时，将其中80个样本用做训练集，20个样本用做测试集（Yu等，2019），并采用相同的数据预处理方法，为了提高分割精度，将所有MRI裁剪成体素尺寸为112 × 112 × 80的图像，丢弃了无用混杂背景。在本文工作中，使用了两种比例对训练集进行有标注和无标注样本划分，分别训练和验证所提方法的性能，即分别设定80个训练样本中的10%和20%的样本作为两组中的有标注样本，这是典型的半监督学习实验设置。另外，由于半监督学习中对于训练过程中少量有标注数据的选取对模型的表现结果会有一定的偏差性影响，由此基于Yu等人（2019）方法中设定的数据划分比例，从数据集总体100个样本中基于5折交叉验证方法随机划分为5组数据分别进行训练和测试，将所得分割结果平均后用于模型评估，以此减少结果的偶然性，增加模型的鲁棒性。3.2　实验细节及参数设置实验使用NVIDIA GTX1080Ti单个显卡进行模型训练，本文所有网络模型均在PyTorch平台中实现。使用V-Net （Milletari等，2016）作为文中所有实验的网络主干，并在原始V-Net中添加解码器B，将解码器A和解码器B的末尾添加回归层在生成分割图的同时实现形状感知任务，模型中的解码器B的噪声扰动设置为［-0.2， 0.2］。该框架采用SGD（stochastic gradient descent）优化方法，训练时迭代6 000次，初始学习率设置为0.01，每2 500次迭代后衰减为原来数值的1/10，batch大小为4，由2个有标注样本和2个无标注样本组成。在所有的实验中，将β设置为0.3，将α设置为与时间相关的高斯升温函数αt=0.001×e-51-ttmax2，其中t表示迭代的次数，tmax表示最大迭代次数。与Luo等人（2021a）的方法一样，实验中，k的值设置为1 500，为了避免训练过程中的过拟合现象，使用了标准的数据增强方法，包括将图像沿轴面随机翻转和旋转90°、180°和270°。在测试过程中，使用滑动窗口策略获得未加噪声扰动的解码器A的最终分割结果用于模型评估，stride设置为步幅为18 × 18 × 4。此外，采用非极大值抑制（non-maximum suppression， NMS）作为后处理，用以去除孤立的无关区域。3.3　评价指标为了评估本文模型的性能，选用了4个相互补充的评价指标，包括Dice系数（Dice coefficient，DSC）、Jaccard指数（Jaccard）、95%的Hausdorff距离（95% Hausdorff distance，95HD）和平均对称表面距离（average surface distance，ASD）。Dice和Jaccard是基于区域的度量指标，具体定义为DSC=2×TP2×TP+FN+FP （8）Jac=TPFP+FN+TP （9）式中， TP（true positive）为真阳性，即左心房的像素点中正确分类为左心房的像素点数目；FP（false positive）为假阳性，即分类为左心房部分却实际为背景点的像素点数目；TN（true negative）为真阴性，表示正确分类的背景点的像素点数目；FN（false negative）为假阴性，表示实际属于左心房却分类为背景的像素点数目。95HD和ASD用于评估预测结果与真实标签之间的边界误差。具体定义为95HD=maxt2maxt1T2-P2×0.95 （10）Bseg=∀t1∈P,mint12+t22∃t2∈TBgt=∀t2∈T,mint12+t22∃t1∈PASD=meanBseg,Bgt （11）式中，T表示专家手动分割的边界，P表示模型预测出的分割区域的边界，t1、t2均为边界像素点，其中，t1属于P，t2属于T。3.4　结果与分析3.4.1　消融实验与分析首先，验证在双任务输出情况下，增加带有数据扰动的辅助解码器后的效果，实验结果如表1所示。表1中第1、2行是含有单个解码器A和其双任务输出的对比模型（D_A+DT_A），第3、4行是含有主解码器A和辅助解码器B且两个解码器均为双任务输出，但是没有解码器A和B之间的交叉一致性约束的对比模型（D_A+D_B+DT_A&B（无交叉评估））。训练过程中的可视化结果如图4，图中第1、2行分别为左心房MRI训练样本的2维切片及其对应的真实标签GT，样本经过共享编码器并进行噪声扰动后分别通过含有dropout解码器A和B，同时得到分割任务的分割图（第3、5行）以及回归任务的带符号距离图（第4、6行）。可以看出，不同的数据扰动和模型扰动会使模型在同一样本同一时间下得到带有差异的预测结果。由评估数据可以证明，在解码器拥有双任务的情况下，增加带有数据扰动的辅助解码器可以使模型具有更好的性能，Dice提升了0.91%，并且在两个随机优化的解码器的作用下，模型扰动使得模型更具有泛化性。10.11834/jig.211019.T001表116（20%）个标签情况下的消融实验测试结果Table 1Test results of ablation experiments with 16 （20%） labels对比方法主干网络Dice/%Jaccard/%95HD/体素ASD/体素D_A+DT_A3D U-Net87.5978.0810.11.96D_A+DT_AV-Net88.6979.998.242.22D_A+D_B+ DT_A&B（无交叉评估）3D U-Net87.8978.559.381.83D_A+D_B+ DT_A&B（无交叉评估）V-Net89.6081.307.351.97D_A+D_B+DT_A（无交叉评估）3D U-Net88.3579.279.251.88D_A+D_B+DT_A（无交叉评估）V-Net89.4781.128.852.00D_A+D_B+DT_A&B（有交叉评估）（本文）3D U-Net87.8478.469.631.82D_A+D_B+DT_A&B（有交叉评估）（本文）V-Net90.1482.176.621.83注：加粗字体表示各列最优结果。10.11834/jig.211019.F004图4主编码器A和辅助编码器B在LA数据集上的2D分割结果图Fig.42D segmentation results of the main encoder A and auxiliary encoder B on the LA dataset其次，验证本文方法利用的将模型扰动和任务扰动相结合的交叉一致性损失的有效性，结果如表1所示。表1最后两行是本文模型，即具有解码器A和B，且解码器均为双任务解码器（D_A+D_B+DT_A&B（有交叉评估））。第4行对比模型与之不同之处是缺少了交叉一致性损失函数（D_A+D_B+ DT_A&B（无交叉评估）），第6行对比模型与之不同之处是仅解码器A是双任务解码器，解码器B只有分割任务而无回归任务（D_A+D_B+DT_A（无交叉评估））。从实验结果来看，在模型和任务扰动相融合的情况下，在解码器间进行交叉的任务一致性优化可以更大程度地提升半监督分割模型的效果，与无模型扰动且无交叉的任务一致性优化的模型相比，Dice提升了1.45%。3.4.2　对比实验在两组不同的数据划分设定下，将本文方法与最近的一些半监督分割方法进行对比，结果如表2和表3所示。为了验证方法的鲁棒性以及减小数据带来的偏差性，选择了两种通常半监督方法评估所设置的有标注样本在训练集中的占比，在LA数据集中随机划分出5组分别包含80个训练样本且分别设置8个（10%）有标注样本和16个（20%）有标注样本的实验组，根据5折交叉验证方法得到均值结果，实验均在相同的训练和测试样本上进行。10.11834/jig.211019.T002表2本文模型在10%有标注的训练结果上与现有半监督模型的定量对比Table 2The quantitative comparison between this model and the existing semi-supervised model on the 10% labeled training results对比方法有标注无标注Dice/%Jaccard/%95HD/mmASD/mmV-Net（Milletari等，2016）8 (10%)079.9968.1221.115.48V-Net（Milletari等，2016）80 (全部)091.1483.825.751.523D U-Net（Çiçek等，2016）8 (10%)062.1258.3436.565.213D U-Net（Çiçek等，2016）80 (全部)088.2179.1312.92.33DAP (Zheng等，2019)8 (10%)7281.8971.2315.813.8UA-MT (Yu等，2019)8 (10%)7284.2573.4813.843.36SASS Net (Li等，2020)8 (10%)7287.3277.729.622.55LG-ER-MT(Hang等，2020)8 (10%)7285.5475.1213.293.77DUWM(Wang等，2020)8 (10%)7285.9175.7512.673.31DTC (Luo等，2021a)8 (10%)7286.5776.5514.473.74PPNet（Luo等，2021b）8 (10%)7285.0874.8817.183.13CVRL（You等，2022）8 (10%)7287.7278.299.342.23SACC-Net(本文)8 (10%)7288.0178.898.192.09注：加粗字体表示各列最优结果。10.11834/jig.211019.T003表3本文模型在20%有标注的训练结果上与现有半监督模型的定量对比Table 3The quantitative comparison between this model and the existing semi-supervised model on the 20% labeled training results对比方法有标注无标注Dice/%Jaccard/%95HD/mmASD/mmV-Net（Milletari等，2016）16 (20%)086.0370.0614.263.51V-Net（Milletari等，2016）80 (全部)091.1483.825.751.523D U-Net（Çiçek等，2016）16 (20%)066.7461.0937.424.433D U-Net（Çiçek等，2016）80 (全部)088.2179.1312.92.33DAP (Zheng等，2019)16 (20%)6487.8978.729.292.74UA-MT(Yu等，2019)16 (20%)6488.8880.217.322.26CCT(Ouali等，2020)16 (20%)6488.8380.068.442.49SASS Net (Li等，2020)16 (20%)6489.5481.248.242.20LG-ER-MT (Hang等，2020)16 (20%)6489.6281.317.162.06DUWM (Wang等，2020)16 (20%)6489.6581.357.042.03DTC (Luo等，2021a)16 (20%)6489.4280.987.322.10CVRL（You等，2022）16 (20%)6489.8781.656.961.72PPNet（Luo等，2021b）16 (20%)6489.5881.7110.242.19MT-HU-HS (Li等，2021)16 (20%)6490.0481.986.932.18SACC-Net (本文)16 (20%)6490.1482.176.621.83注：加粗字体表示各列最优结果。本文使用现有的用于3D图像分割的主流网络主干框架3D U-Net和V-Net分别做了相应的消融对比实验（见表1）以及使用不同比例的标注数据的基准对比实验（见表2和表3）。表1的消融实验数据表明，以通过卷积操作实现下采样的V-Net网络框架为主体可以有更好的特征提取能力，从而使得效果更佳。表2 和表3的基准网络实验数据证明，在不添加任何半监督方法的情况下，V-Net对少量有标注样本分割的表现也优于3D U-Net，因此本文中对比实验的主干网络框架均使用V-Net。可以看出，与其他方法相比，本文方法在所有评估指标上都取得了最好的准确性，尤其是在基于边界的评判标准ASD和95HD有更加显著的提升。与仅使用10%和20%有标注样本且不使用无标注样本的基准方法V-Net相比，本文方法在使用相同数量的有标注样本的情况下增加无标注样本后在Dice评判标准上分别提升了8.02%（10%有标注）和4.11%（20%有标注），证明本文方法使无标注医学影像得到了非常有效的利用。此外，在与同样使用水平集函数进行回归任务的形状感知方法的对比中，本文方法的Dice评价指标，在10%和20%有标注的训练结果上，相比SASS Net（shape-aware semi-supervised net）分别提升了0.69%和0.60%，相比DTC（dual-task consistency）分别提升了1.44%和0.72%。这两组对比实验中，在其他3个评价指标上，本文方法相比而言效果也是最好。说明本文设计的数据模型扰动和任务间扰动相融合的交叉一致性优化方法将几何先验约束的优势更大程度地运用到了半监督医学影像分割中，使大量无标注医学影像样本的有效特征发挥了更加显著的作用。本文方法与几种较先进分割方法的3D和2D分割结果的可视化对比如图5所示，从左到右分别为LA数据集中提供的真实标签、UA-MT（Yu等，2019）、SASS Net（Li等，2020）、DTC（Luo等，2021a）以及本文的SACC-Net。可以直观地看到，在测试集中同一个相对其他样本而言较为模糊因而较难分割的测试样本下，通过本文方法分割出的效果与专家标注的真实标签重叠性更高，预测出了更完整的左心房形状和更多细节，尤其是在分割目标的边界处，这进一步证明了本文提出的3D半监督医学影像分割方法的有效性。10.11834/jig.211019.F005图5半监督模型在LA数据集上的3D和2D分割结果对比图Fig.5Comparison of the 3D and 2D segmentation results of the semi-supervised model on the LA dataset4　结 论本文提出了一种具有形状感知的基于双任务的交叉一致性正则分割网络SACC-Net，应用于3维左心房核磁共振影像分割。本文方法使用双解码器双任务网络，利用交叉损失函数对分割任务得到的分割预测图和回归任务得到的带符号距离预测图进行一致性约束，使分割模型更具形状感知性，实现了数据层面、模型层面和任务层面的一致性结合。与其他先进的半监督方法相比，本文的半监督3D MRI分割方法在经过多折交叉验证后得到的平均结果优于其他应用于本数据集的半监督分割方法中的最优结果，实验数据偏差性更小，且模型的分割精确度和性能鲁棒性更具优势。如何进一步充分利用未标注数据，以及如何使用更多有价值的领域先验知识来使模型具有更好的泛化性是一个极其值得探究的问题。因此今后将考虑将本文算法应用于不同的医学图像数据集，并尝试将更多的解剖先验知识应用于半监督分割模型中，期望进一步改善半监督医学图像分割的性能。