论文引用格式：Zeng J T， Zhang H Y and Liu H F. 2023. Research status of cardiac image segmentation based on deep learning. Journal of Image and Graphics， 28（06）：1811-1828（引用格式:曾嘉涛， 张贺晔， 刘华锋. 2023. 基于深度学习的心脏图像分割研究现状. 中国图象图形学报， 28（06）：1811-1828）［0　引 言心脏作为人体重要组成部分，负责为人体血液流动提供动力。心血管疾病指一系列影响心脏和血液动脉的疾病。冠状动脉疾病（coronary artery disease，CAD）和急性冠状动脉综合征（acute coronary syndrome，ACS）都属于心血管疾病。心血管疾病与心脏脂肪组织（包括心外膜脂肪组织和心包脂肪组织）有强相关性。根据世界卫生组织的统计，高发病率并且有严重的后遗症的心血管疾病是当今社会死亡率最高的疾病。2021年，估计有3.3亿万人罹患心血管疾病。据中国心血管健康与疾病报告（2021），我国每5例因病死亡病例中有2例死于心血管疾病。心血管疾病大致可分为两类，一是较为常见的急性心血管疾病，如心绞痛、心肌梗塞等；二是由于人口老龄化和工作人群不规律的作息而导致的以动脉硬化为特征的慢性心血管疾病。随着现代人越来越重视健康，每年的体检结果成为人们评估自己身体状况的重要途径。体检普遍已经能够提供CMR（cardiovascular magnetic resonance）、CT（computed tomography）等格式的医学图像，医生需要根据这些图像进行有效的诊断。想要有效检测心血管疾病、建立适用于计划手术的心脏模型需要在心脏扫描图像上精确分割心室、心房、心外膜和心包组织。因此精确分割心脏图像有着重大意义。即使训练有素的专家手动描绘一个人的心脏解剖结构也需要约20 min，这对于每日需要处理4万幅影像（《中国人工智能医疗白皮书》）的放射科医生来说，无疑是不可能的任务。由此看来，医学影像想要进一步发展，就要引入自动化分割技术。在深度学习出现之前，心血管分割的图像处理方式包括阈值处理（thresholding）、基于边缘和区域的处理（edge-based and region-based approaches）和模型法（model-based）等方法。这些方法需要依靠大量的专业知识以及细致的判断标准才能达到良好的准确性。得益于计算机硬件的发展和公共数据集的建立，深度学习逐渐成为心血管分割的重要方法。深度学习融合各种新技术，不但能够通过学习有限的数据集得到较高的Dice系数，而且能够完全实现自动化和批量化处理图像，极大地缓解了医学影像解读速度上的压力。因此，目前基于深度学习的医学图像处理研究仍然是重点方向。本文主要结合2012—2022年发表的相关文献进行讨论，旨在总结、比较有关心血管分割的相关图像处理技术的国内外发展现状，阐述目前该领域的挑战和不足。1　国际研究现状按照心室、心外膜、心包脂肪的顺序依次介绍各部分的研究现状。1.1　心室1.1.1　切割依据心脏四腔分别是右心室血腔、左心室血腔、左心房血腔和右心房血腔，以下分别简称为右心室、左心室、左心房和右心房。全心分割的目标是提取心脏所有亚结构的体积和形状，通常包括4个腔室和重要血管。右心室位于心脏下端的第2大腔。右心室在肺循环中起着至关重要的作用，因此对右心室的研究对了解部分心血管疾病如心室衰竭、肺动脉高压和先天性心脏病的病理起到重要作用。全心分割结果对临床研究和应用很重要，包括以下几方面：1）提取心室容积、射血分数（ejection fraction，EF）、心肌质量和心肌厚度/增厚/运动等功能指标。这些指标是临床应用中的重要指标。例如，EF决定了心脏抽血的情况，在诊断和跟踪心力衰竭方面很重要；心肌运动与心脏的收缩力有关，并被证明与心脏再同步化治疗（cardiac resynchronization therapy，CRT）的重塑密切相关；在临床上通过相关功能指标预估整个心脏的功能，分析检测到的心脏功能异常或改变。2）渲染结果有广泛的应用，如在形态学中研究先天性心脏畸形。3）整个心脏的分割结果可以从短轴（short axis，SAX）和长轴（long axis，LAX）显示任何想要的2维（2D）视图，如四腔视图和SAX视图。在临床上，医生可以通过结合整个心脏的分割结果与实时观察（如微创手术）获得更好的医疗器械介入位置。1.1.2　评估指标目前在全心分割中常采用的指标为Dice系数。Dice系数是一种集合相似度度量函数，通常用于计算两个样本的相似度，取值范围为［0，1］，计算为fDice=2X⋂YX+Y （1）式中，X，Y为预测结果图和真实标签图。豪斯多夫距离（Hausdorff distance，HD）也是广泛用于评估的指标之一。H(A, B)=max{h(A, B), h(B, A)} （2）式中，A和B表示两个不相交的集合。HD根据式（2）测量两个等值线之间的距离。1.1.3　主要技术1）图切割方法。图切割方法将分割作为一个像素标记问题。将图中的像素转化为一个顶点，像素之间的相邻关系转化为连接这两个顶点的边，通过对转化后的图片按照最小化图割的原则消除连接顶点的边，图可以分为两个相关的元素C和D。具体为Cut(C, D)=∑u∈Av∈Bw(u, v) （3）为了充分使用4D MRI（4-dimension magnetic resonance imaging）图像中的信息对右心室进行分割，Maier等人（2012）提出了一种半自动区域合并图形切割（semi-automatic region-merging graph-cuts，rmGC）方法。该方法包括3个阶段，首先根据用户的输入生成前景和背景标记；然后应用一个分水岭变换；最后利用基于强度的边界约束对得到的过分割区域进行合并。获得的模型在MICCAI 2012 RVSC（Medical Image Computing and Computer Assisted Intervention Society 2012 Right Ventricular Stroke Count）提供的数据集上进行训练和测试，并使用Dice系数和HD进行评估。该方法在大部分的图中都提供了较高准确性的结果。然而，这种方法对于来自底部和顶端的图存在欠拟合问题。Mahapatra（2013）提出了一种结合形状先验信息的图切割方法（graph-cuts shape prior， GCSP）。该方法包括两个步骤：第1步，只使用强度信息进行心室分割；第2步，结合形状和强度信息，以上一步得到的主要分割作为起点，得到最终分割结果。Mahapatra（2013）使用STACOM（statistical atlases and computational modeling of the heart） 2011 4D LV分割挑战（4D LV segmentation challenge，4D-LVSC）提供的包含30名受试者数据的数据集对该方法进行训练和测试，使用Dice系数和HD作为评价指标。当形状信息与物体和背景的强度分布相结合时，该方法可以准确分割左心室和右心室。在心室形状发生轻微变化的患者数据上的实验结果也显示了使用形状先验的优势。然而，该方法没有讨论心脏周期中形状变化的影响，这可能会影响使用单帧提取形状信息的性能。考虑到重要器官的相对排列位置，Mahapatra（2013）还提出了一种基于图空间关系的方法（graph-cuts contextualbased method，GCCont）来分割双心室的心内膜。首先，必须在右心室和左心室上手动选择种子点，才能使用图形切割方法进行初始分割。然后，根据左心室固定分割得到的空间信息，对右心室分割进行细化，再反过来利用分割后的右心室空间信息细化左心室分割。Mahapatra（2013）使用来自STACOM 2011 4D-LVSC的30个数据集，分为15个数据集用来训练和15个数据集用来测试。Mahapatra（2013）同样使用了Dice系数和HD。所呈现的结果为15例测试集中仅3例分割较为成功，但在这3例患者数据之间无显著差异。这种分割方法过于依赖心脏的空间信息，右心室的不规则性不能在有限的训练数据集完全体现出来，特别是对于心室之间的空间信息发生改变的病理病例。2）基于模型的分割方法。基于模型的分割方法利用形状相关的先验信息来进行目标的提取。在心室划分的任务下，由于3维搜索空间的庞大规模，基于局部搜索算法的方法大多用定位统计形状模型（statistical shape models，SSM）。该方法需要一个初始模型来进行定位。最简单的初始化过程是基于用户交互，这通常足以对齐形状信息。为了构造一个SSM，通常利用训练集来提取平均形状和几种变化模式。这些模型的泛化性能依赖于训练集数据对整体数据的代表性。ASM（active shape models）和AAM（active appearance models）是最常用的医学图像分割模型方法。ASM是一种基于点分布模型的局部搜索算法，而AAM属于生成模型类，它可以生成被建模数据的预测图像。在医学成像领域，具有挑战性的问题在于研究个性化模型。因此，El-Rewaidy和Fahmy（2015）提出了双ASM分割方法，利用ASM来捕捉右心室形状的变异性，对基本ASM技术进行了两个主要修改。首先，将右心室轮廓分成两个简单的节段，即室间隔和自由壁；然后，对每个部分构建一个特定的ASM模型；最终，为了非线性地对齐各种边界，通过在坐标空间内演化所提出的ASM模型将右心室插入点固定为特征点。El-Rewaidy和Fahmy（2015）通过York短轴心脏MRI数据集构建了一个包含182例数据的数据集，其中随机选择56例数据作为训练集，其余数据作为测试集。在双ASM中为每个情况使用两个插入点，利用ASM模型从外观模型中迭代估计右心室形状位移。与传统的ASM相比，该方法的评价是通过计算Dice系数来完成的。这种方法的问题在于强烈地依赖于插入点的初始化。此外，Punithakumar等人（2015）研究了一种基于2维移动网格半自动分割方法，通过点对点对应检测心内膜和心外膜，并使用MICCAI 2012 RVSC（RV segmentation challenge）提供的48名受试者的数据集和一个包括23名HLHS（hypoplastic left-hearted syndrome）患者的数据集。为了统计性能评估，作者使用了Dice系数和HD来评价该方法。但右心室获得的心内膜边界在收缩期出现显著差异。3）基于图谱的方法。当有图谱或标准模型可用时，可采用基于图谱的方法进行分割。基于图谱的方法使用强度和图谱标记的图像来描述图像中出现的不同结构。这些图谱是通过编译目标的解剖学知识生成的，被用做分割新图像的参考框架。理论上，图谱引导的方法类似于分类器。图谱分割的方法实质上并非是在图像的空间域中实现的，而是在特征空间中实现的。标准的图谱图集将分割视为一个记录问题，首先找到一个一对一的转换，将预先分割的图谱映射到需要分割的目标图像，这种映射可以通过线性变换来执行，但由于解剖结构形状的多样性，经常将线性和非线性变换结合使用。Ou等人（2012）提出了一种基于3维多图谱的全自动迭代右心室分割框架。该方法旨在克服右心室形状变化导致的配准任务困难。Ou等人（2012）利用MICCAI 2012 RVSC提供的数据集，将15名心脏MRI受试者作为训练数据，20名受试者进行测试。为了评估技术性能，该方法通过测量Dice和HD指标进行定量评估。但是，该方法对应于测试数据的单个主题，显示出显著的低有效性。因此，这种方法对其使用的训练数据很敏感，这使得它对右心室不规则变化的拟合性很差。Bai等人（2012）在数据集中进一步利用基于多图谱的分割来分割右心室的内部和外部边界。该方法采用图谱选择和局部加权标签融合来降低计算成本，提高分割精度。由于表皮切片的分割不令人满意，需要一个后处理步骤，并通过将分割拟合到一个解剖模型来恢复解剖拓扑。为了评估所提方法的有效性，Bai等人（2012）在MICCAI 2012 RVSC发布的一个公共数据集上进行了实验。Bai等人（2012）使用了一个由16例MR图像组成的测试集，获得的舒张末期和收缩末期的边界分割图像，使用Dice和HD指标进行评估。4）机器学习和深度学习。机器学习方法可以分两类：传统算法和深度学习。传统的机器学习算法包括支持向量机（support vector machine，SVM）、决策树、随机森林（random forest，RF）和线性回归，都涉及提取特征来训练模型。深度学习模型由一个输入层、一个输出层和多个隐藏层组成。Mahapatra（2014）用机器学习方法进行右心室分割。首先，将图像过度分割成超像素，利用随机森林分类器对每幅图像进行分类，提取右心室边界。然后利用二阶马尔可夫随机场（Markov random field，MRF）函数对概率映射进行积分。最后，使用图切割方法优化，得到最终的分割结果。RF是一组使用训练数据的不同部分分别进行训练的决策树。利用32个受试者的数据集进行测试。结果表明，树的数量的增加对分割的精度有积极的影响。然而，面对右心室病理性的形状变化，这种方法不能维持有效性。Tran（2017）应用深度全卷积神经网络（fully convolutional neural network，FCNN）架构进行右心室分割。所提出的架构使用一个单一的学习模式进行训练，逐个像素进行分类。使用包含45个患者的MICCAI 2009 LVSC和MICCAI 2012 RVSC提供的48个受试者的数据集进行实验，并将LVSC分为3个子集，每个子集包括15名受试者，将RVSC分为训练集和两个测试集，每个测试集包括16名受试者。同时，进行了多尺度裁剪和仿射变换，实现数据增强，并且进行了预处理和图像归一化。结果为Dice系数为0.85，HD为9.09。但由于模糊性和空腔尺寸较小，该方法未能在最顶端的切片上正确分割目标区域。与左心室相比，右心室病例的分割有效性较低。Luo等人（2016）提出了一种5层深度卷积神经网络（CNN）方法。首先执行一个感兴趣区域（region of interest，ROI）定位任务以实现最终的分割；然后，应用所提出的分割方法，得到最终的像素级掩膜。该模型使用MICCAI 2012 RVSC提供的16例训练集数据进行训练，使用32例测试集数据来评估分割效率。结果显示，Dice系数为0.85，HD为7.90。根据相关系数，收缩压容积与舒张压容积相比的相关性较低。该方法强调了使用初步的ROI定位来改进分割方法的功能的影响，但没有讨论对心脏周期阶段、基底和根尖切片或病理问题的有效性。Avendi等人（2017）设计了一个基于CNN和自动编码器（autoencoders，AEs）的右心室分割框架。首先使用提出的CNN架构检测腔体位置。然后通过AEs对初始轮廓进行分割。最终，通过可变形模型技术和曲率得到最终的分割结果。与Luo等人（2016）用同样的方法使用MICCAI 2012 RVSC数据集进行实验。结果显示切片的轮廓严重错位。该方法分割过程高度依赖数据，即抗噪音能力不强。因此，没有讨论病理病例，对于多个测试集，得到了不同的结果。Zotti等人（2018）提出一种多层CNN，作为一种U-Net的泛化方法，该方法实现了网格体系结构。使用MICCAI 2017自动心脏诊断挑战（automated cardiac diagnosis challenge，ACDC）提供的100名受试者的数据集进行训练和测试。结果显示，Dice系数为0.90，HD为15.1。在最基础的切片情况下，该方法不能准确地接近右心室边界。尽管在所考虑的数据集中存在几种病理机制，但Zotti等人（2018）没有单独讨论其对分割过程的影响。Zhang等人（2018）尝试改进现有的FCNN性能以处理右心室的各种分割问题，提出了多任务深度神经网络M-DNN（multi-task deep neural network）架构。该架构是一个多任务U-Net体系结构，允许在任务之间利用特征。使用MICCAI 2012 RVSC提供的数据集进行训练和测试，使用Dice系数度量进行评估。结果显示Dice系数为0.80。Chen等人（2022）提出一种用于跨域半监督左心房分割的自适应层次对偶一致性方法。自适应层次对偶一致性首先通过双向对抗克服了不同区域的分布差异和样本不匹配问题。然后，探讨了基于层次对偶一致性的半监督左心房分割的区域内和区域间的互补建模。在4个3维LGE CMR（late gadolinium enhancement cardiac magnetic resonance）数据集和1个CT数据集上进行综合实验，证明了该方法在跨域半监督左心房分割中的可行性和优越性。Dice系数在左心房为0.913。林天予等人（2022）评估了密集金字塔和深度监督神经网络（dense pyramid and deep supervision network，DPS-Net）在小规模的心脏超声数据集上的性能。DPS-Net的主要结构分为金字塔池化、特征提取和深度监督三部分。首先从图像中获取多尺度的特征向量，然后通过金字塔池化模块提取多尺度特征图，最后深度监督通过对多尺度的特征图进行预测并进行监督学习，避免了梯度消失问题。在小规模的数据集中训练和测试，使用Dice系数和豪尔斯多夫距离为评价指标，该模型在极少量样本数据（实验中最低数据量为10个患者数据）情况下即可获得Dice系数为0.96的成果。Li等人（2022）针对左心房的瘢痕提出一个结合空间和形状信息的新框架，即通过一种注意机制SA（shuffle attention）来利用左心房腔和疤痕之间的内在相关性。具体来说，将SA方案嵌入到多任务架构中，进行联合左心房腔分割和疤痕量化。此外，引入了空间编码损失，以纳入目标的连续空间信息，减少预测分割中的噪声斑块。Li等人（2022）在40个LGE（late gadolinium enhancement）磁共振成像（ISBI 2012左心房纤维化和疤痕分割挑战）中检验了该方法的泛化能力。当训练样本量为40，测试样本量为20时，左心房腔的分割样本Dice系数为0.913，HD为20.0，并且Dice系数将随着训练样本的减少而锐减，HD将上升。Wang等人（2017）提出一种自动右心室分割框架，使用简化的脉冲耦合神经网络（simplified pulse coupled neural network，SPCNN）分割技术和形态学预处理技术来提取右心室轮廓。首先，为了降低干扰噪声，对心脏核磁共振图像进行滤波；然后，利用SPCNN模型，用自动确定的参数勾画出右心室的内部边界；最终，将右心室边界向先前实现的心内膜分割扩张。该方法使用MICCAI 2012 RVSC提供的数据集进行训练和验证，并基于Dice系数和HD进行评估。刘从军等人（2022）提出一种基于深度学习的U型全卷积神经网络MFF U-Net（multiscale feature fusion U-Net）。将3维数据沿z轴进行切分形成的2维图像输入到一个密集残差网络（dense convolutional network，Dense-Net）中训练。通过在网络中加入残差模块，利用残差模块中的恒等映射实现特征复用，在一定程度上解决了网络退化问题。在卷积过程中，通过将多个小卷积核代替大卷积核来增大感受野，从而在不大幅增大计算量的情况下提高网络计算效率。为了减少上采样过程中全局信息的损失，在第2个卷积后添加长距离依赖模块，通过一个全局的注意力矩阵来扩大卷积的感受野。该算法的评价指标为Dice系数和豪斯多夫距离HD。左心室、右心室和心肌的Dice系数分别为0.92，0.90，0.89；HD分别为10.07，14.47，10.89。徐佳陈等人（2022）通过将当前需要进行分割的目标帧和一段包含该目标帧的连续时间片段输入网络，获得了包含心脏动态MRI图像中丰富的时间信息和目标器官的精准边缘信息的结果。该方法通过添加可变形编码路径增强连续时间片段中目标器官的边缘信息，通过边缘信息的卷积得到连续时间片段的特征；再由连续时间片段生成的特征与目标帧生成的特征进行融合，生成当前层的特征图；最后将融合后的特征图作为下一层连续时间片段的输入。为了进一步增强网络预测的结果，在进行上述特征的迭代的同时，网络根据真实标签图生成空间方向场。该空间方向场通过将目标器官的边界到每一个前景像素点的距离归一化，揭示了目标器官上像素与像素的方向关系。该方法在ACDC（automated cardiac diagnosis challenge）自动心脏分割挑战数据集上进行训练和测试（100个图像划分为训练集，50个图像划分为测试集），在左心室、右心室的Dice系数为0.97、0.94。李擎等人（2022）提出一种心脏分割模型，将CNN网络与Transformer网络结构相结合，即通过设计一个多阶段的编码器来提取深层的上下文信息和浅层的空间信息，CNN分支为Transfromer分支提供局部特征和位置，Transformer分支为CNN分支提取局部特征和建模全局上下文信息，通过4个阶段的解码与每次解码间的跳跃连接，最终在信息融合模块通过卷积将信息融合。该模型在MICCAI 2017 ACDC数据集上进行验证，在模型参数量和计算量仅为U-Net的10%和8%的情况下，平均Dice系数比U-Net提高了1.13%。右心室、心肌和左心室的Dice系数分别为0.92，0.92，0.95。各类右心室图像处理方法的优点和限制及不同方法的右心室分割结果分别如表1和表2所示。10.11834/jig.230027.T001表 1各类右心室图像处理方法的优点和限制Table 1Advantages and limitations of various right ventricular image processing methods方法优点缺点图切割方法速度快，对初始化不敏感依赖大量的数据基于模型的分割方法建立在先验知识的模型需要大量数据集构建模型，但实验所选择的模型会约束结果的准确性基于图谱的方法保证了两类方法的最优解分割精确分割较为困难，速度较慢机器学习和深度学习减少了在特征提取方面的工作非常耗时，需要大量数据，对数据的变化敏感10.11834/jig.230027.T002表 2右心室分割结果Table 2Results of right ventricular segmentation方法Dice系数半自动区域合并图形切割（rmGC）（Maier等，2012）0.75基于图切割形状先验方法（GCSP）（Mahapatra，2014）0.862维移动网格（Punithakumar等，2015）0.62深度全卷积神经网络（Tran，2017）0.855层深度卷积神经网络（Luo等，2016）0.81CNN+自动编码器（Avendi等，2017）0.9多层CNN （Zotti等，2018）0.8多任务U-Net体系结构（Zhang等，2018）0.8跨域半监督左心房分割的自适应层次对偶一致性方法（Chen等，2022）0.913密集金字塔和深度监督神经网络（DPS-Net）（林天予 等，2022）0.90SA+SE（Li等，2022）0.913密集残差网络（刘从军 等，2022）0.90CNN网络与Transformer网络结构相结合（李擎 等，2022）0.921.2　心外膜（EAT）1.2.1　切割依据与评估指标心外膜（epicardial adipose tissue，EAT）的代谢极其活跃，同时与心肌共享相同的微循环，它们之间存在潜在的相互作用。有证据表明（胡成平和赵迎新，2017），EAT在引起冠状动脉粥样硬化和心肌病中起直接作用。EAT厚度已被证明与代谢综合征和冠状动脉疾病相关，一般也与冠状动脉钙化的进展有关。此外，EAT的体积和密度与无症状受试者的主要不良心脏事件有关。EAT体积也被认为是心血管疾病的重要影响因素。此外，EAT在内脏脂肪、心脏形态、肝酶、胰岛素抵抗和空腹血糖等方面发挥作用，是一种准确的治疗靶点。通常使用Dice系数和HD作为EAT的评估指标。1.2.2　主要方法根据方法的不同，勾画心包的轮廓比直接分割EAT更容易。心外膜在心脏周围的分布不均匀，导致在CT和MRI图像上不同的切片之间的差异很大。心外膜形状也不均匀，在算法中难以轻易描述。然而在CT和MRI图像上，心包呈光滑、薄，几乎是椭圆形的轮廓。主动轮廓或椭圆拟合等方法自然适合于分割这种形状。在心包被分割的基础上，EAT就容易被分割出来了。1）阈值处理。CT扫描中可能含有心外膜的脂肪部分。丢弃图像中已知的无关部分不仅加快了分割过程，而且可以降低分割误差，因为图像的其他部分不会干扰分割过程。一旦确定了心包线，即可通过阈值分割出轮廓内的脂肪组织，从而更加方便地对EAT进行分割和量化。这种方法的一个例子是Coppini等人（2010）创立的半自动的定量方法。该方法首先丢弃肺，然后由专家手动在每个相关切片上选择心包上的控制点，用来定义感兴趣区域（ROI）。最后将ROI阈值化到脂肪组织对应的亨斯菲尔德尺度区间。为了进一步细化形状，该方法通过活动测量线在CT图像的每个切片上找到稀疏阈值形状的平滑轮廓。这种方法可以实现全自动分割图片，如Ding等人（2014）提出的方法（如图1所示）。Coppini 等人（2010）的方法需要专家手动标记心包轮廓，而Ding等人（2014）的方法首先使用基于图谱的心包检测方法自动初始化心包轮廓，然后通过活动测量线对这个初始化的轮廓进行细化，以更准确地检测心包。Coppini等人（2010）的结果中，15例患者的Dice系数在0.88～0.95之间，进行分割的时间为60 s。Ding等人（2014）对50例患者进一步验证了该方法，结果显示Dice系数为0.92。10.11834/jig.230027.F001图1Ding等人（2014）提出的方法Fig.1The method proposed by Ding et al. （2014）此外，也存在使用传统的图像处理方法直接自动分割 EAT 。Militello等人（2019）提出了一种节省时间的GUI（graphical user interface）工具，使专家能够快速分割 EAT，同时减少专家划分时的差异性。专家手动确定心脏区域的第1个和最后1个切片，然后在每 10 个或每20 个切片上手动分割一个感兴趣区域。后续对剩余切片的ROI进行插值，如果需要，可以进行手动细化。该方法60次切片扫描的处理时间约为3.5 min，235次切片扫描约为7.4 min，这两种情况下的处理速度都比手动分割快4～8倍。该方法得到的Dice系数约为0.93。考虑到所使用的数据集的数量，该方法对不同专家划分的差异的扰动不敏感，但比全自动方法需要更多的时间。该方法的一个潜在改进方向是使用一种全自动的方法来执行初始分割，允许专家手动细化分割，从而在保证高准确性的同时尽可能节省时间。2）基于图谱的方法。主动轮廓依赖于几何约束来分割形状，而基于图谱的分割方法则考虑了几种结构之间的空间关系。这是通过形成一个图谱图集来完成的，图谱图集通常是指一个在图像中发现的结构的总集合。图谱图集通常由专家在图像上标记的不同结构组成。在医学成像中，解剖结构的具体位置和形状因患者而异，因此通常会收集多个图谱图像并融合成一个图谱图集。一旦获得了一个图谱图集，就可以用来分割没有标记的新输入图像。这是通过一种配准算法来实现的。一般来说，配准会使图像发生变形和变换，从而使图集中的结构映射到不同图像上的相同结构上。基于图谱图集的配准将图谱图集视为一个图谱，并将尚未分割的图像映射到图集上。配准通常以非刚性的方式进行，能够使图像变形，以考虑不同输入图像中的形状不规则性。一旦一个图像被映射到图谱图集上，通过读取相应的映射图像像素值，就可以很容易地从图像中分割出结构。图２显示了一个使用配准算法对图像进行变形的示例。10.11834/jig.230027.F002图２配准算法进行变形匹配的过程Fig.２A diagram of the registration process基于图谱的方法具有良好的鲁棒性，并考虑了不同结构的空间关系，可以很好地处理医学成像。在医学图像上，相同的组织通常具有相同的灰色水平。然而，相同组织可以位于不同的身体部位，因此一种对位置和灰度水平敏感的分割方法可以提供良好的结果。基于图谱的方法的缺点是需要通过人工图像分割来选择和获取准确的图像。收集的图谱图集不能充分表示真实世界的数据，因为图像可能因患者的个体性差异和使用的不同设备而不同。此外，配准过程可能会由于噪声或输入图像和图谱的显著差异而失败，从而阻止进一步的分割。基于图谱的方法有利于完成心包勾画的任务，因为心包线是稀疏和模糊的，基于图谱的分割更具有良好的表现，因为它们依赖于比轮廓更复杂的特征。Shahzad等人（2013）提出了一种具有代表性的全自动EAT自动分类方法，采用多图谱分割对比CT图像上的心包。在CT对比图像上更容易看到心包，因此通过手工分割8例患者的CT对比扫描来收集图谱。然后将这些图谱图集配准到非对比度输入图像上，并将配准进行融合，产生最终的心包分割。在心包被分割后，通过对图像的分割部分进行阈值处理，然后进行连接成分分析步骤，从EAT体积中去除噪声，从而完成整个EAT分割和量化。结果的Dice系数为0.89。3）机器学习。一些图像分类的方法依赖于从图像中提取预先确定的特征。这个图像特征的向量被输入到一个机器学习模型中。机器学习是一个将输入特征映射到输出类中的统计模型，分类器的参数是通过训练过程来确定的。该模型通过学习输入中的固有统计关系（无监督学习）或通过学习人工确定的标签并基于已知标签进行推断（监督学习）来学习如何正确地分类输入。在监督学习的流程中，模型通过学习图像的特征向量确定该模型的参数。将测试集中的特征向量输入模型，把模型的输出与对应的真值进行比较，通过反向传播调整模型参数，最后输出未知输入的预测值。作为机器学习模型输入的特定特征是由模型设计者根据它们对分割结构的不同方面的描述程度来选择的。在通常的情况下，这些特征通常是像素值、几何矩和其他更高层次的图像特征描述。然后，通过模型判定可以确定该像素的位置，例如，在图像中心周围的CT值为-150 HU（Hounsfiled unit）的像素是EAT的可能性很高，而在扫描边缘为30 HU的像素不太可能是EAT。通过机器学习也有不同的参数优化方法。其中一种用于EAT勾画的方法是遗传算法。一般来说，遗传算法是一种模拟进化过程的参数优化方法。最初，参数是随机确定的。然后，参数被随机改变（即突变），并使用适应度函数进行评估，该函数评估参数在某些任务上的表现。当参数再次发生突变时，导致适应度增加的突变会转移到下一次迭代中。重复这个过程，直到适应度函数达到最优值。机器学习会增加数据需求，但在处理时间方面可以获得更好和更快的结果。然而，这些结果是以必须设计和选择适当的特征值来训练一个模型为前提条件。例如，Norlén等人（2016）使用体素周围区域的像素强度的平均值、方差和导数作为特征来训练随机森林分类器。该分类器将图像像素分为3类：心包内、心包外和背景。机器学习的一个缺点是，它需要对输入的图像进行大量的预处理。Norlén等人（2016）在使用机器学习模型处理图像之前，使用基于特征的多图谱配准来初始化心包定位。类似地，Rodrigues等人（2016）使用不同的机器学习算法作为预处理步骤，分割心包旁脂肪组织和心包脂肪组织。然后，为了分割椭圆形心包，使用遗传算法将一个椭圆拟合到心外膜旁组织和心外膜组织之间的边缘。该算法可以成功地找到一个椭圆，描绘EAT和心包旁脂肪组织，并接近心包轮廓。需要注意的是，该方法需要一个已经分割好的图像，主要目的是用于其他描述心包的EAT分割方法的性能优化。通过在少量的CT扫描切片上拟合心包，可以在其余的切片上解释心包轮廓，从而节省了处理时间。自动分割 EAT 有一个主流方法是对图像进行大量预处理，然后提取各种特征以输入随机森林分类器或神经网络。 Rodrigues等人（2017）提出了一个模型。输入图像被阈值化为脂肪组织范围，然后通过基于图谱的胸骨后区域分割转换为标准化位置。再从图像中提取特征选择。这些特征包括图像的重心、x 和 y 位置、像素的灰度，以及来自每个像素周围邻域的附加特征。使用这些特征作为输入，Rodrigues等人（2017）训练了一个基于随机森林分类器的机器学习模型，将每个像素分割成3个类别（EAT、心旁脂肪或心包）之一。对于 EAT 分割，该方法在Weka数据集上Dice系数为0.979 。Kazemi 等人（2020）除了阈值处理外，还使用限制对比度自适应直方图均衡化来预处理图像。这些特征用来训练不同分类器的集合，而不是仅仅依赖于随机森林分类器。其他模型使用不同类型的优化算法来分割图像。例如，在 Priya 和 Sudha（2019）的工作中，EAT和心旁脂肪组织使用区域生长进行分割，然后基于果蝇优化算法合并区域，该工作中的 EAT 分割的 Dice 系数为0.987，略大于Rodrigues 等人（2017）的方法。在同一数据集上，Vladimir等人（2017）提出了这种方法的另一个例子，模糊C均值聚类从CT 图像中分割 EAT。该方法首先使用形态学运算符和阈值分割每个 CT 切片上的心脏 ROI 。然后，每个切片都经过一个具有预定义数量的聚类步骤，其中用于确定聚类的特征是单个像素的平均亮度和亮度方差。聚类从放置在患者 CT 扫描的单个切片上的用户指定的种子点开始，然后通过在集群上拟合椭圆并丢弃椭圆外的像素来对生成的 EAT 集群进行后处理。结果显示，8 名患者的 Dice系数分布在0.6 ～0.82。4）深度学习。在机器学习中，有一个已知的统计模型从训练数据中学习其参数。在深度学习中，模型本身就是从训练数据中学习出来的。为了实现这一点，深度学习方法使用人工神经网络来执行任务。人工神经网络是一种由多个连接的人工神经元组成的计算系统。每个神经元都是一个数学函数，通过将所有输入矩阵加和，乘以它们各自的权重，然后输入一个激活函数，将一个或多个输入矩阵转换为一个输出矩阵，激活函数的工作通常是添加一个非线性元素。深度学习神经网络具有分层结构，从输入层开始，接收输入数据，来自输入层神经元的结果然后通过一个或多个隐藏层，最后，将结果传递到一个输出层，该输出层为当前任务提供了预测。输出的准确性取决于网络架构，即神经元的数量、连接方式，以及使用了哪些激活函数。用于医学图像处理的最常用的人工神经网络类型是卷积神经网络（CNN）。CNN是指在一个或多个神经元中使用卷积的数学运算而不是求和运算的人工神经网络。通常，包含这种卷积计算的计算过程称为卷积层。CNN特别擅长处理图像数据。在多层神经网络中，底层特征被组合起来形成更复杂的高层特征。通过高层特征，网络的分辨能力更强，比如识别汽车的车轮或脸上的眼睛。在分割时间方面，神经网络通常比传统的图像处理方法快一个数量级，有时可以获得更好的图像精度。然而，深度神经网络需要大量的训练数据，这可能是目前影像学发展的共同痛点，特别是在医学成像任务中。此外，神经网络很难被解释。由于它们的模型参数是从数据中学习的，而不是编程中确定的，它们的工作方式和具体的局限性并不能通过数学推导提前解释清楚。深度学习消除了选择合适的特征进行训练的需要，通过基于CNN的架构，网络可以利用非常复杂的高级和低级特征来分割心包。Commandeur等人（2018）首次提出了CNN在EAT分割中的应用，如图3所示。该方法是一个由两个卷积神经网络组成的多任务框架。第1个CNN执行3个独立的任务。第1个任务是对给定的切片是否包含心脏进行分类，以便尽早停止进程并节省性能成本；第2个任务分割心外膜和心外膜旁结构的结合；第3个任务分别分割心外膜和心外膜旁区域。来自第1层网络的心外膜掩膜用于对输入CT扫描进行重新采样，然后将其输入第2层CNN，第2层CNN在径向坐标中描绘给定CT扫描的心包线。总EAT体积是通过分割心外膜面积到脂肪组织范围获得的。该方法的EAT分割的Dice系数为0.81，处理一次CT扫描的时间小于20 s。该方法在由30名随机选择的患者构成的测试集中Dice系数为0.89。10.11834/jig.230027.F003图3Commandeur等人（2018）提出的方法Fig.3The method proposed by Commandeur et al. （2018）最近的方法依赖于相对更简单的架构。这些方法通常不使用多任务学习，而是通过训练一个基于U-Net的模型从一个经过预处理的输入图像中分割心包。例如，Zhang等人（2020）通过连接两个级联U-Net来形成整体结构。第1个网络从输入的CT切片中检测到心包，输出的心包分割粗糙且有噪声，因此利用形态重建，对形态处理层进行处理。然后，这个分割的形状被用做执行EAT分割的第2个U-Net网络的输入。结果显示，10例患者的平均Dice系数为0.91。此外，最终的EAT分割可以通过阈值化心包区域获得，而不是使用深度学习模型。如Benčević等人（2021）的工作，其网络的输入有两个通道，原始CT切片和该切片的切片深度值。这使得卷积神经网络可以访问每个切片的一些深度信息，从而提高在不需要完全3维神经网络的情况下实现的性能。结果显示，平均Dice系数为0.86。与机器学习类似，深度学习适合直接的EAT分割，因为它可以在图像中找到非常复杂的形状。然而，深度学习不需要特征选择，并减少了对大量图像预处理的需要。直接EAT分割的深度学习模型通常基于U-Net。例如，Li等人（2019）使用了一个基于U-Net的网络来分割EAT和心旁脂肪。U-Net中增加了一个额外的金字塔池化层。该方法使用了与Rodrigues（2016）使用的相同的数据集，但应用数据增强来人为地增加数据量。由于EAT和背景是不平衡的，EAT像素的数量比背景像素的数量要少。这种不平衡可能会在训练CNN时造成问题。为了解决这个问题，该方法使用了焦点损失，这增加了数量较少的类（EAT）分类错误时的损失权重。该方法EAT的ROC（receiver operating characteristic）曲线下面积（area under curve， AUC）为0.87，但没有提供Dice系数，所以很难确定该方法的准确性，特别是因为AUC可能会歪曲其有效性。与AUC相反，Dice系数不考虑真阴性（背景类），在这种情况下，Dice系数是比AUC更准确的测量指标。Benčević等人（2021）也提出了类似的方法，使用极坐标变换对输入的CT扫描进行预处理。首先训练一个神经网络来预测极性变换的最优原点，然后使用该网络对每幅输入图像进行变换，最后在极性变换的图像上训练第2个基于U-Net的分割网络。该方法的Dice系数为0.78，相对较低。在同一数据集上的结果优于U-Net，但比其他神经网络的方法差。大多数直接EAT的分割方法适用于2维图像。He等人（2020）在3D CT图像上使用U-Net架构，该模型称为深层注意力U-Net网络。由于U-Net可以获得粗粒度和细粒度的特征，He等人（2020）将其修改为包含使用粗粒度特征抑制网络中非显著连接的注意力机制，从而从训练过程中去除噪声数据。结果显示，该方法的Dice系数为0.85，并对40例患者进行了交叉验证。与Zhang等人（2020）使用简单U-Net直接2维分割的结果进行比较，He等人（2020）的研究结果获得了更好的Dice系数，说明对3维数据进行训练是有益的。EAT是一个3维结构，所以在两个连续的切片之间可以有很多信息。毋晓萌等人（2021）提出一种基于无监督深度学习的图像配准模型，分为预处理、全局配准、局部配准3步。首先，对图像进行预处理，采用开运算的形态学方法去除噪声，同时对图像的尺寸、分辨率进行统一，将所有图像灰度化；然后，对图像进行全局配准，通过MRI图像和CT图像实现不同图像的配准；最后，通过无监督深度学习计算图像间的形变场，实现配准。在左心室外膜、右心室外膜、全心的DSC（dynamic susceptibility contrast）和MHD（medical head data）格式的图像中，采用深度学习网络的配准均优于基于Elastix的局部配准，在左心室内膜两者差异无统计学意义。融合CT和PET图像进行配准，在左心室外膜DSC和MHD、右心室外膜DSC及全心DSC和MHD上均优于PET单模态图像配准结果，在左心室外膜和全心的Dice系数优于CT单模态图像配准结果。不同方法的心外膜分割结果如表3所示。10.11834/jig.230027.T003表 3心外膜分割结果表Table 3Results of epicardial segmentation方法Dice系数Ding等人（2014）0.92Militello等人（2019）0.93Shahzad等人（2013）0.89Rodrigues等人（2017）0.98Norlén等人（2016）0.91 ± 0.04Kazemi等人（2020）0.94Commandeur等人（2018）0.82Zhang等人（2020）0.91 ± 0.01He等人（2021）0.85 ± 0.05Benčević等人（2021）0.781.3　心包脂肪组织（PAT）1.3.1　切割依据心包脂肪组织（pericardial adipose tissue，PAT）在心血管疾病的发病机制中起着关键作用。在血管病理学中，心包脂肪组织体积增加，将导致心脏功能失调和细胞组成、分子特征改变。PAT功能障碍的特征是其炎性特征、氧化应激、血管保护性脂肪细胞衍生的松弛因子的产生减少以及旁分泌因子和趋化因子的产生增加。其中，旁分泌因子包括抵抗素、瘦素、细胞因子IL-6（interleukin 6）和TNF-α（tumor necrosis factor α）等；趋化因子指RANTES（reduced upon activation，nornal T cell expressed andsecreted，CCL5）和MCP-1（monocyte chemoattractant protein-1，CCL2）。这些脂肪细胞衍生因子启动并协调炎性细胞浸润，主要包括T（Thymus）细胞、巨噬细胞、树突状细胞、B（bone marrow）细胞和NK（natural killer）细胞。脂联素等保护因子可减少血管壁中NADPH（nicotinamide adenine dinucleotide phosphate）氧化酶超氧化物的产生并增加一氧化氮的生物利用度，而炎症（如IFN-γ或IL-17）可诱导内皮、血管平滑肌细胞和外膜成纤维细胞中的血管氧化酶和ENOS（endothelial nitric oxide synthase）功能障碍。所有这些事件都将功能失调的PAT与血管功能障碍联系起来。这些机制在许多心血管疾病（包括动脉粥样硬化、高血压、糖尿病和肥胖）的发病过程中发挥重要作用。因此，有必要开发监测PAT特征和评估其炎症的技术。这将有助于更好地开展针对疾病发展早期阶段的病理研究，开发新治疗策略。1.3.2　主要方法1）阈值处理。Dey等人（2008）提出了一种方法，首先将Vol（volume of interest）标注在心脏的切片。然后使用自适应阈值和区域增长来分割肺和其他无关的结构，并确定心脏区域，从该心脏区域通过阈值计算。一旦手动选择了限制切片，该算法可以在20 s内进行分割，而手动分割的时间为9～15 min。在105例患者中进行验证，准确性为94%，但有8%的情况未能分割PAT。2）基于图的分割。基于图的分割概述如图4所示。根据Ding等人（2016）的方法，可以通过使用基于图的分割来代替手动初始化，从而实现全自动初始化。一旦心脏被分割，就通过图形分割算法对输入图像中的脂肪组织进行阈值化处理。首先，从图像中分割出一个图，使其顶点是图像上各点的采样，并根据它们所连接的两点的相似性对边缘进行加权。在图中，较暗的边缘的权重更重。然后，丢弃一些低权重边，将图划分为连接分量。最后，利用分割图对原始图像进行分割。利用分割的心脏区域，确定图像上的PAT。该方法在6例患者上的Dice系数为 0.82。虽然由于仅评估了6例患者，该结果并不能表明面对大量数据的表现，但表明在MRI图像上自动分割PAT是可能的。10.11834/jig.230027.F004图4基于图的分割概述Fig.4An overview of graph-based segmentation3）机器学习。第1种分割PAT的方法是基于模糊连通性，由Bandekar等人（2006）提出。该方法使用了一系列阈值化和采样来在CT扫描上分割心脏和其余部分；然后使用模糊连接（fuzzy connectedness，FC）分割对PAT进行分割。FC从指定的种子点开始查找图像中的几个对象，并使用模糊亲和函数为每个像素分配一个范围在［0，1］的数值。再将这些信息用于FC分割，利用马氏相似度度量作为亲和函数来分割新的图像。该方法在23例患者上进行评估，平均准确率为 99.13%，但平均真阳性率为85.63%，说明PAT分割的准确率低于总体准确率。此外，该方法分割单个CT切片花费时长小于1 min。4）深度学习。PAT分割的深度学习方法与直接对EAT分割的方法类似。He等人（2020）提出一个基于3D的深度注意力U-Net模型，用来自6个不同中心的422例标记有PAT和心肌区域的CT图像进行训练和评估。结果显示，PAT分割的Dice系数高于0.88，相关性为0.99。将该模型与3维U-Net模型进行比较，对于PAT分割，该模型的Dice系数超过3维U-Net 0.02。2　临床应用2.1　心肌梗死准确及时地识别心肌梗死有助于指导治疗策略并减少进一步检查所需的时间。心脏 MRI在识别 MI（myocardial infarction）方面具有特殊价值。自2017年以来，有多项研究整合了来自这种成像模式的输入变量。Baessler等人（2018）使用钆增强MRI来判断慢性和亚急性心肌梗死，对180名患者进行检测，AUC为 0.92。AUC为ROC曲线下与坐标轴围成的面积，测试时进行归一化处理。然而，这些结果应该通过大量的患者来验证。Zhang等人（2019）从非增强MRI图像中检测心肌梗死，对212名慢性MI患者和87名健康对照志愿者进行检测，检测结果AUC为0.94。Mannil等人（2018）在心脏CT中结合深度学习进行了研究，基于肉眼不可见的特征在非对比低辐射剂量CT图像上进行处理，检测结果AUC为0.78 。2.2　动脉粥样硬化对比度的存在增加了错误分类的数量，动脉粥样硬化的斑块通常由专家手动评分，这导致工作量增加，容易出现误报，并且在专家手动评分方面存在观察者间的差异。Išgum等人（2004）设计了一种基于形状和强度特征的自动检测主动脉钙化的方法。主动脉钙化是已确定的动脉粥样硬化疾病的指标。该方法以平均每次扫描1.0个假阳性对象为代价，检测到209个冠状动脉粥样硬化斑块，但其准确性受图片的对比度影响。Išgum等人（2007）对上述方法进行了完善，用更复杂的特征集分析心脏CT，得到的冠状动脉粥样硬化斑块检测精度为0.74。Kolossv􀅡ry等人（2017）从一组60名具有餐巾环征（napkin-ring sign，NRS）和非NRS斑块且手动分割CAC（coronary artery calcification）程度相似的受试者中提取了一个包含4 440个特征的大型放射组学库，其中几乎一半的AUC达到0.8。这项研究揭示了放射组学在寻找判别特征方面的价值。Zreik等人（2019）在先前由专家注释的多平面重构冠状动脉CTA（CT angiograph）图像中使用循环CNN，斑块和狭窄特征的准确度分别达到0.77和0.8。3　心脏图像处理产业化现状按照国家卫生健康委员会能力建设和继续教育中心发布的关于放射影像数据库建设项目课题立项评审结果公示的通知（2022年7月），第1批放射影像数据库建设共13项，包括心脑血管影像数据库，项目建设期5年，分为标准建立期（至2022年底）、数据平台建设期（2023—2025年）和开发应用期（2025—2027年）3个阶段。也就是说，最晚至2027年，我国可建成一个有标准的基于器官的医学影像数据库。这对于人工智能（artificial intelligence，AI）辅助影像诊疗来说，将是一个快速市场化的阶段。数据是AI的基础，目前的人工智能辅助诊断、辅助检测大多采用监督学习，产品的研发、测试和质控均需要依托大量的标准检查病例，经监管机构、医院、企业和教育科研机构等认可共建的影像数据集，可以对人工智能产品研发上下游需求形成支撑，促进更多AI新研产品的临床落地和使用。2021年，国家通过政策强化服务体系，提出到2025年基本实现医疗装备产业链现代化。2022年国家通过政策鼓励发展专业性医院管理集团与医学检验等医疗服务，实现医疗数字化，通过人工智能辅助检验、治疗技术，要求医院优先购买国产设备，提高国产仪器和进口仪器的采购比，对高技术器械优先审评，发展高端医疗器械及设备。通过国家政策刺激，AI辅助影像系统以及辅助诊断在2022年上半年医疗健康行业交易量中占到18%，同时这一领域的拟上市公司占医疗服务行业总拟上市公司的11%；以人工智能为基础的数字医疗总体投资金额有79亿元，2022年上半年的平均单笔交易金额为0.9亿元。2022年上半年，业务范围包括AI医疗影像及病理的杏脉科技、深圳硅基仿生共接受投资8.4亿。与2019年至2021年比较，2022年上半年虽然在交易数量上由平均11笔下降至8笔，但平均交易额度由1.4亿元上升至2.6亿元（普罗永道《2022年上半年医疗健康行业并购交易趋势》、德勤《2021中国生命科学与医疗行业并购市场白皮书》）。同时，有高等院校响应国家提倡的产学研结合，充分利用学校、企业与科研单位等多种不同的环境资源，将科研成果市场化，进一步推动建设民生福利。如上海交通大学联合博动医学影像科技（上海）有限公司成立了上海交通大学—博动医学影像科技公司影像技术联合实验室。公司与高等院校通过上下游互动，完成多个心血管产品的开发和完善，结合医学影像和人工智能解决重大临床问题，将高等院校探索的前沿研究落地为实在的仪器成果。目前，人工智能在医学影像领域依然是辅助作用。人工智能在医学影像领域的应用绝大多数应用以单一疾病为主，如肺癌早筛。在功能层面，主要有疾病诊断支持和治疗决策支持。疾病诊断支持的发展明显多于治疗决策支持；在图像类型方面，各类影像均有涉及，包括X线影像、CT影像、病理图像和超声影像等，但总体以静态图像分析为主，对于动态影像的处理较少；在图像处理方式上，有影像分类、目标检测、图像分割和图像检索；在疾病应用方面，主要集中于肺癌筛查、糖网筛查、病理细胞筛查、病灶勾画和脏器3维成像。4　国内外相关产业进展比较4.1　高速运算硬件的迭代图形处理器（graphics processing unit，GPU）是进行图形和图像相关运算工作的微处理器。能够在短时间内进行大量计算的GPU是实现深度学习的重要前提条件。深度学习的发展离不开GPU运算速度的提升。2010年美国英伟达公司发布了GPU架构Fermi，这是支持CUDA（compute unified device architecture）的第3代 GPU架构（第1、2代分别是G80与GT200架构），随后在2012年和2014年发布了Kepler和Maxwell架构，尽管英伟达未在硬件层面对AI计算做特定优化，但在软件层面却引入了深度神经网络加速库cuDNN v1.0，使英伟达GPU的AI计算性能与易用性得到提升。2016年英伟达推出Pascal架构，这是面向AI计算场景发布的第一版架构，在硬件结构中加入了诸如 FP16（半精度浮点数计算）、NVLink（总线通信协议，可用于单CPU配置多GPU）、HBM（提升访存带宽）、INT8 格式支持（支持推理场景）等技术，软件层面也发布了面向推理加速场景的TensorRT与开源通信函数库NCCL（NVIDIA collective communication library）。随着人工智能领域的蓬勃发展，GPU和CUDA 成为深度学习等研究的重要工具，使用GPU进行深度学习研究已成为行业主流。尽管国内在GPU研发的核心技术和材料上与国际领先团队相比存在一定的距离，但近年来有了长足的发展，已经成为世界上不可小觑的研发力量。部分优质国产GPU企业已逐步展现出发展潜力，如景嘉微在经过JM5和JM7 系列应用升级后，当前 JM9系列已完成流片、封装阶段工作及初步测试工作。海光信息自2018年布局GPU行业以来，产品迭代进展迅速，2021年首款DCU产品深算一号已实现规模化出货，同时深算二号的研发也保持顺利。2022年8月，壁仞科技发布的首款通用GPU芯片BR100打破英伟达保持的算力记录，单芯片峰值算力达到PFLOPS级，8位定点算力达到2 000 T以上，但该芯片未有商业版。4.2　数据库的建立除了计算机算力和人工智能技术的发展，深度学习的发展离不开数据库的建立和公开。国外的会议如MICCA、刊物以及一些医学影像比赛都会公布一些公开的数据集。除了这些组织和机构，国际上的部分大学也会构建数据集，如美国斯坦福大学医学院构建了EchoNet-Dynamic Dataset，美国加利福尼亚大学构建了Alzheimer’s Disease Neuroimaging Initiative数据库。国内虽有海量数据，却尚未合理利用，这方面的工作有待加强。随着临床检验进入智能化时代，国家于2020年开始颁发一系列政策，着手建立各个专科的放射影像数据库。而这些数据库将从全国各地接受各种样本，建立起多样性、标准化和高标注的数据库。同时，该数据完全是国家所有，在安全性和伦理性也能够得到相当的保证。截至2021年10月，国家卫生健康委员会能力建设和继续教育中心利用基于医疗大数据和AI技术开发的数据平台，完成数据抽取、处理和转化，最终形成了一个高质量的肺结节影像专病数据库。目前该数据的价值及其建造流程已经获得医学界认可。4.3　影像技术发展图像的精度离不开检验仪器的稳定和发展。通过仪器的不断更新换代，假如在仪器上能够得到更加清晰的医学影像，则图像处理中无需过多考虑噪音的影响。1972年首台CT诞生，标志着放射影像进入计算机断层成像时代，在减少组织重叠的同时，还将X射线的密度分辨力提高了约20倍，是现代医学发展的一个里程碑。我国于20世纪70年代末（改革开放初期）引进了首台CT，而目前16排以上的多排螺旋CT已经普及到县级甚至县级以下医院。据不完全统计，目前我国CT的装机量已经突破3万台（中国医疗器械行业协会《中国CT产业市场扩容加速》）。同时国产的CT设备也在国内占据越来越大的份额，呈现出逐渐替代进口的趋势。20世纪80年代初期开始用于临床的MRI也是人类医学史上的伟大创举。40年来MRI发展迅速，场强也从原来的0.5 T以下为主发展为1.5 T～3.0 T为主，7.0 T设备也开始应用于临床。我国自从1985年引进第一台MRI以来，据不完全统计，目前国内临床MRI装机量已经突破2万台（观研报告网《2021年中国MRI市场分析报告——行业竞争格局与未来趋势研究》）。国产MRI的部分产品可与进口同类产品媲美，市场占有率在中端、底端已达到42%，但高端市场仍未有国产的身影（前瞻产业研究院《我国超导MRI市场的“中端”国产化率提升，“高端”仍被国外品牌占领》）。目前，基于人工智能的冠状动脉自动重建等系列产品，已经初步从实验室走向临床，并在多家医院进行了较为成熟的应用，为影像学诊断工作提供了极大便利。同时，基于人工智能的图像学习、信息深度挖掘等技术在影像医学的科研领域中也发挥着重要的作用，形成了一系列科研成果，为将来的临床转化和应用奠定了良好的基础。人工智能新技术在影像医学的广泛应用，提高了医师的工作效率，减轻了医师的劳动负荷，开启了当代医学发展的新纪元。5　发展趋势与展望目前的医学图像处理存在手动分割速度慢的问题，而传统的图像处理方法，如阈值处理等方法得到的图像质量有限。开发快速准确的量化方法可以改善心血管疾病风险评估、心血管疾病预防，进一步了解各种心血管疾病和心脏各项指标之间的确切关系。因此，仍然需要更准确的分割方法来分割大量更复杂的图像。近年越来越多的方法利用深度学习来实现EAT、PAT和全心的分割。这是该领域的一个显著趋势，随着基于深度学习方法的发展和成熟，这一趋势可能会继续下去。深度学习方法在其他分割任务中实现了很好的结果，这表明在医学图像应用上可以进一步改进基于深度学习方法的结果。众所周知，深度学习方法难以解释，仅是轻微的噪音或结构的轻微变化可能会产生截然不同的结果。即使提前了解所有变量的含义，也无法进行后期修正。研究者一旦训练好模型，就很难确切地确定模型在做什么来实现其结果。非深度学习方法，如阈值处理等方法，提供的结果更符合预期，它们的局限性通常可以更容易地进行测试和解释。然而，与深度学习相比，这些方法在其他分类任务中的性能较低。已有的全自动方法显示了良好的结果和很短的分割时间，利用大数据优势，可应用于3维心脏的重建、医学影像的智能分析，且就本文来看，优秀模型的准确率已接近人类专家。此外，还可以通过提取心脏边缘结构和纹理特征评估肿瘤患者的情况。在多种心血管疾病的诊断中，人工智能技术也已经逐步进入临床应用并得到认可。但是，在大量样本上验证时，这些方法明显与专家的手绘分割有差距。另一方面，一些半监督方法比全监督方法的表现更好，并显示出了临床应用的潜力。