Print

发布时间: 2022-12-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.210924
2022 | Volume 27 | Number 12




    综述    




  <<上一篇 




  下一篇>> 




面向房颤分析的左心房分割方法综述
expand article info 赵春艳1, 吴清1, 余太慧2, 蔡兆熙2, 沈君2, 赵地3, 郭士杰1, 王元全1
1. 河北工业大学人工智能与数据科学学院，天津 300401;
2. 中山大学孙逸仙纪念医院放射科，广州 510120;
3. 中国科学院计算技术研究所，北京 100190
收稿日期: 2021-09-22; 修回日期: 2021-12-10; 预印本日期: 2021-12-17
基金项目: 国家自然科学基金项目(61976241，61871173)
作者简介: 赵春艳，女，硕士研究生，主要研究方向为计算机视觉与医疗人工智能。E-mail: 1874134696@qq.com
吴清，通信作者，女，教授，主要研究方向为图像处理与模式识别。E-mail: wuqing@scse.hebut.edu.cn
余太慧，女，主治医师，主要研究方向为心血管影像学。E-mail: yuth3@mail.sysu.edu.cn
蔡兆熙，男，主治医师，主要研究方向为心血管影像学。E-mail: caizhx3@mail.sysu.edu.cn
沈君，男，教授，主任医师，主要研究方向为医学影像学、人工智能和分子影像学。E-mail: shenjun@mail.sysu.edu.cn
赵地，男，副研究员，主要研究方向为医疗人工智能与芯片技术。E-mail: zhaodi@escience.cn
郭士杰，男，教授，主要研究方向为护理机器人和无束缚生理信息监测。E-mail: guoshijie@hebut.edu.cn
王元全，男，教授，主要研究方向为计算机视觉与医疗人工智能。E-mail: wangyuanquan@scse.hebut.edu.cn
*通信作者: 吴清  wuqing@scse.hebut.edu.cn
中图法分类号: TP391.4
文献标识码: A
文章编号: 1006-8961(2022)12-3429-21

摘要

房颤是一种起源于心房的心脏疾病。据估计全球有超过3 000万人受其影响，虽然通过治疗可以降低患病风险，但房颤通常是隐匿的，很难及时诊断和干预。房颤的诊断方法主要有心脏触诊、光学体积描记术、血压监测振动法、心电图和基于影像的方法。房颤类型主要为阵发性房颤，前4种诊断方法不一定能捕捉到房颤发作，而且诊断周期长、成本高、准确率低及容易受医生的影响。左心房的解剖结构为房颤病理和研究进展提供了重要信息，基于医学影像的房颤分析需要准确分割左心房，通过分割结果计算房颤的临床指标，例如，射血分数、左心房体积、左心房应变及应变率，然后对左心房功能进行定量评估。采用影像的方法得出的诊断结果不易受人为干扰且具有处理大批量患者数据的能力，辅助医生及早发现房颤，对患者进行干预治疗，提高对房颤症状和临床诊断的认识，在临床实践中具有重大意义。本文将已有的分割方法归纳为传统方法、基于深度学习的方法以及传统与深度学习结合的方法。这些方法得到的结果为后续房颤分析提供了依据，但目前的分割方法许多都是半自动的，分割结果不够精确，训练数据集较小且依赖手工标注。本文总结了各种方法的优缺点，归纳了目前已有的公开数据集和房颤分析的临床应用，并展望了未来的发展趋势。

关键词

房颤(AF); 医学图像; 深度学习(DL); 左心房分割; 左心房功能

Advances of left atrial segmentation methods for atrial fibrillation analysis
expand article info Zhao Chunyan1, Wu Qing1, Yu Taihui2, Cai Zhaoxi2, Shen Jun2, Zhao Di3, Guo Shijie1, Wang Yuanquan1
1. School of Artificial Intelligence, Hebei University of Technology, Tianjin 300401, China;
2. Department of Radiology, Sun Yat-sen Memorial Hospital, Sun Yat-sen University, Guangzhou 510120, China;
3. Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100190, China
Supported by: National Natural Science Foundation of China (61976241, 61871173)

Abstract

Atrial fibrillation (AF) is one of the most arrhythmia symptoms nowadays. The incidence rate of AF increases with elder growth and it can reach 10% population over 75 years old. The AF duration can be divided into paroxysmal, persistent and permanent, and it is induced to the morbidity and mortality of cardiovascular diseases severely. It affects more than 30 million people worldwide like reducing the quality of life and linking high risk of cerebral infarction and death. Although the risk can be reduced with appropriate treatment, AF is often latent and difficult to diagnose and intervene quickly. Recent AF-diagnostic methods have composed of cardiac palpation, optical plethysmography, blood pressure monitoring and vibration, electrocardiogram (ECG) and image-based methods. Most of atrial fibrillation has paroxysmal atrial fibrillation. The four diagnostic methods mentioned above may not capture the onset of atrial fibrillation. It is challenged for long-term diagnosis cycles, high costs, low accuracy and vulnerability. Medical imaging promotes contemporary modern medicine, computed tomography (CT) and magnetic resonance imaging (MRI) via transparent image of the cardiac anatomy. The MRI can be as one of the key medical imaging techniques, which of being unaffected by ionizing radiation, having high soft tissue contrast and high spatial resolution. Current images have limited of low signal-to-noise ratio (SNR) and low resolution to a certain extent. AF is regarded as a heart disease of atrial origin. In order to quantify the morphological and pathological changes of the left atrium (LA), it is necessary to segment the LA derived from the medical image. The medical imaging analysis of AF requires accurate LA-related segmentation and quantitative evaluation of the function. The segmentation and functional evaluation of the LA is crucial to improving our understanding and diagnosis of AF. However, segmentation of the LA on medical images is still being challenged. 1) The LA can occupy a small proportion of the image only compared with the background of the image, making it difficult to locate and identify boundary details. 2) The strength of the LA is quite similar to its surrounding chambers, the myocardial wall is thinner, the quality of medical images is not high, the resolution is limited, and the boundaries often appear blurred or missing in the LA surrounding the pulmonary vein (PV). 3) The shapes and sizes of the LA vary significantly thematically as the number and topology of the PV. Our critical review is focused on the integration of current segmentation algorithms and traditional segmentation methods, deep learning based segmentation, and traditional & deep learning-integrated segmentation. Traditional segmentation methods are mainly composed of the active contour model (ACM), atlas segmentation and threshold issue. ACM requires an accurate initial contour. Atlas segmentation requires complete multiple atlas sets and atlas registration, but the manual annotation of atlas sets is a challenging task due to a large number of atlas sets, which makes manual annotation difficult to be completed. In addition, the result of the annotation is vulnerable to be influenced by different taggers and atlas registration is very time-consuming. The threshold method requires the pre-determination of an appropriate threshold, which may be subjective and could ultimately limit the applicability and reproducibility. Although the traditional segmentation methods have achieved certain results, the accuracy of the segmentation is still insufficient. In recent years, deep learning technique has shown its potentials in medical image analysis, and they have qualified in different imaging modes and different clinical applications. It has improved imaging efficiency and quality, image analysis and interpretation and clinical evaluation. With the development of convolutional neural network (CNN), many variant CNN models have emerged, which have made great impacts on the improvement of segmentation algorithms. The full convolutional network (FCN) is a variant of the CNN. Based on the CNN, the FCN uses the 1×1 convolutional layer to update the full connection layer, and changes the height and width of the feature maps of the intermediate layers back to the size of the input image in terms of transposing the convolutional layer, the prediction results and the input image have one-to-one correspondence in the spatial dimension, the FCN can accept input images of any size, and generate segmentation images of the same size. The FCN mainly uses three techniques: 1) convolution, 2) upsampling and 3) skip connection. The FCN uses the skip connection structure to upsample feature maps of the last layer of the network model, and fused with feature maps of the shallow layer, combining the high-level semantic information with the low-level image information. The U-Net is a variant model of the FCN. The U-Net adopts the encoder-decoder architecture to form a U-shaped structure with four downsampling operations followed by four up sampling steps. The U-Net captures global features on the contraction path and achieves precise positioning on the extension path, thus the segmentation problem-solving of complex neuron structures has achieved excellent performance adequately. On this basis, variant models of the 3D U-Net and the Ⅴ-Net are introduced. The training of neural network models requires a large amount of labeled data as there are millions of parameters in the network that need to be optimized. Accurate segmentation of the LA is of great clinical significance for the diagnosis and analysis of AF. However, manual segmentation of the LA is time-consuming and prone to human-related errors. Therefore, the research of automatic segmentation algorithms is essential in assisting diagnosis and clinical decision-making. We summarize the pros and cons of varied segmentation strategies, existing public data sets and clinical applications of atrial fibrillation analysis and its future trends.

Key words

atrial fibrillation(AF); medical image; deep learning(DL); left atrium segmentation; left atrium function

0 引言

房颤(atrial fibrillation，AF)是最常见的心律失常，是左心房(left atrium，LA)异位搏动引起的(January等，2014)，患病率约0.4%~1%(Tops等，2010)，主要与年龄增长、肥胖和高血压等因素有关。房颤是一种全球流行的疾病，患病率和发病率逐年增长，预计到2050年，房颤发病率将翻一番(Chugh等，2014)。

左心房是房颤研究中的重要解剖结构，左心房的功能是预测房颤的独立因子，对初步评估房颤具有重要意义。与无房颤的群体相比，房颤患者的左心房体积显著增大、排空分数下降(左心房功能受损)且纵向应变受损。2D和3D图像的左心房体积指数，无房颤群体的分别为26.7 ml/m2和26.5 ml/m2，房颤患者的分别为33.7 ml/m2和33.5 ml/m2。通过2D超声心动图测量左心房排空分数评估房颤患者的左心房功能，房颤患者的左心房功能受到抑制，房颤患者和无房颤群体分别为46.3%和57.3%(Pedersen等，2019)。2腔和4腔心收缩末期左心房体积(正常值≤34 ml/m2)也是预测房颤的关键指标(Donal等，2017)。临床主要采用射血分数(ejection fraction，EF)、左心房(LA)体积、LA应变、LA应变率等临床参数评估左心房功能，进一步辅助诊断房颤。这些临床参数计算的准确性取决于左心房轮廓的准确描绘。虽然计算机断层扫描(computer tomography，CT)和磁共振成像(magnetic resonance imaging，MRI)都可以用于左心房分割，但是心脏核磁共振(cardiac magnetic resonance，CMR)由于较高的空间分辨率和定义心内膜边界的能力，被认为是评估左心房功能的金标准成像模式。左心房功能评估需要从MRI图像中分割出左心房。目前左心房分割依赖医生手动分割，这是一项烦琐耗时的任务，而且受医生勾勒结果的影响，因此左心房分割算法的研究至关重要。

分割算法分为传统方法、基于深度学习(deep learning，DL)的方法以及传统与深度学习结合的方法。虽然取得了一定成就，但是这个课题的研究仍处于起步阶段(Li等，2022)，存在很大挑战，主要包括：1)分割算法不够精确；2)医学图像(晚期钆增强磁共振图像(late gadolinium enhancement-magnetic resonance imaging，LGE-MRI))质量不高，如图 1(a)所示；3)左心房大小形态不一，如图 1(b)所示；4)医学分析软件仍需人工干预；5)手工分割结果因不同人和同一人不同时间存在差异。



图 1 成像质量差的LGE-MRI以及左心房
Fig. 1 LGE-MRI with poor quality and left atrium
((a) LGE-MRI with poor quality; (b) left atrium)

临床上对房颤诊断及其干预有很多研究。李倩等人(2021)通过抗心动过速起搏研究对房颤患者的干预效果，Kareem等人(2021)回顾了用于房颤检测的设备以预防脑卒中，但是基于医学影像的房颤分析研究尚不成熟。本文对左心房分割算法和功能量化进行综述，总结相关数据集，对基于左心房功能量化分析房颤的临床应用进行归纳，最后对未来发展趋势进行展望。

1 左心房分割的传统方法

很多传统分割方法用于左心房(LA)分割，使用最广泛的是主动轮廓模型(active contour model，ACM)和图谱分割法，在LA分割上取得了良好效果。

1.1 主动轮廓模型

ACM是医学图像分割中的一个强大方法，在最小能量泛函驱动下，利用曲线演化定位目标的边缘，最终分割出目标。该模型也称为snake模型，在心脏分割中有着广泛应用(Kass等，1988)。王元全和贾云得(2007, 2009)以及Wu等人(2013)将该方法用于左心室(left ventricle, LV)分割。王元全和贾云得(2007)在GVF snake(gradient vector flow)模型的基础上，引入最小曲面梯度向量流和形状能量项，克服了目标的弱边界、图像灰度不均和乳突肌影响等问题，降低了分割结果对初始轮廓的依赖，但是存在梯度矢量流计算量大、形状约束权重参数多等问题。因此，王元全和贾云得(2009)提出基于snake模型的卷积虚拟静电场外力模型CONVEF(convolutional virtual electric field)，采用Fourier变换实现了实时计算，可以准确分割左心室内、外膜。类似地，Wu等人(2013)通过对图像的梯度图进行卷积，提出一种快速外力梯度向量卷积GVC(gradient vector convolution)模型，引用圆形约束作为形状先验，修改边缘图生成一个新的GVC力场，克服了乳头肌和伪影影响。

LA分割中许多研究采用ACM方法，取得了不错的效果。Chan和Vese(2001)提出一种新的活动轮廓模型，该模型的停止项用图像的特定分割代替经典主动轮廓模型的图像梯度，可以检测到非光滑或非梯度定义的边界，而经典模型是不适用的。在此基础上，Saini等人(2012)采用Newton-Raphson方法代替了Chan和Vese(2001)使用的梯度下降法，实现了心房和心室的边界快速检测。该算法比Chan和Vese(2001)的算法少100次迭代，具有较快的响应速度，能够提高轮廓在边界上的收敛速度。类似地，Daoudi等人(2013)在ACM的基础上结合梯度向量流方法进行左心房定位以及轮廓分割。该方法首先通过自适应直方图均衡化调整直方图，改善图像对比度，提高图像质量；然后采用区域生长技术初步分割，提供了一个靠近左心房的初始轮廓；最后，GVF-snake模型自动变形直到收敛，实现对左心房的最终分割。该方法简单、快速，得到的分割结果优于区域生长得到的初始轮廓，但是这种检测方法需要一个精确的初始化轮廓，而且区域生长法对参数变化敏感，高度依赖参数的正确选择，自适应直方图均衡化方法也存在过度放大图像中相同区域的噪声问题。

ACM方法存在依赖初始轮廓、在低对比度和强度分布不均匀图像上分割效果差等缺点，为解决这些问题，研究者提出了很多方法。随机森林(random forests，RF)方法可以处理大量、多类和高维医学图像，训练完成后，可以筛选出重要特征，在许多心脏组织的分割任务中具有准确性和鲁棒性。在此基础上，Margeta等人(2013)对MRI图像中的左心房进行了自动分割。首先使用所有可用的训练图像训练决策森林的结构，然后使用这个森林分割其他数据集。同时，结合阈值技术提取血液池，使用上下文特征从图像其他结构中分离左心房，对配准方法要求较低。但是该方法的训练集太小，仅由10幅图像组成，可能不适合空腔轮廓分割，经常漏分肺静脉(pulmonary vein，PV)或分类错误。不同于RF方法将分割问题定义为分类问题，Ma等人(2017)通过轮廓进化细化体素分类，获得了几何约束的分割结果。与传统的ACM方法相比，该方法能够自动化轮廓初始化过程，并通过复杂的特征学习和形状先验集成方法实现完全自动化、精确和鲁棒的LA分割，在MRI数据集上验证优于其他方法，Dice从0.622 2±0.87提高到0.922 7±0.059 8，平均表面距离从1.34±8.72降低到1.14±1.205。Gonzales等人(2021)在ACM的基础上添加极坐标，结合二尖瓣跟踪、自动阈值计算、径向重采样图像的边缘检测、基于Dijkstra算法的边缘跟踪以及平滑和插值等后处理，分割精度与手工分割相似，速度快了120倍，能够对所有帧进行高精度自动分割，在长轴视图中实现了高效的LA分割，但是该方法的数据集全是房颤患者，导致样本量小，而且4视图的分割精度不高。代表性的ACM方法如表 1所示。

表 1 主动轮廓分割法
Table 1 Active contour segmentation methods

下载CSV
文献 方法 分割部位 图像 预处理 后处理
Saini等人(2012) ACM + 水平集 LA、LV 超声心动图 - -
Daoudi等人(2013) ACM + 区域生长 LA、PV CT 自适应直方图 -
Margeta等人(2013) ACM + 随机森林 LA MRI 线性地调整强度 -
Ma等人(2017) ACM + 随机森林 LA MRI 平移、下采样 上采样
Gonzales等人(2021) ACM + 极坐标 LA MRI 归一化、设置阈值 平滑、插值
注：“-”表示文献无该项内容，LA: 左心房；LV: 左心室；PV: 肺静脉。

1.2 图谱分割法

图谱分割首先将多幅图谱图像与目标图像配准，然后根据配准后的图谱和相应的标签推断出目标，最后结合多图谱编码的先验解剖知识进行分割。图谱分割已成功应用于医学图像分割，包括LA、大脑、心脏和腹部图像，在许多解剖结构的分割上具有很高的准确性和鲁棒性。图谱分割法主要有图谱选择和标签融合两大挑战。图谱选择是图谱分割中重要的一步，主要有两种选择策略，通过目标图像与图谱之间的相似度选择图谱，或通过图谱之间的匹配程度进行筛选，最常用的选择标准是前者。与基于单个图谱的分割(Heckemann等，2006)相比，多图谱分割利用多个图谱弥补单图谱分割可能产生的偏差，并用标签融合生成最后的分割结果。由此，单个图谱的分割误差可以被平均，即使单个图谱集的配准出现较大偏差时，分割性能也不会受到很大影响，显著提高了分割精度。

Bai等人(2013)利用多图谱评估了28名受试者的心脏MRI图像。首先，在贝叶斯框架下建立了一个基于patch的标签融合模型。其次，利用标签信息提高图像配准精度，提高了分割精度。然而，提出的多图谱分割方法在标签融合过程中只利用小patch内的强度信息，可能忽略了梯度和上下文(周围区域的外观)等其他有用信息。因此，Bai等人(2015)将灰度、梯度和背景信息结合成一个增强特征向量，并将其结合到多图谱分割中，采用支持向量机(support vector machine，SVM)代替K近邻分类器进行多图谱标签融合。在83名受试者的心脏短轴MR数据集上进行测验，所提出的分割框架的平均Dice度量是0.81，而传统的基于多图谱的分割是0.79，表明利用增强特征向量可以显著提高多图谱分割的准确性。同样地，Hao等人(2012)、Wang等人(2013)和Bai等人(2015)的方法非常相似，他们使用完全不同的特征集，并将该方法推广到脑图像分割，证明了使用增强特征向量进行多图谱分割的优点，以及由于使用更复杂的分类器带来的改进。当然，在未来的多图谱分割算法中，可以结合其他算法，支持向量机只是潜在方法之一。此外，Wang等人(2013)提出与Bai等人(2015)非常相似的标签融合方法，不同的是，Wang等人(2013)采用一种智能的方法计算标签融合的权重，以减少相关的标签误差。而Bai等人(2015)使用了更多的特性而不是使用更智能的加权方法。在之后的研究中可以考虑将这两种方法的优点结合起来。全心脏分割可以排除LA周围的其他结构，解决LA与周围结构强度相似的问题。Zhuang和Shen(2016)采集了MRI和CT的多模态图谱，提出一种基于多尺度patch策略的标签融合算法和全局图谱排序进行全心脏MRI分割的方法，利用多尺度图像的信息提供不同层次的图像结构，用于多级局部图谱排序。Nuñez-Garcia等人(2018)也提出全心脏分割方法，首先构建整个心脏的LGE-MRI图谱，然后用主成分分析模型捕获LA的形状，为了减少配准时间，采用一个两步策略，先根据LA形状对图谱分类，再与目标图像进行配准，采用基于多图谱的框架对LA分割，最终改善了分割结果。类似地，Mulder等人(2018)采用一个两步走策略，基于图谱拼接技术对经食管3维超声心动图中的LA分割，提高了配准的鲁棒性。在图像中，经常出现强度不均匀问题，不能提供准确的分割结果，给图像分割带来很大挑战，水平集方法可以很好地解决图像强度不均匀问题。Tao等人(2016)在LGE-MRI上自动分割LA，采用多图谱的全局分割方法和水平集的局部细化分割方法，引入MRA(MR angiography) 序列，增强了可视化，在自动评估房颤患者的LA瘢痕方面具有很高潜力。Qiao等人(2018)基于多图谱从钆增强磁共振图像(gadolinium enhancement-magnetic resonance imaging，GE-MRI)中自动分割LA腔，该方法先将GE-MRI图像转化为概率图，然后选择合适的图谱，进行多图谱配准与标签融合，最后用水平集方法对最终的结果进行细化。Kim等人(2019)提出基于多图谱的心脏图像分割，不需要调整阈值和任何正则化参数，轮廓演化也不需要提供初始种子和感兴趣区域。虽然多图谱的分割效果比单图谱要好很多，但是多图谱计算量大、计算时间长，因为单图谱只需要执行一次空间归一化，但是单图谱的准确性受到限制。有代表性的各种多图谱分割方法如表 2所示。

表 2 图谱分割法
Table 2 Atlas segmentation methods

下载CSV
文献 方法 分割部位 图像 预处理 后处理
Bai等人(2013) 多图谱+贝叶斯 LV、LV腔 MRI - -
Bai等人(2015) 多图谱+SVM+图割 LV心肌 MRI 配准 图割
Nuñez-Garcia等人(2018) 多图谱 LA LGE-MRI - -
Mulder等人(2018) 图谱拼接技术 全心脏 经食管3维超声心动图 - -
Tao等人(2016) 多图谱+水平集 LA、PV LGE-MRI - -
Zhuang和Shen(2016) 多图谱 全心脏 MRI 裁剪 -
Qiao等人(2018) 多图谱+水平集 LA腔 GE-MRI GE-MRI转化为概率图 -
注：“-”表示文献无该项内容。

1.3 其他传统方法

除了主动轮廓法和图谱分割法，还有其他传统分割方法。研究者结合解剖或形状的先验，以应对LA形状不一和强度分布的变异性。Gao等人(2010)在分割过程中使用形状先验知识，提出一种基于形状的图像分割框架识别延迟增强磁共振(delay enhancement-magnetic resonance imaging，DE-MRI)中的左心房心内膜壁。Zheng等人(2011)提出一种基于部件的方法分割LA，该方法分割了腔室、附肢、4个PV，通过形状先验方法对LA进行最终的分割。Zhu等人(2013)基于变分区域增长与矩的形状先验从MRI中提取LA，该方法对形状变化和图像质量具有较强的鲁棒性。Karim等人(2014)结合高斯混合模型(Gaussian mixture model，GMM)和疤痕强度先验提出一种LA纤维化的分割算法，为GE-MRI提供一种标准化的量化技术。类似地，Sodergren等人(2019)提出一种基于贝叶斯曲面的分割框架，基于混合的全局形状先验和基于特征的局部强度先验，学习高维形状空间中的相应的参数而不是预先投影到低维子空间中，避免了高维空间中模型过拟合的问题。

图割法也是研究者采用的传统分割方法。图割法是将图像分成背景和前景两个不相交部分，利用图割技术将前景和背景分割开。Shi等人(2011)通过4D图割方法利用多个不同空间分辨率的MRI信息，结合马尔可夫随机场(Markov random field，MRF)细化所有的分割，提高了心脏分割算法的性能。Yang等人(2013)提出一种基于图的方法，利用边缘空间学习对基于模型的LA分割方法进行细化。首先建立感兴趣的区域约束分割，然后采用区域生长方法在感兴趣区域内构造图，进行图割优化。同时，提取了左心耳、左下肺静脉，左上肺静脉、右下肺静脉和右上肺静脉5个主要部位，然后将分割的LA部件合并。Veni等人(2013)利用图割法得到了一个全局最优解的分割。不同于施加硬约束条件的图割法，提出的方法遵循贝叶斯公式，对网格切割的空间变化进行软约束。Grosgeorge等人(2014)提出一种基于图割框架的全自动分割方法，结合先验知识和多图谱配准方法分割左心室和右心室关节，然后将先验项集成到多标签代价函数中。Liu等人(2017)结合最大化期望算法(expectation maximization，EM)、水平集和图割，提出一种分割左心房和定量纤维化组织，并从DE-MRI中量化其在左心房中比例的方法。该方法人工干预较少，而且左心房纤维化组织的定量可以帮助设计导管消融手术的个体化治疗方案。代表性的其他分割心脏的传统方法如表 3所示。

表 3 其他传统分割方法
Table 3 Other traditional segmentation methods

下载CSV
文献 方法 分割部位 图像 预处理 后处理
Gao等人(2010) 形状先验 LA心内膜壁 GE-MRI 配准 -
Zheng等人(2011) 形状先验 LA CT - -
Zhu等人(2013) 变分区域增长+形状先验 LA MRI 归一化、缩放 -
Karim等人(2014) GMM LA疤痕 DE-MRI LA提取、配准 MRF
Sodergren等人(2019) GMM + 形状先验 LA MRI - -
Shi等人(2011) 图割+ MRF LV、RV、心肌 MRI 统一所有图像的坐标系 MRF
Yang等人(2013) 图割+ 区域生长+ 边缘空间学习 LA、右PV CT - -
Veni等人(2013) 图割+ 最优后验估计 LA壁 DE-MRI Rician噪声、随机翻转 MRF
Grosgeorge等人(2014) 图割+ 多图谱+ 形状先验 LV、RV MRI 放大、裁剪 -
Liu等人(2017) EM + 图割+ 水平集 LA DE-MRI 图像分类 -
注：“-”表示文献无该项内容。

1.4 传统方法总结

近年来，许多分割方法应用于左心房图像分割，包括主动轮廓法、多图谱分割法、形状先验和图割法等。研究者采用一种方法或多种方法结合提高了LA分割的鲁棒性。通过区域生长实现初步分割，提供初始轮廓。通过增强特征向量、采用复杂的分类器以及改变融合权重改善了标签融合过程，提高了LA分割的准确性。通过增加标签信息、两阶段策略提高了图像配准的准确度，缩短了配准时间。通过全心分割排除了LA周围的其他组织，克服了周围组织对LA分割的影响。当然，多尺度信息、形状先验或空间信息对提高LA分割的精度也非常重要。

ACM的优势在于可以结合更多的高层信息指导轮廓演化，通过尺度空间，由粗到细地极小化能量，增大捕获区域，降低了计算复杂度，实现了目标轮廓的快速准确分割。图谱分割方法分为单图谱分割和多图谱分割。多图谱分割方法由于使用更多的图谱，有效减少了单图谱分割方法中的误差。多图谱分割方法中使用的图谱包含图像的灰度信息和先验信息等不同类型的信息，相比于其他分割方法能得到更加准确的分割结果。传统方法虽然取得了不错的效果，但仍存在一些缺点。由于图像缺乏清晰的边界，ACM分割LA通常导致轮廓泄漏或部分分割，即轮廓扩展到所需的边界之外或只捕捉部分所需的区域。而且ACM依赖于一定的轮廓初始化，在分割不理想的图像上进行轮廓初始化更具有挑战性，如强度不均匀和低组织对比度的图像。基于多图谱的分割方法依赖计算资源，分析、操作和处理所有图谱需要大量的内存和时间，需要复杂的程序构建图谱或非刚性配准，而且对具有不同拓扑结构的LA配准也是需要解决的问题。如图 2所示，图 2(a)是正常人的肺静脉，图 2(b)箭头位置肺静脉发生了变异，比正常人多了1根。如果图谱种类多样化，只有少数图谱会对每个目标图像进行分割，因此实际上有用的图谱的数量会很少，而且在标签融合过程中，即使不正确的图谱的权重非常小，也会对LA分割结果产生负面影响。



图 2 肺静脉结构
Fig. 2 Pulmonary vein structure
((a) normal pulmonary vein; (b) pulmonary vein variation)

2 基于深度学习的左心房分割方法

传统分割方法依赖于手工提取特征，缺乏对未见病例(如PV数量稀少的左心房)的泛化能力。近年来，卷积神经网络(convolutional neural network，CNN)在计算机视觉任务中取得巨大进展，成为分析医学图像的首选方法。Cireşan等人(2012)首先将CNN引入医学图像分割，在以像素为中心的正方形窗口中预测原始像素的标签。因为网络必须对每幅图像中的每个像素都单独运行，所以这种方法非常慢，而且窗口重叠会产生大量冗余。全卷积网络(fully convolutional network，FCN)是CNN的改进版，Long等人(2015)用卷积层代替CNN中的全连接层，通过直接对神经网络进行端到端训练，优化中间特征层进行分割，优于传统的将特征学习和分割视为两个独立任务的方法。Ronneberger等人(2015)在FCN基础上提出了U-Net，针对医学图像分割设计，由一个压缩路径和一个对称扩展路径组成，通过有效结合网络体系结构中的高层和低层特征，取得了优异性能。Çiçek等人(2016)提出了3D U-Net，该网络扩展了Ronneberger等人(2015)提出的U-Net，用3D操作代替2D操作进行体积分割。Milletari等人(2016)提出了Ⅴ-Net模型，使用一种基于Dice系数的损失函数，解决了前景和背景不平衡问题，引入残差连接，增加了网络的收敛性，获得了较好的分割精度。在现有模型的基础上，研究者提出了自己的分割方法。Shen等人(2021)提出一种基于扩张残差U-Net模型的股骨和胫骨分割方法，用扩张卷积扩大了接受域，具有参数少、精度高和收敛速度快等优点。吴宣言等人(2020)结合DenseNet(dense network)网络和残差网络提取图像特征，通过深层聚合的方式融合得到的特征信息，实现对左心室的精确分割。Zhang等人(2021)利用DenseNet的特征重用，改进了密集块的内部连接，构建了一个轻量级的网络分割左心室和心肌。刘畅等人(2021)同时提取心肌内膜和外膜，解决了需要对左心室心肌内膜和外膜单独建模的问题，平均Dice系数相比U-Net提升了3.5%，平均豪斯多夫距离(average Hausdorff distance，AHD)降低了18%。目前使用比较多的网络模型是FCN和U-Net，有些基于2D，有些基于3D。

2.1 2D分割方法

2D分割方法是将每个切片单独送入模型处理数据，最后将每个切片的分割结果叠加得到最终的3D分割图。主要有两个优点，一是增加了训练数据的样本；二是使2维卷积有更好的存储效率。

考虑到左心房形态的高度变化和肺静脉的分支结构，多尺度特征图能够在不同尺度上捕捉信息。Bian等人(2018)利用金字塔池收集多尺度特征图中的语义信息，扩大了接受域范围，用交叉熵作为目标函数解决类别不平衡问题，用改进的在线难例挖掘改善了网络对难例分割的问题，显著提高了训练效果。与Bian等人(2018)提到的多尺度方法类似的还有多视图方法。实际问题中，单视图仅考虑视图内的结构信息，未有效利用视图间的相关信息，造成融合后的特征维数较大，增加了计算复杂度。多视图可以获取不同角度的图像信息，获取的数据可以由多个特征集合表示，改善了在数据集上的分割效果。Yang等人(2020)开发了一个全自动的多视图双任务递归注意力模型(multiview two-task，MVTT)，可以同时分割LA和LA瘢痕。MVTT主要由1个多视图学习网络和1个扩张注意网络组成。多视图学习网络包括3个子网，即1个序列学习网络和2个扩张残差网络。多视图学习网络主要学习多视图特征，将2维轴向切片进行关联，同时整合正交视图的互补信息，将3个卷积层连接起来进行LA解剖的分割，以减少3维空间信息的丢失。与传统的无监督学习和监督学习方法相比，Yang等人(2020)提出的MVTT模型在敏感度和Dice系数方面取得了优异成绩，为房颤患者自动生成了结合疤痕分割的特异性解剖模型。类似地，Mortazi等人(2017)和Luo等人(2018)也融合多视图信息进行分割。CNN的训练通常需要大量的标记数据，然而在医学图像领域，手动标注3维医学图像数据非常耗时，而且容易受不同标注者的影响，因此如何利用未标注数据训练模型是一个重要问题。对此，研究者提出基于半监督网络的分割模型。Zhang等人(2017)基于深度对抗网络(deep adversarial network，DAN)对生物医学图像进行分割，模型由分段网络(segmentation network，SN)和评估网络(evaluation network，EN)组成，通过迭代对抗训练过程，EN不断评价未标注数据的分割结果，SN就可以对未标注数据产生越来越准确的分割。该模型通过度量标注数据和未标注数据的相似性来选择标注数据，未标注数据获得了与标注数据一致的分割结果。Nie等人(2018)同样利用DAN提出一种基于注意力机制的半监督深度网络来分割医学图像，利用DAN选择未标注数据的可置信区域来训练网络，有效解决了训练复杂网络时标注数据不足的问题。此外，Bai等人(2017)利用半监督学习方法评估短轴心脏MRI图像，减少了对大量标注数据的需求，该方法优于基于监督学习的方法。

研究者还提出了其他一些分割方法。Khened等人(2019)基于DenseNet进行心脏分割，通过反向传播在训练过程中促进层间梯度的多路径流动，实现了隐性的深度监督。DenseNet支持特征重用，在减少参数数量的同时保证了性能，克服了特征图爆炸问题，但边界处分割效果不理想。Ghosh等人(2020)提出基于开放轮廓分割LA的方法，利用深度卷积神经网络从心脏2、3、4室MRI长轴中自动分割LA，划定了心肌与心内膜之间的边界，排除了二尖瓣，分割结果可用于临床上应变和应变率的测量。该方法使用开放轮廓方法，比基于像素级语义分割的U-Net方法更具挑战性，通过多层自动编码器预测压缩向量，然后将其反向投影到LA的分割轮廓中，使用开放轮廓实现轮廓的描绘。该方法的豪斯多夫距离为4.2，明显优于U-Net的11.9，提供了基于开放轮廓的LA分割。此外，Loureno等人(2021)在编码和解码路径中添加残差单元，使用专门的数据增强方案，基于U-Net对短轴图像进行分割。虽然基于深度学习的分割方法可以提供不错的LA分割效果，但往往不能很好地概括未知领域，例如不同扫描仪或不同站点的数据。Li等人(2021)研究了U-Net、UNet++、DeepLab v3+和多尺度注意网络等常用的语义分割模型在多中心LGE-MRI中LA分割的泛化能力，收集了140多幅不同中心的不同质量水平的LGE-MRI。结果表明，这些分割模型在未知领域上的性能显著下降。因此，Li等人(2021)提出了3种泛化的策略，即直方图匹配、基于互信息的解缠表示和随机风格转移。这3种方法都能解决性能下降问题，其中，直方图匹配是最有效的解决方法。代表性的2D分割心脏的方法如表 4所示。其中，CRF(conditional random field)指条件随机场。

表 4 2D分割方法
Table 4 2D segmentation methods

下载CSV
文献 方法 分割部位 图像 预处理 后处理 框架
Bian等人(2018) ResNet-101 LA、PV GE-MRI 随机翻转、归一化 连通区域分析 PyTorch
Khened等人(2019) DenseNet LV、RV、心肌 Cine MRI 裁剪 连通区域分析 TensorFlow
Ghosh等人(2020) Inception V4 LA MRI 调整图像大小适应网络输入 - TensorFlow
Yang等人(2020) MVTT LA、LA疤痕 LGE-MRI MN - TensorFlow
Mortazi等人(2017) CNN 全心脏 CT/MRI 直方图匹配、平滑滤波 - TensorFlow
Luo等人(2018) CNN LV CMR 归一化、裁剪、旋转、平移 - Keras
Loureno等人(2021) SEGANet LA Cine MRI 旋转、平移、缩放、噪声、平滑非刚性变换、K-space - -
Li等人(2021) CNN LA LGE-MRI 旋转、随机翻转、裁剪、归一化、高斯噪声 - PyTorch
Bai等人(2017) VGG-16 LV腔、RV腔、心肌 CMR 裁剪、归一化、随机排序 CRF Theano
注：“-”表示文献无该项内容，MN: mean normalization。

2.2 3D分割方法

2D分割方法通常只能处理2D图像，而临床数据大多数都是3D的。用2D训练网络模型主要有两个问题，一是会丢失空间信息；二是标注的3D数据切割成2D切片后，会有大量的冗余注释。因此许多研究者提出了3D分割网络模型。

Xia等人(2018)设计了两个基于Ⅴ-Net的网络用于GE-MRI 3维自动分割心房。第1个网络定位到心房的位置，粗分割心房；第2个网络精确分割第1个网络得到的结果。这样降低了内存成本，在普通个人电脑上就可以训练网络。Wang等人(2018)方法也分为两个阶段，该方法基于3D U-Net框架，可以直接对原始分辨率的数据进行预测，相比深度卷积神经网络具有更好的分割性能。Vesal等人(2018)对3D U-Net进行改进，在编码器最底层使用扩张卷积，以提取更宽空间范围的特征，在编码器分支中添加卷积层之间的残差连接，以更好地融合多尺度图像信息，保证梯度的平滑流动，整合了全局信息与局部信息，整体分割精度较3D U-Net有所提高。Savioli等人(2018)提出一种基于3D卷积核的容积全卷积神经网络(volumetric fully convolution neural network，Ⅴ-FCNN)，可以一次性从高分辨率(640×640像素)图像中分割整个心房，损失函数采用均方误差和Dice损失，提高了捕获LA形状的能力，减少了局部误差造成的过分割。该方法在心房的中间部位有良好表现，但是在捕获PV变异或分割心房到心室的瓣膜时性能仍有待提高。Li等人(2018)提出一种结合层次聚合和注意力机制的3维左心房分割网络(hierarchical aggregation network，HAANet)，通过层次聚合增强了编码器和解码器中卷积神经网络的浅层和深层特征融合能力，此外采用注意力机制提高了提取高效特征的能力。同样，Zhao等人(2021)采用注意力机制，提出一种基于ResNet-101体系结构的框架，同时关注区域和边界处的分割，使用区域损失和边界损失相结合的混合损失同时处理边界和区域，增加额外的注意模块，使网络对区域给予更多的注意，减少了邻近相似组织的误导影响。Xiong等人(2019)提出新模型AtriaNet，由多尺度的双路径架构组成，有16层CNN，利用13个CNN捕获局部心房组织的几何形状和LA的全局位置信息，并进一步用3个CNN进行合并。由于其为双路径，本质上可以处理两倍的信息量，与其他CNN相比，AtriaNet可以预见很多未见的患者数据，减少过拟合。

目前，多尺度特征图也已用于其他领域。Dou等人(2017)提出的用于肺结节分类的神经网络和Kamnitsas等人(2017)提出的用于脑病变分割的神经网络都包含了不同输入分辨率的多条路径。Yu等人(2019)研究半监督的LA分割方法，提出一种不确定性感知半监督框架，从3D MRI图像中分割LA。该框架支持在不同扰动下对相同输入的一致预测，可以有效利用未标记数据。学生模型通过挖掘教师模型中的不确定信息，逐步在更有意义的目标中学习，在更可靠的监督下得到优化，鼓励教师模型产生更高质量的目标。Yu等人(2019)基于数据层面或模型层面的扰动构建一致性进行半监督学习。Luo等人(2021)采用多任务网络同时进行分割和水平集函数回归，利用判别器进行正则化，通过两个任务之间的表示差异构建一致性进行半监督学习。与Yu等人(2019)方法相比，Dice提高了0.54%。代表性的3D分割心脏的方法如表 5所示。

表 5 3D分割方法
Table 5 3D segmentation methods

下载CSV
文献 模型 分割部位 图像 预处理 后处理 框架
Xia等人(2018) Ⅴ-Net LA腔 GE-MRI CLAHE、下采样、缩放、平移、旋转、裁剪 上采样 PyTorch
Vesal等人(2018) U-Net LA GE-MRI CLAHE、裁剪 - Keras
Savioli等人(2018) Ⅴ-FCNN 全心房 LFE-MRI CLAHE、裁剪、do-noise过滤器、下采样 上采样 Torch
Li等人(2018) HAANet LA GE-MRI 平移、缩放、归一化 - Keras
Wang等人(2018) U-Net 全心脏 CT、MRI 旋转、平移、剪切、缩放、翻转、弹性变形 上采样 TensorFlow
Xiong等人(2019) AtriaNet LA心内膜、心外膜 LGE-MRI 弹性变形、仿射变换和扭曲 高斯滤波 TensorFlow
Yu等人(2019) Ⅴ-Net LA GE-MRI 裁剪、归一化、随机翻转 - PyTorch
Zhao等人(2021) ResNet-101 LA GE-MRI 裁剪、高斯归一化 连通区域分析、填充0 Keras，TensorFlow
Luo等人(2021) Ⅴ-Net LA、胰腺 MRI、CT 图像重采样、中心裁剪、归一化 - PyTorch
注：“-”表示文献无该项内容，CLAHE: contrast limited adaptive histogram equalization。

2.3 深度学习方法总结

深度学习方法主要分为2D分割和3D分割两大类。2D分割和3D分割都采用了注意力机制、半监督和多尺度的方法。此外，还有多视图、两阶段学习网络、开放轮廓和特征重用等方法。通过多尺度、注意力机制扩大了模型的接受域，提高了模型的泛化能力。多尺度网络是一种高效的体系结构，同样可以获取不同的接受域，利用金字塔、多条输入路径等在不同的尺度上捕获信息，提高训练后的深度学习模型的性能。注意力机制在人类视觉中起着重要作用，聚焦于重要区域，过滤无关信息，并弥补CNN有限的接受域。此外，多视图的方法从不同角度获取了更多的语义信息，提高了分割精度。在训练数据有限的情况下，通过半监督网络加快了模型的收敛速度，解决了标注数据时间花费大、标注数据少的难题。两阶段网络也是较好的训练策略，解决了类别不平衡问题，提高了基于深度学习方法的分割性能。特征重用、开放轮廓的方法在LA分割方面也显示出了巨大潜力。

应用2D和3D分割方法都可以快速准确地分割左心房。但2D分割方法的参数量相对较少，处理速度快、效率高，对机器性能要求较低。3D分割方法保留了连续切片的空间信息，分割精度更高。然而，深度学习的方法仍然存在一些问题。2D卷积存在丢失空间信息、注释数据冗余等问题。3D卷积模型复杂，网络参数较多，增大了内存负担，需要对图像进行预处理，缩减原图像的像素，但显然会导致性能损失。FCN和U-Net体系结构虽然可以在一定程度上弥补空间分辨率的损失，但在小范围目标上性能较差，而且需要大量的标注数据。

3 传统方法与深度学习方法结合的左心房分割方法

基于深度学习的方法在心脏图像分割中取得了很好的效果。然而，大多数基于深度学习的分割方法在训练时只考虑离散空间中的标签掩码，缺乏空间信息，在边界上的预测往往是模糊的，导致分割结果中有很多噪声。而传统方法依赖手工特征提取，耗费大量时间。由于缺少全局形状约束、标记训练数据不足以及网络参数次优等原因，单独使用深度网络可能无法获得满意的结果。为了解决这一问题，在训练和搭建神经网络的基础上，使用一系列传统方法与之结合以增强深度学习的实现效果。例如，多图谱分割法、水平集、形状先验和图割法等，这也许是一个新的研究方向。

Yang等人(2018)在深度学习的基础上采用多图谱分割，改进了标签融合过程和标签融合权值的计算，实现了网络自动学习深度特征。该方法重新构建了基于patch的标签融合方法，将特征学习和标签融合模块集成到深度体系结构中，在多图谱分割框架下学习最优的图像特征进行标签融合。提出的多图谱分割方法通过精准的图像配准，将解剖结构的形状约束转移到目标图像上，而标签融合过程只对转换后的标签进行融合，减少对大型标记训练数据集的需求。与通过网络损失直接学习图像相似度的方法相比，该方法通过计算目标与图谱之间的相似度来估计标签融合权值，最大限度地减少了估计目标分割与真实目标分割之间的损失。相比于传统多图谱分割方法中手工提取特征，该网络通过端到端训练过程可以有区别地学习最优深度特征，并进行融合权值的计算。该方法在SATA-13(the MICCAI 2013 segmentation algorithms, theory and applications segmentation challenge)和LV-09两个公开的左心室分割数据库上进行评估，平均Dice分别为0.833和0.95，都达到较高的精度，对跨数据库评估具有较高的鲁棒性。Li等人(2020b)提出多尺度卷积神经网络学习和预测边缘权值。首先使用多图谱全心脏分割得到LA的初始分割，然后用多尺度提取LA心内膜纹理和解剖特征，最后通过图割法优化分割结果，明显高于基于图割法的分割精度。水平集方法通常基于小训练集和形状分割LA，在对视觉对象变化建模方面存在一定局限性，而深度学习可以模拟这种变化，结合两种方法的优点，既不需要大量的数据集又可以产生准确的分割结果。Ngo等人(2017)提出一种新的LV的心内膜和心外膜的分割方法，结合深度置信网络(deep belief network，DBN)和DRLSE(distance regularized level set evolution)水平集，二者结合比单独使用时分割精度更高，能够在有限的标注图像下进行鲁棒训练。Liu等人(2019)结合Faster R-CNN(faster region convolutional neural network)定位模型和3D水平集分割模型分割LA。首先，训练Faster R-CNN定位LA位置，减少了背景和邻近组织的干扰；其次，利用自适应阈值初始化水平集模型，这种方法比随机和固定的初始化更接近LA；最后，基于DRLSE的3维水平集模型得到最终的LA分割结果。该方法比原来的DRLSE方法在分割性能上有所提高，Dice分数为86.46%，提高了2.72%。Chen等人(2019)提出了形状感知多视图自动编码器(shape-aware multi-view autoencoder，Shape MAE)，从心脏短轴和长轴视图中学习解剖形状先验信息，然后将Shape MAE学习到的解剖先验信息融合到改进的U-Net体系结构中，实现心脏短轴图像分割。该模型保持了2D网络的计算优势，在训练过程中使用的参数(约120万个权重)比3D U-Net(约250万个权重)更少，提高了计算效率。与2维U-Net相比，该方法将顶端切片的平均豪斯多夫距离从3.24减少到2.49，中间切片从2.34减少到2.09，根部切片从3.62减少到2.76，实现了在不同短轴切片上的准确分割，优于基线的2D U-Net和3D U-Net。对于LA和LA瘢痕分割，以往的方法通常独立解决两个任务，忽略了LA和LA瘢痕的内在空间关系。Li等人(2020a)利用二者的空间关系同时分割LA和量化疤痕，提出一个端到端的学习框架，结合空间编码损失和形状注意机制损失，空间编码损失减少了预测中出现的异常值，降低了分割结果中的噪声，合并了LA的连续空间信息。

深度学习方法与多图谱分割、水平集、形状先验以及图割法等传统方法结合，弥补了传统方法和深度学习方法的缺点，效果优于各自的分割结果。结合各自的优点分割左心房，提高了分割精度，降低了分割损失。但这些混合算法的结合方式、适用性及参数选取等有待更深入的研究。代表性的传统方法与深度学习方法结合的心脏分割方法如表 6所示，其中，DBN(deep fusion net)指深度融合网络，DNN(deep neural network)指深度神经网络。

表 6 传统方法与深度学习方法结合的分割方法
Table 6 Combine tradition with deep learning segmentation methods

下载CSV
文献 方法 分割部位 图像 预处理 后处理 框架
Yang等人(2018) DFN + 多图谱 LV CMR 图像配准 - -
Li等人(2020b) CNN + 图割法 LA、LA疤痕 LGE-MRI LA分割、patch提取 CRF -
Ngo等人(2017) DBN + 水平集 LV CMR 模糊、下采样 - -
Liu等人(2019) RCNN + 水平集 LA CT 定位 - Caffe
Chen等人(2019) U-Net + 形状先验 LV CMR 裁剪 - PyTorch
Li等人(2020a) DNN + 形状注意机制 LA、LA疤痕 LGE-MRI 裁剪、归一化 - PyTorch
注：“-”表示文献无该项内容。

4 公共数据集及分割算法评估

4.1 公共数据集

有关左心房分割的公共数据集主要包括ISBI 2012(international symposium on biomedical imaging 2012)挑战赛图像数据库、左心房分割挑战赛图像数据、MICCAI 2017全心分割挑战赛图像数据和MICCAI 2018心房分割挑战赛图像数据。

ISBI 2012挑战赛图像数据库共60幅LGE-MRI图像，射频消融治疗房颤前后各30幅，每个中心提供10幅消融前后的图像，收集的图像包括每次LGE-MRI扫描的LA心内膜和LA腔。图像由3个人手工分割，建立了LA疤痕和纤维化的参考标准。Karim等人(2013)评估了8种不同算法，评估后发现没有一种算法明显优于其他算法。

左心房分割挑战赛(left atrial segmentation challenge，LASC)是2013年在STACOM' 13和MICCAI' 13进行的，包括30个CT和30个MRI数据，CT和MRI的训练数据10个，测试数据20个。Tobon-Gomez等人(2015)比较了挑战赛上的9种CT算法和8种MRI算法。结果表明，基于图谱的方法和区域生长的方法分割LA的效果最好。

MICCAI 2017全心分割挑战赛提供了120幅覆盖整个心脏的3维心脏多模态图像，包括60幅CT和60幅MRI，对每一种模态，数据分为两组，训练集包括CT和MRI各20幅，测试集包括CT和MRI各40幅。这些图像都是在临床环境中通过人工勾画获得的。Zhuang等人(2019)对12组提交的10种CT数据算法和11种MRI数据算法进行评估，结果表明，尽管训练数据集数量有限，但许多基于深度学习的方法仍获得了较高的精度。

MICCAI 2018心房分割挑战赛的数据由60例房颤患者的154幅3D LGE-MRI图像组成，其中，100幅用于训练，54幅用于测试，图像尺寸为576×576×88或640×640×88，数据包括消融前和消融后的图像，由3位医学专家手工进行LA分割。Xiong等人(2021)分析了提交的17种算法，发现基于深度学习的方法优于传统的多图谱分析方法，双CNN的使用性能远比单个CNN好。其中，第1个CNN用于感兴趣区域的定位，第2个CNN用于细化区域分割。此外，大多数团队的算法是基于U-Net框架的，而且PyTorch的分割效果更好。图 3展示了数据集的部分影像及标签。LA分割的公共数据集如表 7所示。



图 3 MICCAI 2018心房分割挑战赛数据集部分影像
Fig. 3 Partial images of MICCAI 2018 atrial segmentation challenge datasets
((a) original images; (b) labels)

表 7 左心房分割公共数据集
Table 7 Left atrium segmentation common datasets

下载CSV
数据集 图像
ISBI2012挑战赛(Karim等，2013) 60幅LGE-MRI
左心房分割挑战赛(Tobon-Gomez等，2015) 30幅CT、30幅MRI
MICCAI 2017全心脏分割挑战赛(Zhuang等，2019) 60幅CT、60幅MRI
MICCAI 2018心房分割挑战赛(Xiong等，2021) 154幅3D LGE-MRI

4.2 分割算法评估指标

目前用到的分割算法评估指标包括豪斯多夫距离(Hausdorff distance，HD)、平均表面距离(average surface distance，ASD)、Dice系数、杰卡德系数(Jaccard)、准确性(accuracy，AC)、特异性(specificity，SP)和敏感性(sensitivity，SE)等，最常用的是Dice系数。

HD用来衡量两个点集之间的距离。ASD是所有点的表面距离的平均。Dice系数和Jaccard系数都是集合相似度度量函数，通常用于计算两个样本的相似度。AC代表真实结果在检查病例总数中的比例。SP指筛检方法将无病的人正确判定为非患者的比例。SE指筛检方法将有病的人正确判定为患者的比例。具体为

$ { Dice }=\frac{2 T P}{F P+2 T P+F N} $ (1)

$ { Jaccard }=\frac{T P}{T P+F P+F N} $ (2)

$ A C=\frac{T P+T N}{T P+F P+F N+T N} $ (3)

$ S P=\frac{T N}{T N+F P} $ (4)

$ S E=\frac{T P}{T P+F N} $ (5)

式中，$TP$代表真阳率；$FP$代表假阳率；$TN$代表真阴率；$FN$代表假阴率。

部分文献分割用到的数据集及评估指标如表 8所示。其中，95HD表示95%的豪斯多夫距离；S2S(surface to surface)表示地对地；SD(surface distance)指表面距离；APD(average perpendicular distance)指平均垂直距离；ACDC-2017(the goal of the automated cardiac diagnosis challenge 2017)指自动心脏诊断挑战图像数据；LV-2011指左心室分割挑战图像数据；MCD(median contour distance)指中值轮廓距离；MICCAI 2009指MICCAI 2009 CMR左心室分割挑战赛图像数据。

表 8 部分文献分割用到的数据集和评估指标
Table 8 Datasets and evaluation indicators used in partial literatures segmentation

下载CSV
文献 实验数据集 评估指标 DiceLA
Gao等人(2010) 20幅GE-MRI图像 - -
Shi等人(2011) 32个患者的160幅MRI图像 Dice -
Zheng等人(2011) 469幅CT图像 S2S -
Saini等人(2012) 10幅超声图像 - -
Bai等人(2013) 健康的28幅MRI图像，患者的30幅MRI图像 Dice、HD -
Margeta等人(2013) LASC的30幅MRI数据 Dice 0.632±0.137
Daoudi等人(2013) LASC的20幅CT图像 - -
Yang等人(2013) 687幅CT图像 Dice -
Veni等人(2013) 130幅DE-MRI图像 Dice -
Zhu等人(2013) 16幅DE-MRI、64幅MRI图像 Dice、HD、SD 0.79±0.05
Grosgeorge等人(2014) 48个患者的754幅图像 Dice -
Karim等人(2014) 15个LA消融后的MRI图像 Dice、SP、SE -
Bai等人(2015) 83个受试者的MRI图像 Dice、Jaccard -
Tao等人(2016) 46个患者的MRI图像 Dice、S2S 0.86±0.11
Zhuang和Shen(2016) 20幅MRI、20幅CT图像 Dice、HD、Jaccard、SD 0.878±0.624
Liu等人(2017) 4个患者的154幅图像 - -
Mortazi等人(2017) MICCAI 2017全部数据 Dice、S2S 0.9
Bai等人(2017) 100个受试者的MRI图像 Dice -
Ma等人(2017) LASC的30幅MRI数据 Dice、S2S 0.922 7±0.059 8
Ngo等人(2017) MICCAI 2009全部数据 Dice -
Qiao等人(2018) MICCAI 2018中的100幅LGE-MRI图像 Dice、APD 0.88
Bian等人(2018) MICCAI 2018的100幅LGE-MRI图像 Dice、HD、Conform 0.928 3
Luo等人(2018) 500幅MRI训练，200幅MRI验证，440幅MRI测试 - -
Xia等人(2018) MICCAI 2018全部数据 Dice 0.932
Vesal等人(2018) MICCAI 2018的100幅LGE-MRI图像 Dice、AC、Jaccard 0.926
Savioli等人(2018) MICCAI 2018的100幅LGE-MRI图像 Dice、HD 2D：0.925；3D：0.851
Li等人(2018) MICCAI 2018的100幅LGE-MRI图像 Dice 0.923
Wang等人(2018) MICCAI 2017全部数据 Dice、Jaccard、ASD CT: 0.904 4;MRI: 0.852 4
Yang等人(2018) SATA-13、MICCAI2009全部数据 Dice、HD -
Nuñez-Garcia等人(2018) MICCAI 2018中的100幅LGE-MRI图像 Dice、S2S、HD 0.842±0.049
Mulder等人(2018) 36个患者的超声图像 Dice -
Sodergren等人(2019) 100幅MRI Dice 0.743
Khened等人(2019) ACDC-2017、LV-2011全部数据 Dice、HD -
Xiong等人(2019) MICCAI 2018全部数据 Dice、HD、SP、SE 心内膜0.942；心外膜0.94
Yu等人(2019) MICCAI 2018的100幅LGE-MRI图像 Dice、95HD、ASD、Jaccard 0.888 8
Liu等人(2019) LASC全部数据 Dice、IOU 0.864 6
Chen等人(2019) 734个受试者的MRI图像 Dice、HD -
Li等人(2020b) 58幅消融后的LGE-MRI Dice、AC、SE、SP 0.908±0.031
Li等人(2020a) MICCAI 2018的100幅LGE-MRI图像 Dice、HD、ASD 0.913±0.032
Ghosh等人(2020) 100个患者的7 710幅MRI图像 Dice、HD 0.931
Yang等人(2020) 190个病例的LGE-MRI AC、SP、SE、Dice 0.93
Loureno等人(2021) 60个患者、12个健康人的MRI图像 Dice、HD、MCD 0.93±0.04
Li等人(2021) ISBI 2012和MICCAI 2018中的140幅LGE-MRI Dice、HD、ASD -
Zhao等人(2021) MICCAI 2018的100幅LGE-MRI图像 Dice、95HD、AHD 91.792±1.065
Luo等人(2021) 100幅心脏MRI、82幅腹部CT图像 Dice、Jaccard、ASD、95HD 0.894 2
Gonzales等人(2021) 37个患者的1110幅MRI图像 Dice、HD 2室：0.96；4室：0.95
注：“-”表示文献无该项内容，DiceLA为左心房Dice系数。

5 临床应用

心房颤动的特征是左心房快速和不规则的收缩，对患者生活质量影响很大。基于LA分割结果，可以计算其功能指标，例如LA的射血分数(LVEF)、容积、应变和应变率等，实现对房颤的辅助诊断。评估LA功能的方法主要有多普勒和容积法。近年来，用于LV斑点跟踪的超声心动图(speckle tracking echocardiography，STE)也应用于评估LA功能以辅助诊断房颤(Donal等，2017)。

Loureno等人(2021)用射血分数(EF)表征心动周期内的LA功能，EF依赖于整个心脏周期内LA体积的比率，为房颤研究提供重要的临床信息。Bratt等人(2019)发现LA容积可以作为CT图像中独立预测房颤的因子，提出了一种测量体积的自动化方法，它与手工测量的性能相当，但在速度上高出许多倍。心脏应变可分为周向、径向和纵向应变，径向应变存在成像分辨率低、再现性差等缺点，因此目前研究最广泛的是周向应变和纵向应变。Kadappu等人(2016)和Yoon等人(2015)使用为LV开发的应变软件研究LA应变。Gan等人(2018)提出LA应变和应变率参数比传统心功能参数更敏感。Truong等人(2020)利用心脏磁共振特征追踪(cardiac magnetic resonance feature tracking，CMR-FT)建立LA应变、应变率和LA球形度的正常参考范围，比较了使用CMR-FT和STE的LA应变。Hinojar等人(2019)通过CMR-FT评估LA功能，发现左心房纵向应变可能成为心脏不良的潜在预测因子。不同于传统的通过周向和纵向应变评估LA功能，Hammouda等人(2020)开发了一种基于拉普拉斯方程的方法进行应变分析，通过求解心脏周期内连续两帧之间LV轮廓的拉普拉斯方程跟踪LA壁，采用基于拉格朗日的方法进行应变估计。研究者发现，LA应变的临床价值高于LA容积。Truong等人(2020)发现LA应变的诊断价值和预后价值高于LA体积，LA应变具有更高的诊断准确性。此外，Yasuda等人(2015)和Nakamori等人(2018)发现相比LA最大容积，LA应变更适合预测导管消融后房颤复发，同时LA应变还可以对房颤高风险血栓栓塞患者进行分层，这是因为与房颤相关的心房重构导致了房腔整体的几何变化。Morales等人(2021)开发了一个基于深度学习的应变分析工作流，对分割、运动和应变估计做了基准测试，该工作流快速、独立于操作人员，能够从可重复的新数据中获得应变值并与其他标记数据进行比较。

LA体积测量是对分割出来的LA应用标准公式估算，基于3维图像的体积估计将更加精确。常用的LA体积测量方法是改进的辛普森方法和双平面面积长度法，还可使用专门的3维建模软件。LA应变是一种简单、准确、重复性好的评估LA储层、导管、收缩功能的技术。因此，标准化的方法、共同的参考值和LA应变分析特定软件对未来的研究和临床应用至关重要。表 9总结了目前心脏分割的临床应用。

表 9 心脏分割的临床应用
Table 9 Clinical application of cardiac segmentation

下载CSV
文献 临床指标 图像 评估方法
Kadappu等人(2016) LA应变 超声心动图 应变分析软件
Yoon等人(2015) LA应变 超声心动图 应变分析软件
Bratt等人(2019) LA体积 CT 标准公式
Truong等人(2020) LA应变、应变率、球形度 MRI CMR-FT、STE
Yasuda等人(2015) LA应变 经胸超声心动图 STE
Nakamori等人(2018) LA应变 CMR 跟踪软件
Hinojar等人(2019) LA纵向应变 MRI CMR-FT
Hammouda等人(2020) LA应变 Cine MRI 拉普拉斯方程
Loureno等人(2021) LAEF Cine MRI 标准公式
Morales等人(2021) LV应变 Cine MRI CNN
注：LAEF为left atrial ejection fraction。

6 结语

医学图像分割是计算机辅助诊断中的一项基础性和挑战性任务。本文介绍了医学图像中房颤分析的研究进展，重点介绍了左心房(LA)的分割算法和功能评估。传统的分割算法主要依据LA的轮廓、形状和纹理确定边界，但受医学图像分辨率不高和心脏结构复杂的影响，造成其分割不准确，适用范围有限。深度学习的分割算法主要是基于CNN及其变体分割LA，在时间效率方面，2D架构的网络明显强于3D网络，通常比3D架构快4倍左右，但是在分割性能方面二者相当。LA功能评估主要有射血分数，体积、应变和应变率等临床指标。虽然MRI图像具有良好的时间、空间分辨率等优点，但从MRI中自动分割LA仍具有很大的挑战性。首先，左心房相对于背景只占很小的比例，使得算法难以定位和识别边界细节。其次，由于磁共振分辨率有限，与周围腔室强度相似，心肌壁较薄，所以心房和肺静脉周围常出现边界模糊。最后，左心房的形状和大小在不同受试者和时间点有很大差异。

针对LA分割和房颤分析的研究现状，可从以下方面进一步探索，提高LA的分割质量和房颤诊断精度。目前的研究大多是基于单一中心的数据，提出的算法只在单一数据集上表现良好，需要提高模型在不同医院不同设备的数据上的泛化能力。标准数据不足影响模型收敛速度且标注数据耗费时间，实现半监督或弱监督分割是一个突破口。一般来说，图像质量越高，分割精度越高，如何通过预处理提高图像分辨率或减少模型对图像质量的依赖有待探究。许多研究方法只关注区域分割，忽略了边界分割，需要进一步提高边界或小目标的分割精度。深度学习与心脏多模态图谱或形状信息相结合的混合方法具有潜力，值得进一步探索。

参考文献

  • Bai W J, Oktay O, Sinclair M, Suzuki H, Rajchl M, Tarroni G, Glocker B, King A, Matthews P M and Rueckert D. 2017. Semi-supervised learning for network-based cardiac MR image segmentation//Proceedings of the 20th International Conference on Medical Image Computing and Computer-Assisted Intervention. Quebec City, Canada: Springer: 253-260 [DOI: 10.1007/978-3-319-66185-8_29]
  • Bai W J, Shi W Z, Ledig C, Rueckert D. 2015. Multi-atlas segmentation with augmented features for cardiac MR images. Medical Image Analysis, 19(1): 98-109 [DOI:10.1016/j.media.2014.09.005]
  • Bai W J, Shi W Z, O'Regan D P, Tong T, Wang H Y, Jamil-Copley S, Peters N S, Rueckert D. 2013. A probabilistic patch-based label fusion model for multi-atlas segmentation with registration refinement: application to cardiac MR images. IEEE Transactions on Medical Imaging, 32(7): 1302-1315 [DOI:10.1109/TMI.2013.2256922]
  • Bian C, Yang X, Ma J Q, Zheng S, Liu Y A, Nezafat R, Heng P A and Zheng Y F. 2018. Pyramid network with online hard example mining for accurate left atrium segmentation//Proceedings of the 9th International Workshop on Statistical Atlases and Computational Models of the Heart. Granad, Spain: Springer: 237-245 [DOI: 10.1007/978-3-030-12029-0_26]
  • Bratt A, Guenther Z, Hahn L D, Kadoch M, Adams P L, Leung A N C, Guo H H. 2019. Left atrial volume as a biomarker of atrial fibrillation at routine chest CT: deep learning approach. Radiology: Cardiothoracic Imaging, 1(5): #190057 [DOI:10.1148/ryct.2019190057]
  • Chan T F, Vese L A. 2001. Active contours without edges. IEEE Transactions on Image Processing, 10(2): 266-277 [DOI:10.1109/83.902291]
  • Chen C, Biffi C, Tarroni G, Petersen S, Bai W J and Rueckert D. 2019. Learning shape priors for robust cardiac MR Segmentation from multi-view images//Proceedings of the 22nd International Conference on Medical Image Computing and Computer Assisted Intervention. Shenzhen, China: Springer: 523-531 [DOI: 10.1007/978-3-030-32245-8_58]
  • Chugh S S, Havmoeller R, Narayanan K, Singh D, Rienstra M, Benjamin E J, Gillum R F, Kim Y H, McAnulty J H Jr, Zheng Z J, Forouzanfar M H, Naghavi M, Mensah G A, Ezzati M, Murray C J L. 2014. Worldwide epidemiology of atrial fibrillation: a global burden of disease 2010 study. Circulation, 129(8): 837-847 [DOI:10.1161/CIRCULATIONAHA.113.005119]
  • Çiçek Ö, Abdulkadir A, Lienkamp S S, Brox T and Ronneberger O. 2016. 3D U-Net: learning dense volumetric segmentation from sparse annotation//Proceedings of the 19th International Conference on Medical Image Computing and Computer-Assisted Intervention. Athens, Greece: Springer: 424-432 [DOI: 10.1007/978-3-319-46723-8_49]
  • Cireşan D C, Giusti A, Gambardella L M and Schmidhuber J. 2012. Deep neural networks segment neuronal membranes in electron microscopy images//Proceedings of the 25th International Conference on Neural Information Processing Systems. Lake Tahoe, USA: ACM: 2843-2851 [doi: 10.5555/2999325.2999452]
  • Daoudi A, Mahmoudi S and Chikh M A. 2013. Automatic segmentation of the left atrium on CT images//Proceedings of the 4th International Workshop on Statistical Atlases and Computational Models of the Heart. Nagoya, Japan: Springer: 14-23 [DOI: 1007/978-3-642-54268-8_2]
  • Donal E, Galli E, Schnell F. 2017. Left atrial strain: a must or a plus for routine clinical practice?. Circulation: Cardiovascular Imaging, 10(10): #007023 [DOI:10.1161/CIRCIMAGING.117.007023]
  • Dou Q, Chen H, Yu L Q, Qin J, Heng P A. 2017. Multilevel contextual 3-D CNNs for false positive reduction in pulmonary nodule detection. IEEE Transactions on Biomedical Engineering, 64(7): 1558-1567 [DOI:10.1109/TBME.2016.2613502]
  • Gan G C H, Ferkh A, Boyd A, Thomas L. 2018. Left atrial function: evaluation by strain analysis. Cardiovascular Diagnosis and Therapy, 8(1): 29-46 [DOI:10.21037/cdt.2017.06.08]
  • Gao Y, Gholami B, Macleod R S, Blauer J, Haddad W M and Tannenbaum A R. 2010. Segmentation of the endocardial wall of the left atrium using local region-based active contours and statistical shape learning//Proceedings of SPIE 7632, Medical Imaging 2010: Image Processing. International Society for Optics and Photonics. San Diego, USA: SPIE: #76234Z [DOI: 10.1117/12.844321]
  • Ghosh S, Ray N, Boulanger P, Punithakumar K and Noga M. 2020. Automated left atrial segmentation from magnetic resonance image sequences using deep convolutional neural network with autoencoder//Proceedings of the 17th IEEE International Symposium on Biomedical Imaging (ISBI). Iowa City, USA: IEEE: 1756-1760 [DOI: 10.1109/ISBI45749.2020.9098646]
  • Gonzales R A, Seemann F, Lamy J, Arvidsson P M, Heiberg E, Murray V, Peters D C. 2021. Automated left atrial time-resolved segmentation in MRI long-axis cine images using active contours. BMC Medical Imaging, 21(1): #101 [DOI:10.1186/s12880-021-00630-3]
  • Grosgeorge D, Petitjean C and Ruan S. 2014. Joint segmentation of right and left cardiac ventricles using multi-label graph cut//Proceedings of the 11th IEEE International Symposium on Biomedical Imaging. Beijing, China: IEEE: 429-432 [DOI: 10.1109/ISBI.2014.6867900]
  • Hammouda K, Khalifa F, Abdeltawab H, Elnakib A, Giridharan G A, Zhu M, Ng C K, Dassanayaka S, Kong M, Darwish H E, Mohamed T M A, Jones S P, El-Baz A. 2020. A new framework for performing cardiac strain analysis from cine MRI imaging in mice. Scientific Reports, 10(1): #7725 [DOI:10.1038/s41598-020-64206-x]
  • Hao Y F, Liu J Q, Duan Y Y, Zhang X Q, Yu C S, Jiang T Z and Fan Y. 2012. Local label learning (L3) for multi-atlas based segmentation//Proceedings of SPIE 8314, Medical Imaging 2012: Image Processing. San Diego, USA: SPIE: #83142E [DOI: 10.1117/12.911014]
  • Heckemann R A, Hajnal J V, Aljabar P, Rueckert D, Hammers A. 2006. Automatic anatomical brain MRI segmentation combining label propagation and decision fusion. NeuroImage, 33(1): 115-126 [DOI:10.1016/j.neuroimage.2006.05.061]
  • Hinojar R, Zamorano J L, Fernández-Méndez M, Esteban A, Plaza-Martin M, González-Gómez A, Carbonell A, Rincón L M, Nácher J J J, Fernández-Golfín C. 2019. Prognostic value of left atrial function by cardiovascular magnetic resonance feature tracking in hypertrophic cardiomyopathy. The International Journal of Cardiovascular Imaging, 35(6): 1055-1065 [DOI:10.1007/s10554-019-01534-8]
  • January C T, Wann L S, Alpert J S, Calkins H, Cigarroa J E, Cleveland J C Jr, Conti J B, Ellinor P T, Ezekowitz M D, Field M E, Murray K T, Sacco R L, Stevenson W G, Tchou P J, Tracy C M, Yancy C W. 2014. 2014 AHA/ACC/HRS guideline for the management of patients with atrial fibrillation: a report of the American College of Cardiology/American Heart Association Task force on practice guidelines and the heart rhythm society. Circulation, 130(23): 199-267 [DOI:10.1161/CIR.0000000000000041]
  • Kadappu K K, Abhayaratna K, Boyd A, French J K, Xuan W, Abhayaratna W, Thomas L. 2016. Independent echocardiographic markers of cardiovascular involvement in chronic kidney disease: the value of left atrial function and volume. Journal of the American Society of Echocardiography, 29(4): 359-367 [DOI:10.1016/j.echo.2015.11.019]
  • Kamnitsas K, Ledig C, Newcombe V F J, Simpson J P, Kane A D, Menon D K, Rueckert D, Glocker B. 2017. Efficient multi-scale 3D CNN with fully connected CRF for accurate brain lesion segmentation. Medical Image Analysis, 36: 61-78 [DOI:10.1016/j.media.2016.10.004]
  • Kareem M, Lei N R, Ali A, Ciaccio E J, Acharya U R, Faust O. 2021. A review of patient-led data acquisition for atrial fibrillation detection to prevent stroke. Biomedical Signal Processing and Control, 69: #102818 [DOI:10.1016/J.BSPC.2021.102818]
  • Karim R, Arujuna A, Housden R J, Gill J, Cliffe H, Matharu K, Gill J, Rindaldi C A, O'Neill M, Rueckert D, Razavi R, Schaeffter T, Rhode K. 2014. A method to standardize quantification of left atrial scar from delayed-enhancement MR images. IEEE Journal of Translational Engineering in Health and Medicine, 2: 1-15 [DOI:10.1109/JTEHM.2014.2312191]
  • Karim R, Housden R J, Balasubramaniam M, Chen Z, Perry D, Uddin A, Al-Beyatti Y, Palkhi E, Acheampong P, Obom S, Hennemuth A, Lu Y L, Bai W J, Shi W Z, Gao Y, Peitgen H O, Radau P, Razavi R, Tannenbaum A, Rueckert D, Cates J, Schaeffter T, Peters D, MacLeod R, Rhode K. 2013. Evaluation of current algorithms for segmentation of scar tissue from late gadolinium enhancement cardiovascular magnetic resonance of the left atrium: an open-access grand challenge. Journal of Cardiovascular Magnetic Resonance, 15(1): #105 [DOI:10.1186/1532-429X-15-105]
  • Kass M, Witkin A, Terzopoulos D. 1988. Snakes: active contour models. International Journal of Computer Vision, 1(4): 321-331 [DOI:10.1007/BF00133570]
  • Khened M, Kollerathu V A, Krishnamurthi G. 2019. Fully convolutional multi-scale residual densenets for cardiac segmentation and automated cardiac diagnosis using ensemble of classifiers. Medical Image Analysis, 51: 21-45 [DOI:10.1016/j.media.2018.10.004]
  • Kim S J W, Seo S, Kim H S, Kim D Y, Kang K W, Min J J, Lee J S. 2019. Multi-atlas cardiac PET segmentation. Physica Medica, 58: 32-39 [DOI:10.1016/j.ejmp.2019.01.003]
  • Li C Z, Tong Q Q, Liao X Y, Si W X, Sun Y Z, Wang Q and Heng P A. 2018. Attention based hierarchical aggregation network for 3D left atrial segmentation//Proceedings of the 9th International Workshop on Statistical Atlases and Computational Models of the Heart. Granada, Spain: Springer: 255-264 [DOI: 10.1007/978-3-030-12029-0_28]
  • Li L, Weng X, Schnabel J A and Zhuang X H. 2020a. Joint left atrial segmentation and scar quantification based on a DNN with spatial encoding and shape attention//Proceedings of the 23rd International Conference on Medical Image Computing and Computer Assisted Intervention. Lima, Peru: Springer: 118-127 [DOI: 10.1007/978-3-030-59719-1_12]
  • Li L, Wu F P, Yang G, Xu L C, Wong T, Mohiaddin R, Firmin D, Keegan J, Zhuang X H. 2020b. Atrial scar quantification via multi-scale CNN in the graph-cuts framework. Medical Image Analysis, 60: #101595 [DOI:10.1016/j.media.2019.101595]
  • Li L, Zimmer V A, Schnabel J A and Zhuang X H. 2021. AtrialGeneral: domain generalization for left atrial segmentation of multi-center LGE MRIs//Proceedings of the 24th International Conference on Medical Image Computing and Computer Assisted Intervention. Strasbourg, France: Springer: 557-566 [DOI: 10.1007/978-3-030-87231-1_54]
  • Li L, Zimmer V A, Schnabel J A, Zhuang X H. 2022. Medical image analysis on left atrial LGE MRI for atrial fibrillation studies: a review. Medical Image Analysis, 77: #102360 [DOI:10.1016/j.media.2022.102360]
  • Li Q, Hou J T, Yu B. 2021. The effect of pacemaker reactive anti-tachycardia pacing on atrial high-frequency events. Chinese Journal of Cardiac Pacing and Electrophysiology, 35(3): 214-219 (李倩, 侯锦婷, 于波. 2021. 起搏器抗心动过速起搏干预心房高频事件的疗效分析. 中国心脏起搏与心电生理杂志, 35(3): 214-219) [DOI:10.13333/j.cnki.cjcpe.2021.03.005]
  • Liu C, Lin N, Cao Y J, Yang C. 2021. Seg-CapNet: neural network model for the cardiac MRI segmentation. Journal of Image and Graphics, 26(2): 452-463 (刘畅, 林楠, 曹仰杰, 杨聪. 2021. Seg-CapNet: 心脏MRI图像分割神经网络模型. 中国图象图形学报, 26(2): 452-463) [DOI:10.11834/jig.190626]
  • Liu X, Shen Y, Zhao X and Zhang S. 2017. Quantized segmentation of fibrotic tissue of left atrial from delay-enhancement MRI images using level-set and graph-cut//Proceedings of 2017 International Conference on Machine Vision and Information Technology (CMVIT). Singapore, Singapore: IEEE: 23-27 [DOI: 10.1109/CMVIT.2017.13]
  • Liu Y S, Wang K Q, Luo G G and Zhang H G. 2019. A framework for left atrium segmentation on CT images with combined detection network and level set model//Proceedings of 2019 Computing in Cardiology (CinC). Singapore, Singapore: IEEE: 1-4 [DOI: 10.23919/CinC49843.2019.9005853]
  • Long J, Shelhamer E and Darrell T. 2015. Fully convolutional networks for semantic segmentation//Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Boston, USA: IEEE: 3431-3440 [DOI: 10.1109/CVPR.2015.7298965]
  • Loureno A, Kerfoot E, Dibblin C, Alskaf E, Anjari M, Bharath A A, King A P, Chubb H, Correia T M and Varela M. 2021. Left atrial ejection fraction estimation using SEGANet for fully automated segmentation of cine MRI//Proceedings of the 11th International Workshop on Statistical Atlases and Computational Models of the Heart. Lima, Peru: Springer: 137-145 [DOI: 10.1007/978-3-030-68107-4_14]
  • Luo G N, Dong S Y, Wang K Q, Zuo W M, Cao S D, Zhang H G. 2018. Multi-views fusion CNN for left ventricular volumes estimation on cardiac MR images. IEEE Transactions on Biomedical Engineering, 65(9): 1924-1934 [DOI:10.1109/TBME.2017.2762762]
  • Luo X D, Chen J N, Song T and Wang G T. 2021. Semi-supervised medical image segmentation through dual-task consistency//Proceedings of the 35th AAAI Conference on Artificial Intelligence. Palo Alto, USA: AAAI: 8801-8809
  • Ma C, Luo G N, Wang K Q. 2017. A combined random forests and active contour model approach for fully automatic segmentation of the left atrium in volumetric MRI. Biomed Research International, 2017: #8381094 [DOI:10.1155/2017/8381094]
  • Margeta J, McLeod K, Criminisi A and Ayache N. 2013. Decision forests for segmentation of the left atrium from 3D MRI//Proceedings of the 4th International Workshop on Statistical Atlases and Computational Models of the Heart. Nagoya, Japan: Springer: 49-56 [DOI: 10.1007/978-3-642-54268-8_6]
  • Milletari F, Navab N and Ahmadi S A. 2016. Ⅴ-net: fully convolutional neural networks for volumetric medical image segmentation//Proceedings of the 4th International Conference on 3D Vision (3DV). Stanford, USA: IEEE: 565-571 [DOI: 10.1109/3DV.2016.79]
  • Morales M A, Van Den Boomen M, Nguyen C, Kalpathy-Cramer J, Rosen B R, Stultz C M, Izquierdo-Garcia D, Catana C. 2021. DeepStrain: a deep learning workflow for the automated characterization of cardiac mechanics. Frontiers in Cardiovascular Medicine, 8(3): #730316 [DOI:10.1101/2021.01.05.425266]
  • Mortazi A, Burt J and Bagci U. 2017. Multi-planar deep segmentation networks for cardiac substructures from MRI and CT//Proceedings of the 8th International Workshop on Statistical Atlases and Computational Models of the Heart. Quebec City, Canada: Springer: 199-206 [DOI: 10.1007/978-3-319-75541-0_21]
  • Mulder H W, Van Stralen M, Ren B, Haak A, Van Burken G, Viergever M A, Bosch J G, Pluim J P W. 2018. Selection strategies for atlas-based mosaicing of left atrial 3-D transesophageal echocardiography data. Ultrasound in Medicine and Biology, 44(7): 1533-1543 [DOI:10.1016/j.ultrasmedbio.2018.02.004]
  • Nakamori S, Ngo L H, Tugal D, Manning W J, Nezafat R. 2018. Incremental value of left atrial geometric remodeling in predicting late atrial fibrillation recurrence after pulmonary vein isolation: a cardiovascular magnetic resonance study. Journal of the American Heart Association, 7(19): #009793 [DOI:10.1161/JAHA.118.009793]
  • Ngo T A, Lu Z, Carneiro G. 2017. Combining deep learning and level set for the automated segmentation of the left ventricle of the heart from cardiac cine magnetic resonance. Medical Image Analysis, 35: 159-171 [DOI:10.1016/j.media.2016.05.009]
  • Nie D, Gao Y Z, Wang L and Shen D G. 2018. ASDNet: attention based semi-supervised deep networks for medical image segmentation//Proceedings of the 21st International Conference on Medical Image Computing and Computer Assisted Intervention. Granada, Spain: Springer: 370-378 [DOI: 10.1007/978-3-030-00937-3_43]
  • Nuñez-Garcia M, Zhuang X H, Sanroma G, Li L, Xu L C, Butakoff C and Camara O. 2018. Left atrial segmentation combining multi-atlas whole heart labeling and shape-based atlas selection//Proceedings of the 9th International Workshop on Statistical Atlases and Computational Models of the Heart. Granada, Spain: Springer: 302-310 [DOI: 10.1007/978-3-030-12029-0_33]
  • Pedersen K B, Madsen C, Sandgaard N C F, Hey T M, Diederichsen A C P, Bak S, Brandes A. 2019. Left atrial volume index and left ventricular global longitudinal strain predict new-onset atrial fibrillation in patients with transient ischemic attack. The International Journal of Cardiovascular Imaging, 35(7): 1277-1286 [DOI:10.1007/s10554-019-01586-w]
  • Qiao M Y, Wang Y Y, Van Der Geest R J and Tao Q. 2018. Fully automated left atrium cavity segmentation from 3D GE-MRI by multi-atlas selection and registration//Proceedings of the 9th International Workshop on Statistical Atlases and Computational Models of the Heart. Granada, Spain: Springer: 230-236 [DOI: 10.1007/978-3-030-12029-0_25]
  • Ronneberger O, Fischer P and Brox T. 2015. U-Net: convolutional networks for biomedical image segmentation//Proceedings of the 18th International Conference on Medical Image Computing and Computer-Assisted Intervention. Munich, Germany: Springer: 234-241 [DOI: 10.1007/978-3-319-24574-4_28]
  • Saini K, Dewal M L, Rohit M. 2012. A fast region-based active contour model for boundary detection of echocardiographic images. Journal of Digital Imaging, 25(2): 271-278 [DOI:10.1007/s10278-011-9408-8]
  • Savioli N, Montana G and Lamata P. 2018. Ⅴ-FCNN: volumetric fully convolution neural network for automatic atrial segmentation//Proceedings of the 9th International Workshop on Statistical Atlases and Computational Models of the Heart. Granada, Spain: Springer: 273-281 [DOI: 10.1007/978-3-030-12029-0_30]
  • Shen W H, Xu W B, Zhang H Y, Sun Z X, Ma J X, Ma X L, Zhou S J, Guo S J, Wang Y Q. 2021. Automatic segmentation of the femur and tibia bones from x-ray images based on pure dilated residual U-Net. Inverse Problems and Imaging, 15(6): 1333-1346 [DOI:10.3934/ipi.2020057]
  • Shi W Z, Zhuang X H, Wolz R, Simon D, Tung K P, Wang H Y, Ourselin S, Edwards P, Razavi R and Rueckert D. 2011. A multi-image graph cut approach for cardiac image segmentation and uncertainty estimation//Proceedings of the 2nd International Workshop on Statistical Atlases and Computational Models of the Heart. Toronto, Canada: Springer: 178-187 [DOI: 10.1007/978-3-642-28326-0_18]
  • Sodergren T, Bhalodia R, Whitaker R, Cates J, Marrouche N and Elhabian S. 2019. Mixture modeling of global shape priors and autoencoding local intensity priors for left atrium segmentation//Proceedings of the 9th International Workshop on Statistical Atlases and Computational Models of the Heart. Granada, Spain: Springer: 357-367 [DOI: 10.1007/978-3-030-12029-0_39]
  • Tao Q, Ipek E G, Shahzad R, Berendsen F F, Nazarian S, Van Der Geest R J. 2016. Fully automatic segmentation of left atrium and pulmonary veins in late gadolinium-enhanced MRI: towards objective atrial scar assessment. Journal of Magnetic Resonance Imaging, 44(2): 346-354 [DOI:10.1002/jmri.25148]
  • Tobon-Gomez C, Geers A J, Peters J, Weese J, Pinto K, Karim R, Ammar M, Daoudi A, Margeta J, Sandoval Z, Stender B, Zheng Y F, Zuluaga M A, Betancur J, Ayache N, Chikh M A, Dillenseger J L, Kelm B M, Mahmoudi S, Ourselin S, Schlaefer A, Schaeffter T, Razavi R, Rhode K S. 2015. Benchmark for algorithms segmenting the left atrium from 3D CT and MRI datasets. IEEE Transactions on Medical Imaging, 34(7): 1460-1473 [DOI:10.1109/TMI.2015.2398818]
  • Tops L F, Schalij M J, Bax J J. 2010. Imaging and atrial fibrillation: the role of multimodality imaging in patient evaluation and management of atrial fibrillation. European Heart Journal, 31(5): 542-551 [DOI:10.1093/eurheartj/ehq005]
  • Truong V T, Palmer C, Wolking S, Sheets B, Young M, Ngo T N M, Taylor M, Nagueh S F, Zareba K M, Raman S, Mazur W. 2020. Normal left atrial strain and strain rate using cardiac magnetic resonance feature tracking in healthy volunteers. European Heart Journal-Cardiovascular Imaging, 21(4): 446-453 [DOI:10.1093/ehjci/jez157]
  • Veni G, Fu Z S, Awate S P and Whitaker R T. 2013. Bayesian segmentation of atrium wall using globally-optimal graph cuts on 3D meshes//Proceedings of the 23rd International Conference on Information Processing in Medical Imaging. Asilomar, USA: Springer: 656-667 [DOI: 10.1007/978-3-642-38868-2_55]
  • Vesal S, Ravikumar N and Maier A. 2018. Dilated convolutions in neural networks for left atrial segmentation in 3D gadolinium enhanced-MRI//Proceedings of the 9th International Workshop on Statistical Atlases and Computational Models of the Heart. Granada, Spain: Springer: 319-328 [DOI: 10.1007/978-3-030-12029-0_35]
  • Wang C J, MacGillivray T, Macnaught G, Yang G and Newby D. 2018. A two-stage 3D Unet framework for multi-class segmentation on full resolution image[EB/OL]. [2021-04-12]. https://arxiv.org/pdf/1804.04341.pdf
  • Wang H Z, Suh J W, Das S R, Pluta J B, Craige C, Yushkevich P A. 2013. Multi-atlas segmentation with joint label fusion. IEEE Transactions on Pattern Analysis and Machine Intelligence, 35(3): 611-623 [DOI:10.1109/TPAMI.2012.143]
  • Wang Y Q, Jia Y D. 2007. A novel approach for segmentation of cardiac magnetic resonance images. Chinese Journal of Computers, 30(1): 129-136 (王元全, 贾云得. 2007. 一种新的心脏核磁共振图像分割方法. 计算机学报, 30(1): 129-136) [DOI:10.3321/j.issn:0254-4164.2007.01.015]
  • Wang Y Q, Jia Y D. 2009. Method for segmentation of the endocardium and epicardium of the left ventricle in cardiac magnetic resonance images. Journal of Software, 20(5): 1176-1184 (王元全, 贾云得. 2009. 一种心脏核磁共振图像左室壁内、外膜分割方法. 软件学报, 20(5): 1176-1184) [DOI:10.3724/SP.J.1001.2009.03557]
  • Wu X Y, Gou X K, Zhu Z Z, Wei Y L, Wang K. 2020. Left ventricular segmentation on ultrasound images using deep layer aggregation for residual dense networks. Journal of Image and Graphics, 25(9): 1930-1942 (吴宣言, 缑新科, 朱子重, 魏域林, 王凯. 2020. 深层聚合残差密集网络的超声图像左心室分割. 中国图象图形学报, 25(9): 1930-1942) [DOI:10.11834/jig.190552]
  • Wu Y W, Wang Y Q, Jia Y D. 2013. Segmentation of the left ventricle in cardiac cine MRI using a shape-constrained snake model. Computer Vision and Image Understanding, 117(9): 990-1003 [DOI:10.1016/j.cviu.2012.12.008]
  • Xia Q, Yao Y X, Hu Z Q and Hao A M. 2018. Automatic 3D atrial segmentation from GE-MRIs using volumetric fully convolutional networks//Proceedings of the 9th International Workshop on Statistical Atlases and Computational Models of the Heart. Granada, Spain: Springer: 211-220 [DOI: 10.1007/978-3-030-12029-0_23]
  • Xiong Z H, Fedorov V V, Fu X H, Cheng E, Macleod R, Zhao J C. 2019. Fully automatic left atrium segmentation from late gadolinium enhanced magnetic resonance imaging using a dual fully convolutional neural network. IEEE Transactions on Medical Imaging, 38(2): 515-524 [DOI:10.1109/TMI.2018.2866845]
  • Xiong Z H, Xia Q, Hu Z Q, Huang N, Bian C, Zheng Y F, Vesal S, Ravikumar N, Maier A, Yang X, Heng P A, Ni D, Li C Z, Tong Q Q, Si W X, Puybareau E, Khoudli Y, Géraud T, Chen C, Bai W J, Rueckert D, Xu L C, Zhuang X H, Luo X Z, Jia S M, Sermesant M, Liu Y S, Wang K Q, Borra D, Masci A, Corsi C, De Vente C, Veta M, Karim R, Preetha C J, Engelhardt S, Qiao M Y, Wang Y Y, Tao Q, Nuñez-Garcia M, Camara O, Savioli N, Lamata P, Zhao J C. 2021. A global benchmark of algorithms for segmenting the left atrium from late gadolinium-enhanced cardiac magnetic resonance imaging. Medical Image Analysis, 67: #101832 [DOI:10.1016/j.media.2020.101832]
  • Yang D, Zheng Y F and John M. 2013. Graph cuts based left atrium segmentation refinement and right middle pulmonary vein extraction in C-arm CT//Proceedings of SPIE 8669, Medical Imaging 2013: Image Processing. Lake Buena Vista, USA: SPIE: #86693U [DOI: 10.1117/12.2007137]
  • Yang G, Chen J, Gao Z F, Li S, Ni H, Angelini E, Wong T, Mohiaddin R, Nyktari E, Wage R, Xu L, Zhang Y P, Du X Q, Zhang H Y, Firmin D, Keegan J. 2020. Simultaneous left atrium anatomy and scar segmentations via deep learning in multiview information with attention. Future Generation Computer Systems, 107: 215-228 [DOI:10.1016/j.future.2020.02.005]
  • Yang H R, Sun J, Li H B, Wang L S, Xu Z B. 2018. Neural multi-atlas label fusion: application to cardiac MR images. Medical Image Analysis, 49: 60-75 [DOI:10.1016/j.media.2018.07.009]
  • Yasuda R, Murata M, Roberts R, Tokuda H, Minakata Y, Suzuki K, Tsuruta H, Kimura T, Nishiyama N, Fukumoto K, Aizawa Y, Tanimoto K, Takatsuki S, Abe T, Fukuda K. 2015. Left atrial strain is a powerful predictor of atrial fibrillation recurrence after catheter ablation: study of a heterogeneous population with sinus rhythm or atrial fibrillation. European Heart Journal-Cardiovascular Imaging, 16(9): 1008-1014 [DOI:10.1093/ehjci/jev028]
  • Yoon Y E, Oh I Y, Kim S A, Park K H, Kim S H, Park J H, Kim J E, Lee S P, Kim H K, Kim Y J, Sohn D W, Cho G Y. 2015. Echocardiographic predictors of progression to persistent or permanent atrial fibrillation in patients with paroxysmal atrial fibrillation (E6P Study). Journal of the American Society of Echocardiography, 28(6): 709-717 [DOI:10.1016/j.echo.2015.01.017]
  • Yu L Q, Wang S J, Li X M, Fu C W and Heng P A. 2019. Uncertainty-aware self-ensembling model for semi-supervised 3D left atrium segmentation//Proceedings of 2019 International Conference on Medical Image Computing and Computer-Assisted Intervention. Shenzhen, China: Springer: 605-613 [DOI: 10.1007/978-3-030-32245-8_67]
  • Zhang H Y, Zhang W X, Shen W H, Li N N, Chen Y J, Li S, Chen B, Guo S J, Wang Y Q. 2021. Automatic segmentation of the cardiac MR images based on nested fully convolutional dense network with dilated convolution. Biomedical Signal Processing and Control, 68: #102684 [DOI:10.1016/j.bspc.2021.102684]
  • Zhang Y Z, Yang L, Chen J X, Fredericksen M, Hughes D P and Chen D Z. 2017. Deep adversarial networks for biomedical image segmentation utilizing unannotated images//Proceedings of 2017 International Conference on Medical Image Computing and Computer-Assisted Intervention. Quebec City, Canada: Springer: 408-416 [DOI: 10.1007/978-3-319-66179-7_47]
  • Zhao Z, Puybareau É, Boutry N and Géraud T. 2021. Do not treat boundaries and regions differently: an example on heart left atrial segmentation//Proceedings of the 25th International Conference on Pattern Recognition (ICPR). Milan, Italy: IEEE: 7447-7453 [DOI: 10.1109/ICPR48806.2021.9412755]
  • Zheng Y F, Wang T Z, John M, Zhou S K, Boese J and Comaniciui D. 2011. Multi-part left atrium modeling and segmentation in C-arm CT volumes for atrial fibrillation ablation//Proceedings of the 14th International Conference on Medical Image Computing and Computer-Assisted Intervention. Toronto, Canada: Springer: 487-495 [DOI: 10.1007/978-3-642-23626-6_60]
  • Zhu L J, Gao Y, Yezzi A, Tannenbaum A. 2013. Automatic segmentation of the left atrium from MR images via variational region growing with a moments-based shape prior. IEEE Transactions on Image Processing, 22(12): 5111-5122 [DOI:10.1109/TIP.2013.2282049]
  • Zhuang X H, Li L, Payer C, Štern D, Urschler M, Heinrich M P, Oster J, Wang C L, Smedby Ö, Bian C, Yang X, Heng P A, Mortazi A, Bagci U, Yang G Y, Sun C C, Galisot G, Ramel J Y, Brouard T, Tong Q Q, Si W X, Liao X Y, Zeng G D, Shi Z L, Zheng G Y, Wang C J, MacGillivray T, Newby D, Rhode K, Ourselin S, Mohiaddin R, Keegan J, Firmin D, Yang G. 2019. Evaluation of algorithms for multi-modality whole heart segmentation: an open-access grand challenge. Medical Image Analysis, 58: #101537 [DOI:10.1016/j.media.2019.101537]
  • Zhuang X H, Shen J. 2016. Multi-scale patch and multi-modality atlases for whole heart segmentation of MRI. Medical Image Analysis, 31: 77-87 [DOI:10.1016/j.media.2016.02.006]