Print

发布时间: 2018-09-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.170598
2018 | Volume 23 | Number 9




    图像分析和识别    




  <<上一篇 




  下一篇>> 





深度全卷积网络的IVUS图像内膜与中—外膜边界检测
expand article info 袁绍锋1,2, 杨丰1,2, 徐琳3, 刘树杰4, 季飞4, 黄靖1,2
1. 南方医科大学生物医学工程学院, 广州 510515;
2. 南方医科大学广东省医学图像处理重点实验室, 广州 510515;
3. 广州军区广州总医院心血管内科, 广州 510010;
4. 华南理工大学电子与信息学院, 广州 510641

摘要

目的 心血管内超声(IVUS)图像内膜和中—外膜(MA)轮廓勾画是冠脉粥样硬化和易损斑块定量评估的必要过程。由于存在斑点噪声、图像伪影和各类斑块,重要组织边界的自动分割是一个非常困难的任务。为此,提出一种用于检测20 MHz心电门控IVUS图像内膜和MA边界方法。方法 首先利用深度全卷积网络(DFCN)学习原始IVUS图像与所对应手动分割图像之间映射,预测出目标或者背景的概率图,实现医学图像语义分割。然后在此基础上,结合心血管先验形状信息,采用数学形态学闭、开操作,平滑内膜和MA边界,降低分割过程中错误分类像素或区域的影响。结果 针对来自10位病人的IVUS图像及其标注信息所组成的435幅国际标准公开数据集,从线性回归、Bland-Altman分析和面积交并比($ JM$)、面积差异百分比($ PAD$)、Hausdorff距离($ HD$)、平均距离($AD $)等性能指标上,评价本文方法。实验结果表明,算法检测结果与手动勾画结果的相关性可达到0.94,其超过94.71%的结果落在95%置信区域内,具有良好一致性。内膜和MA边界的$ AD$指标分别为:0.07 mm和0.08 mm;$ HD$指标分别为:0.21 mm和0.30 mm。$ JM$指标分别为0.92和0.93;$ PAD$指标分别为5%和4%。此外,对临床所采集的100幅IVUS图像进行了测试,证明本文学习的模型在跨数据集上具有较好的泛化能力。结论 与现有的国际算法比较,本文方法提高了各类斑块、声影区域和血管分支等因素的识别能力,不受超声斑点的影响,能准确地、可重复地检测出IVUS图像中的关键目标边界。

关键词

医学图像分析; 深度学习; 深度全卷积网络; 先验形状信息; 心血管内超声; 内膜检测; 中-外膜检测

Lumen and media-adventitia borders detection in IVUS images using deep fully convolutional networks
expand article info Yuan Shaofeng1,2, Yang Feng1,2, Xu Lin3, Liu Shujie4, Ji Fei4, Huang Jing1,2
1. School of Biomedical Engineering, Southern Medical University, Guangzhou 510515, China;
2. Guangdong Provincial Key Laboratory of Medical Image Processing, Southern Medical University, Guangzhou 510515, China;
3. Department of Cardiology, Guangzhou General Hospital of Guangzhou Military Command, Guangzhou 510010, China;
4. School of Electronic and Information Engineering, South China University of Technology, Guangzhou 510641, China
Supported by: National Natural Science Foundation of China (61771233, 61271155);Science and Technology Planning Project of Guangdong Province, China (2013A02210036)

Abstract

Objective The delineation of lumen and media-adventitia (MA) borders in intravascular ultrasound (IVUS) images is necessary for quantitative assessment of coronary atherosclerosis and vulnerable plaques. Automatic segmentation for detecting these important borders represents a difficult task due to ultrasonic speckle, various artifacts and atherosclerotic plaques. In this paper, we present a simple yet effective fully automated methodology for the detection of lumen and MA borders in 20 MHz ECG-gated intravascular ultrasound frames. Method The delineation of lumen and MA borders in IVUS images was solved by two major stages:region segmentation and border refinement in proposed method, or key point detection and curve fitting in previous approaches. Different from the second class solution, the first class solution was more adopted because borders from most IVUS images to be analyzed are able to be observed. Most of automatic detection algorithms for lumen and media-adventitia border from IVUS images is lack of consideration of professional clinicians observing IVUS images, identifying borders of interest and delineating the outline of organs or tissues. However, computer algorithms based on machine learning, computer vision and other emerging intelligent technologies extract hierarchical and discriminative deep features by learning given training dataset, simulate how clinicians recognize lumen and media-adventitia border, therefore often obtain better segmentation results. In view of problems of the existing automatic algorithms for detecting lumen and media-adventitia border, this work simulates the process of clinicians identifying the lumen and media-adventitia border, and proposes an automatic algorithm combining a priori shape information of coronary artery and deep convolutional networks. First the proposed approach uses deep fully convolutional networks (DFCN) to directly learn mappings between raw IVUS images and their corresponding manual segmentations in order to predict an object or background probability map across the whole image. Then, on basis of the above coarse segmentation and the prior information of vessel appearance we employed mathematical morphological post-processing open or close operator and some simple image processing steps to smooth the extracted lumen and MA borders from the output of DFCN. The border refinement stage is to eliminate misclassified pixels or regions in the stage of medical image semantic segmentation. Result Our method is evaluated on a publicly available dataset that consists of 435 IVUS images in vivo acquired from ten patients in different hospital or medical center using linear regression, Bland-Altman analysis and several measure metrics such as Jaccard Measure ($JM $), Percentage of Area Difference ($PAD $), Hausdorff Distance ($ HD$) and Average Distance ($AD $). The obtained results demonstrate that our method is accurate, reliable and capable of detecting lumen and MA borders with good correlation r=0.94, good agreement with larger than 94.71% of results within the 95% confidence interval, small average distance:lumen 0.07 mm, MA 0.08 mm, and small Hausdorff distance:lumen 0.21 mm, MA 0.30 mm. $JM$s of lumen and MA borders are 0.92 and 0.93, respectively. $PAD$s of lumen and MA borders are 5% and 4%, respectively. In addition, we apply the trained model on the 100 IVUS images collected from the Guangzhou General Hospital and obtain successful detection results. Conclusion Compared with existing eight international algorithms, it has improved capability of recognizing different kinds of plaques, acoustic shadow, branches of vessel, and more accurately and reproducibly detected borders of key organ in IVUS images.

Key words

medical image analysis; deep learning; deep fully convolutional networks; prior shape information; intravascular ultrasound; lumen border detection; media-adventitia border detection

0 引言

目前,心血管疾病(CVD)是致死或致残的主要因素之一,其包括心脏、脑部和外周血管等疾病。血管动脉粥样硬化是导致大部分CVD的主要原因[1]。由动脉粥样硬化所引起的冠状动脉疾病表现为易损斑块在冠脉壁形成并逐渐堆积,造成血管更加坚硬和狭窄[2]。心脏病发作和心脏性猝死往往由易损粥样硬化斑块的破裂所引起[3]

基于导管和超声探头技术相结合的心血管内超声(IVUS)是一种广泛用于冠心病诊断的医学成像方式。它为临床医生提供冠状动脉壁和粥样硬化斑块的解剖、形态和病理信息,能可视化冠脉壁和血管腔形态,能量化、表征和评估动脉粥样硬化损伤程度[4]。IVUS图像内膜和中—外膜(MA)边界勾画是冠脉粥样硬化和易损斑块定量评估的必要步骤。通过内膜和MA边界测量,可获取多个临床关键参数[5],比如血管腔、血管壁、斑块的截面面积,管腔管壁的直径,血管腔和斑块区域的离心率,斑块厚度和负压等等,如图 1(b)所示。虽然IVUS图像可以提供血管形态的高分辨率断层重建图,但是图像的自动分割/边界检测因受到超声斑点、各种伪影和粥样硬化斑块等干扰影响,依然是一项复杂而繁重的挑战任务。这些干扰种类繁多,包括导丝、响铃和混响伪影、非均匀旋转畸变、笛卡儿域0°不连续[6],血管分叉、分支、心脏支架和超声阴影[4]。此外,不规则的易损斑块存在也为IVUS图像的边界检测带来很多困难,如图 1(a)所示为钙化斑块存在血管壁上。

图 1 IVUS内膜与中—外膜边界检测
Fig. 1 Lumen and media-adventitia borders detection in IVUS ((a) IVUS images; (b) manual segmentation and medical key measurements; (c) lumen and non-lumen regions; (d) vessel and non-vessel regions)

文献[4, 6]归纳总结现有的IVUS图像分割算法,先前的非手动描画方法可以分成半自动和全自动两类。在这些方法中,有的仅检测内膜或MA边界两者之一;有的两条边界可同时检测。Balocco等人[4]详细地介绍了一种用于定量比较内膜和MA边界检测算法的标准评估方法,同时比较目前学界关注的8种分割算法结果。在这些方法中,基于统计和概率的方法被广泛采用。Cardinal等人[7]提出了一种多平面快速步进法FMM同步识别内膜和MA边界。该算法的速度函数由轮廓信息和区域信息组成,其中区域信息由混合瑞利概率密度函数来模拟。但是通过参数分布模拟图像的灰度值和斑点的方式在所有情况下未必都是适用的[6]。比如,从RF信号中重建亮度模式(B-mode)图像时,使用对数压缩,Cardinal等人[8]所提出方法可能会失效,因为瑞利分布模拟灰度值和斑点这一假设在对数压缩情况下并非有效。作为另一种选择,Unal等人[3]提出了一种基于形状驱动的自动检测方法。在极坐标系下,对内膜和MA进行分割。该方法使用主成分分析PCA建立统计形状模型。在轮廓演变阶段,该方法利用基于区域的非参数概率能量函数来描画内膜边界,利用边缘信息来检测MA边界。Destrempes等人[9]改进基于FMM[7]的速度函数,采用混合高斯概率密度函数刻画纹理信息。这种基于FMM的增强型分割方法对于抑制各种伪影干扰较为鲁棒,在国际标准数据集[4]上表现出良好的性能。然而基于FMM的算法需要很接近内膜和MA边界的初始轮廓。Ciompi等人[10]提出了一种基于多尺度序贯学习(MSSL)的检测MA边界方法HoliMAb。该方法首先利用MSSL搜索粗略的目标边界,然后建立以响应图和距离图为外部能量函数的可变形模型,获得优化后的MA边界。Lin等人[11]结合Snake模型和图搜索[2, 12]改进了上述算法。HoliMAb方法的多类组织定征类似于计算机视觉中的语义图像分割问题。本文采用两类区域分割方法,也就是内腔和非内腔,血管和非血管,如图 1(c)(d)所示。Gao等人[13]采用自适应区域生长和无监督聚类检测MA和内膜边界。接着一种数学形态学滤波被用于平滑所检测的边界。一种相似的方法,但是结合高斯滤波和数学形态学闭、开操作将用于本文算法。最近,一种概率分割方法被提出,其基于B-mode重建[14]或者基于微分背向散射(DBC)模式重建[15]。这种方法将内膜边界检测视作一个曲线变形问题,并且最佳曲线通过最大化图像中像素属于既定两种类别(内腔与非内腔)的总概率获得。这些似然值通过支持向量机(SVM)分类器获得,而分类器的样本来自于用户提供序列第1帧的管腔和非管腔区域。但是这种概率方法仅仅关注内膜边界检测,提供给临床医生关于动脉粥样硬化的信息太少。

近些年,深度学习技术尤其深度卷积网络(DCN)在不同计算机视觉应用中逐渐取得突出进展,包括图像分类[16]、目标检测[17]、语义图像分割[18]和生物医学图像理解[19]。然而目前DCN还未用于IVUS图像的内膜与MA边界检测。受文献[18-21]等工作启发,本文首先分别使用两个深度全卷积网络(DFCN)对相同的输入IVUS图像和不同的标注信息进行感兴趣(ROI)/非感兴趣区域(non-ROI)分割训练。其中一个DFCN用于内腔区域与非内腔区域之间分割,实现内膜边界检测;另一个DFCN用于血管区域与非血管区域之间分割,完成MA边界检测。然后结合心血管先验形状信息的数学形态学开、闭操作优化内膜和MA边界,消除区域分割过程中的错分像素和区域,获取更为精确的目标边界。

1 基本原理

本文算法的流程如图 2所示,其主要过程包括:1)使用IVUS图像与手动勾画结果训练DFCN1和DFCN2,其中ROI和non-ROI在内膜边界检测中分别指内腔区域和非内腔区域,如图 1(c);在中—外膜边界检测中,则分别指血管区域和非血管区域,如图 1(d)。2)在DFCN分类结果的基础上,结合心血管先验形状信息,采用数学形态学方法优化上述两条边界。

图 2 本文算法流程图
Fig. 2 Overview of the proposed method

1.1 IVUS图像分割

图 2中深度全卷积网络1和2的结构,如图 3所示,由卷积网络、反卷积网络以及Softmax分类器组成。卷积网络为一个特征提取器,将输入IVUS图像转化为多维特征表示,而反卷积网络是一个形状生成器,从卷积网络所提取的特征中生成组织分割图。网络的输出结果与输入图像大小相等,其中每一像素概率表示属于既定类别(背景或者前景)的可能性。卷积网络的组成如下:1个局部响应规范化层(LRN),4个卷积层(图 3左边4对黑色矩形框),4个批规范化(BN)层[22],4个矫正线性单元(ReLU)激活函数和4个最大值池化层(图 3左边4个红色矩形框)。反卷积网络是卷积网络的镜像版本,则有4个非池化层,4个反卷积层和4个BN层。卷积网络和反卷积网络的特征图个数为64,即采用64组滤波器。整个网络使用带有冲量项的随机梯度下降法(SGD)[16, 23-24]和反向传播(BP)[25-26]学习规则进行优化。

图 3 深度全卷积网络结构
Fig. 3 Architecture of DFCN proposed in this paper

DFCN语义图像分割模型[18-21]与DCN模式分类模型[16]相比,具有以下优势:1)高效的正向传播学习过程和反向传播训练过程;2)分割评价指标得分和几何结果更好;3)可消除边界不连续伪影。文献[27-28]利用基于图块的深度自编码器和卷积网络,解决颈总动脉的内膜—中膜厚度测量问题,而本文使用DFCN将这类问题视作语义图像分割。大体地,一幅IVUS图像包含一些区域或组织,从中心到四周分别为导管、内腔、内膜边界、动脉粥样硬化斑块、中—外膜边界、导丝伪影、超声阴影和外周组织,如图 1(a)所示。假定内膜边界是内腔和非内腔区域的界线,中—外膜边界是血管和非血管区域的边缘,本文分别为这两条边界设计一个DFCN。当检测内膜边界时,导管和内腔被视作内腔区域,其他区域被当作非内腔区域,如图 1(c)所示。相似地,当中—外膜边界被检测时,把导管、内腔、内膜边界和动脉粥样硬化区域视作血管区域,其他区域当成非血管区域,如图 1(d)所示。

IVUS图像中血管区域的分类结果如图 4(c)所示。从图 4可见,血管区域可被大致地正确识别出来,内腔区域的情况类似于这样。但是,有必要清除一些错误区域和像素,并且优化相应轮廓以用于精确的临床关键参数测量。

图 4 分割结果的边界优化
Fig. 4 Border refinement for the segmented results ((a) segmented result of DFCN; (b) result after border refinement; (c) output of DFCN; (d) Gaussian filtering; (e) target selection; (f) hole filling; (g) removal of MA depression)

1.2 内膜和中—外膜的边界优化

以上分割结果主要受2个因素影响:1)MA边界上的MA低洼或高地,如图 4(a)C所示为低洼情况;2)由于图像伪影、钙化、阴影和血管分支干扰而误分的像素或区域,如图 4(a)A、B、D所示。本文使用基于心血管先验形状信息的后处理方法来消除MA和内膜低洼或高地,减少误分像素和区域影响。后处理步骤包括高斯滤波、目标区域选择、孔洞填充和数学形态学开、闭操作。如图 4(c)(g)所示,高斯滤波可移除孤立像素和小区域,并且平滑血管区域的边界。高斯滤波采用7×7滤波器,其标准差设置为3。除了ROI之外,还存在一些较大误分区域,可通过目标区域选择来移除这些区域。因为在384×384像素大小的图像中,点(192, 192)必然在ROI内。在ROI中,孔洞需要被填充才能获得感兴趣边界。最后,使用数学形态学闭操作移除MA低洼,使用开操作移除MA高地。针对MA低洼或高地,设计两种自适应半径大小的圆盘结构体

$ R_{\rm{c}}^{{\rm{MA}}} = {\alpha _{\rm{c}}}\sqrt {\frac{{{S_{{\rm{MA}}}}}}{{\rm{ \mathsf{ π} }}}} $ (1)

$ R_{\rm{o}}^{{\rm{MA}}} = {\alpha _{\rm{o}}}\sqrt {\frac{{{S_{{\rm{MA}}}}}}{{\rm{ \mathsf{ π} }}}} $ (2)

式中,${{S_{{\rm{MA}}}}}$表示优化前MA边界内的面积,${\alpha _{\rm{c}}}$${\alpha _{\rm{o}}}$为超参数,分别设置为${\alpha _{\rm{c}}}$=2/3、${\alpha _{\rm{o}}}$=1/2。该圆盘结构体的半径通过计算边界优化前的区域面积来计算。图 5(a)说明闭操作在MA边界上如何消除MA低洼,而图 5(b)为优化后结果;图 5(c)说明开操作消除MA高地,而图 5(d)为MA边界优化后结果。总之基于心血管先验形状信息的开、闭操作可优化感兴趣轮廓,平滑局部的凹陷和凸起部分,改善所检测的边界。

图 5 MA低洼和MA高地的消除
Fig. 5 Removal of MA depression and MA highland((a) removal of MA depression; (b) result of MA depression cancel; (c) removal of MA highland; (d) result of MA highland cancel)

2 实验结果与分析

2.1 实验材料和参数设置

本文临床实验数据来源于国际标准数据集的435幅IVUS图像(来自不同医院的10名患者,图像大小为384×384像素)[4]。数据采集系统为火山公司Si5,其带有20 MHz的鹰眼单轨导管。数据集的标准内膜和MA轮廓由2名临床医生手动勾画获得,其中1名在另外一个时间重新标注图像,所以共有3套轮廓标注。2.3.4节中使用到从广州军区广州总医院收集的100幅IVUS图像,用于网络的泛化性能验证。实验在Ubuntu 14.04、Caffe1.0.0、Matlab R2014b和Python 2.7上编程实现。所提出的DFCN在Caffe框架[29]下执行。网络超参数设置如下:批量大小为4,冲量系数为0.9,权重衰减系数为0.005,权重和偏置学习率分别为0.2和0.1,BN中伸缩量为1,平移量为0.001。使用MSRA方法来初始化卷积和反卷积层的权重,每层使用64个7×7像素大小的卷积核,偏置初始化为0。实验使用NVIDIA GTX 1080 GPU加速网络训练。

2.2 评价指标

内膜和中—外膜边界检测的性能由面积交并比指数$JM$、面积差异百分比$PAD$、豪斯多夫距离$HD$和平均距离$AD $4种评价指标[4]来量化。具体计算公式为

$ JM = \frac{{\left| {{\mathit{\boldsymbol{R}}_{{\rm{auto}}}} \cap {\mathit{\boldsymbol{R}}_{{\rm{manual}}}}} \right|}}{{\left| {{\mathit{\boldsymbol{R}}_{{\rm{auto}}}} \cup {\mathit{\boldsymbol{R}}_{{\rm{manual}}}}} \right|}} $ (3)

$ PAD = \frac{{\left| {{A_{{\rm{auto}}}}-{A_{{\rm{manual}}}}} \right|}}{{{A_{{\rm{manual}}}}}} $ (4)

$ HD = \mathop {\max }\limits_{a \in {C_{{\rm{auto}}}}} \left\{ {\mathop {\min }\limits_{b \in {C_{{\rm{manual}}}}} \left[{d\left( {a, b} \right)} \right]} \right\} $ (5)

$ AD = \mathop {{\mathop{\rm mean}\nolimits} }\limits_{a \in {C_{{\rm{auto}}}}} \left\{ {\mathop {\min }\limits_{b \in {C_{{\rm{manual}}}}} \left[{d\left( {a, b} \right)} \right]} \right\} $ (6)

式中,$\mathit{\boldsymbol{R}}$$A$$C$分别表示分割区域、面积和轮廓线,$\rm{auto}$表示本文算法检测的结果,$\rm{manual}$表示临床医生手动标注的结果,$d$($a$, $b$)表示计算两点间欧氏距离。

2.3 实验结果与分析

2.3.1 IVUS内膜和中—外膜边界检测结果

本节使用2.1节的435幅IVUS图像,利用十折交叉验证评估所提出的算法,也即首先采用391(90%)幅图像训练DFCN,然后使用剩余44(10%)幅图像对学习好的模型进行测试。

对于定性分析,如图 6所示,为一些内膜和MA边界检测实例,其中图 6(a)分割结果较好(高于平均中—外膜$JM$得分),而图 6(b)分割结果稍差(低于中—外膜$JM$得分0.9)。这些检测实例表明,本文所提检测方法能鲁棒地提取出IVUS图像中关键组织的边界,并且能不受诸多干扰因素的影响,比如血管分叉的存在、各类斑块和超声阴影。

图 6 使用本文方法进行边界检测的实例
Fig. 6 Some examples of the border detection using the proposed approach ((a) very good segmentation results; (b) not very good segmentation results)

对于定量分析,如图 7所示为10轮测试的平均结果。在没有边界优化的情况下,内膜和中—外膜的$JM$得分分别为0.918 4和0.936 4。如果采用本文所提基于血管先验形状信息的边界优化方法,上述两者$JM$得分分别0.923 2和0.939 0。

图 7 边界优化对分割准确度的影响
Fig. 7 The effect of border refinement to segmentation accuracy

2.3.2 边界优化的影响

图 7表明,1.2节提出的基于IVUS图像心血管先验形状信息的边界优化对检测结果均有提升。本文研究6种可能的后处理方法,并且实验结果说明,GF+R+F+C+O组合(组合7)适合内膜边界优化,而GF+R+F+O组合(组合4)更适合MA边界。虽然不同后处理方法对边界检测结果带来不同程度的提升,但是实验验证边界优化方法可以改善两条边界,尤其通过移除低洼和高地现象来提升$HD$$AD$评估标准的得分,如图 7所示。

2.3.3 与手动分割结果和现有公布算法的比较

采用2.2节4种评价指标,将本文方法与2位临床医生的手动分割结果和8种在国际标准数据集上评估的算法进行比较。在实验中使用217幅IVUS图像进行训练并且采用多尺度放缩和多角度旋转2种数据扩充方法获取足够多的训练图像(6 944幅IVUS图像),使用218幅图像进行测试,边界检测结果使用1.2节的边界优化方法来提升分割效果。采用4种评价标准的均值和标准差来比较本文所提出方法和文献[4]中性能最高方法,如表 1所示,其中含有观察者之内方法比较(S21-S22)、观察者之间方法比较(S1-S21-2),还有自动和手动方法对比(A-S1、A-S21、A-S22)。第一,在观察者之内比较中,评价指标得分有着相对低的偏差(S21-S22),这是因为每一临床医生养成某种习惯,在某段时间内勾画结果存在的偏差较小;而在观察者之间对比中,这些指标的得分有着相对高的偏差(S1-S21-2),这是因为不同医生有着独特和专业的临床实践经验,使得不同勾画结果之间存在较大的偏差。第二,所提出方法的性能比标准集上最好方法要好,以及更接近观察者之内方法。A-S1和S21-S22表明本文方法可掌握临床医生S1的边界勾画风格或习惯,因为提供给算法学习的训练标注数据来自于专家S1。本文方法好于其他公开算法的结果如图 8(a) (b)所示,方法9为本文方法,$JM$$PAD$$HD$这3种评估指标均好于其他8种方法。第三,因为使用S1作为训练标注数据,也即要求DFCN学习训练图像数据和S1的映射,表 1中的观察者之间方法(A-S21-2、S1-S21-2)有着类似较高的偏差。总之,根据表 1中的4种指标和图 8,本文方法比先前的方法更好,更接近专业临床医生的手动分割。

表 1 不同方法在20 MHz IVUS图像数据集上的边界检测性能
Table 1 Border detection performance of different methods over the 20 MHz IVUS image dataset

下载CSV
边界类型 比较的分割方法 均值(标准差)
$JM$ $PAD$ $HD$/mm $AD$/mm
内膜 S21-S22 0.93(0.05) 0.04(0.05) 0.17(0.13) 0.05(0.04)
S1-S21 0.88(0.05) 0.09(0.06) 0.28(0.13) 0.09(0.04)
S1-S22 0.87(0.05) 0.11(0.06) 0.29(0.13) 0.10(0.04)
A-S1 0.92(0.04) 0.05(0.08) 0.21(0.13) 0.07(0.03)
A-S21 0.88(0.05) 0.11(0.07) 0.27(0.12) 0.10(0.04)
A-S22 0.87(0.05) 0.10(0.07) 0.28(0.12) 0.10(0.04)
P3(Destrempes)-S1 0.88(0.05) 0.06(0.05) 0.34(0.14)
中—外膜 S21-S22 0.95(0.04) 0.03(0.03) 0.14(0.10) 0.05(0.03)
S1-S21 0.93(0.03) 0.05(0.04) 0.22(0.12) 0.08(0.04)
S1-S22 0.92(0.04) 0.06(0.04) 0.23(0.13) 0.08(0.04)
A-S1 0.93(0.04) 0.04(0.05) 0.30(0.23) 0.08(0.05)
A-S21 0.90(0.04) 0.06(0.05) 0.30(0.21) 0.10(0.05)
A-S22 0.90(0.05) 0.08(0.06) 0.31(0.21) 0.10(0.05)
P3(Destrempes)-S1 0.91(0.04) 0.05(0.31) 0.31(0.12)
注:加粗数值表示最优结果;P3是在文献[4]中8种分割算法里性能最好的方法。
图 8 本文方法与文献[4]中的8种分割方法的比较
Fig. 8 Comparison between our method and eight published methods introduced in reference[4] ((a) comparison of lumen border segmentation; (b) comparison of media-adventitia border segmentation)

2.3.4 训练模型的泛化性能验证

为了验证训练模型的泛化性能,将模型应用到两个数据集上,一个是国际标准IVUS图像数据集中的未标注数据,另一个是广州军区广州总医院自采集的IVUS图像数据。如图 9图 10所示,分别为两个不同数据集的测试结果,这些检测结果符合临床医生的判断。由于435-图像数据集(标注的435幅图像)和1 740-图像数据集(未标注的1 740幅图像)具有相同的分布,来自1 740-图像数据集的测试结果取得非常优秀的检测效果,其成功检测实例数达1 700个(99.8%)。然而来自广州军区广州总医院的测试结果不如在相同分布下的情况那样好,其成功检测实例数达62个(62.0%)。因为训练集和测试集之间存在非常大的差异,比如图像对比度、边界外形、图像伪影、超声斑点噪声和操作者偏好。一些非常成功的检测结果如图 10所示,并且说明了训练模型可以利用有用的图像特性进行边界检测,比如血管腔中单一且同质的纹理、心脏支架和钙化斑块有明显的梯度、中—外膜边界的形态。

图 9 使用本文方法在1 740-图像数据集上进行边界检测的实例
Fig. 9 Some examples of the border detection using trained network on the 1 740-image dataset ((a) IVUS images; (b) results of lumen and MA border detection)
图 10 使用本文方法在广州军区总医院IVUS图像数据集上进行边界检测的实例
Fig. 10 Some examples of the border detection using trained network on the Guangzhou General Hospital's dataset ((a) IVUS images; (b) results of lumen and MA border detection)

2.3.5 临床关键参数分析

分析临床医生关注的一些临床关键参数:管腔、血管和斑块断层面积、斑块负载等。从2.3.1节中收集到326幅IVUS图像的分割结果,这些图像每幅具有3个标注信息。在边界检测后,通过计算IVUS图像中的临床关键参数,后续可进行诊断和治疗决策。为了评估所提出方法的性能,计算16种不同的临床关键参数:1)管腔横截面积LCSA,2)血管横截面积VCSA,3)斑块横截面积PCSA,4)斑块负载PB,5)和6)最小和最大管腔直径minLD/maxLD,7)和8)最小和最大血管直径minVD/maxVD,9)管腔偏心率LE,10)和11)最小和最大斑块厚度minPT/maxPT,12)斑块偏心率PE,13)管腔豪斯多夫距离LHD,14)血管豪斯多夫距离VHD,15)管腔平均距离LAD,16)血管平均距离VAD。前12个参数,本文采用线性回归和Bland-Altman分析;后4个参数采用距离分析。这3种评估方法分别用于研究自动分割结果与手动勾画结果的相关性、一致性和空间相似性。

图 11为12个参数的手动和自动分割线性回归分析结果;表 2为这些参数线性回归分析的数值结果。在图 11中,临床关键参数LCSA、VCSA、PCSA、PB、minLD、maxLD、minVD和maxVD有着非常高的相关性和一致性的皮尔森相关系数。另外LE、minPT、maxPT和PE仅仅有着高的相关性和一致性的指数。注意参数minPT在这些参数中有着最低的皮尔森相关系数86.4%,因为内膜和MA两条边界是独立进行分割的,所以在计算参数值时边界相交则将导致严重低估。图 12为12个参数的手动和自动分割差异和均值Bland-Altman分析结果;表 3为这些参数的数值结果。在图 12中,临床关键参数LCSA、VCSA、minLD、maxLD、minVD、maxVD和PE是被本文算法高估的。而本文算法低估这些参数PCSA、PB、LE、minPT和maxPT。由表 3可知,所提方法轻微高估管腔和血管面积,分别为6.14%和3.10%。因为管腔和血管区域的最小最大直径与面积存在正相关关系,所以minLD、maxLD、minVD和maxVD分别被高估3.34%、3.09%、0.99%和2.02%。虽然所提出方法高估PE,但是两种方法计算PE所得到的平均PE指数都超过80%(自动方法为84.3%,3种手动分割方法平均为81.7%),因此一致地反映大部分的斑块位置是偏心的(在导管位置的某一侧,而非四周)。除了那些被高估的参数,余下的参数都是被轻微低估的。注意参数minPT被严重低估的原因为:当MA边界与内膜边界相接触时,minPT的值被设置为0;而minPT往往不会为0。

图 11 IVUS图像中临床参数的线性回归分析
Fig. 11 Linear regression analysis of useful clinical parameters

表 2 线性回归分析结果
Table 2 Results of the linear regression analysis

下载CSV
测量参数 B1:斜率 B0:截距 $R$:相关系数
LCSA/mm2 0.977 6 -0.320 4 0.993 6
VCSA/mm2 0.946 2 0.351 2 0.986 0
PCSA/mm2 0.886 4 0.789 8 0.933 1
PB 0.971 6 0.032 5 0.936 3
minLD/mm 1.005 8 -0.079 6 0.992 0
maxLD/mm 0.990 6 -0.052 1 0.981 5
minVD/mm 0.952 0 0.108 5 0.970 6
maxVD/mm 0.938 4 0.134 5 0.976 9
LE 0.927 6 1.532 3 0.899 7
minPT/mm 0.838 2 0.052 3 0.863 8
maxPT/mm 0.947 2 0.078 9 0.907 4
PE 0.903 7 4.588 7 0.877 1
图 12 IVUS图像中临床参数的Bland-Altman分析
Fig. 12 Bland Altman plot of useful clinical parameters

表 3 Bland-Altman分析结果
Table 3 Results of the Bland-Altman analysis

下载CSV
测量参数 meanDiff R1/% $N$ R2/% $CI$
LCSA/mm2 0.513 6 6.14 20 6.13 (-0.299 4, 1.326 7)
VCSA/mm2 0.462 0 3.10 17 5.21 (-1.336 8, 2.260 9)
PCSA/mm2 -0.051 6 -0.79 17 5.21 (-1.681 1, 1.577 8)
PB -0.020 1 -4.49 16 4.91 (-0.084 7, 0.044 6)
minLD/mm 0.067 7 3.34 19 5.83 (-0.059 7, 0.195 1)
maxLD/mm 0.075 4 3.09 14 4.29 (-0.105 9, 0.256 7)
minVD/mm 0.028 0 0.99 15 4.60 (-0.226 9, 0.282 9)
maxVD/mm 0.064 5 2.02 16 4.91 (-0.167 3, 0.296 3)
LE -0.274 1 -1.56 13 3.99 (-7.174 1, 6.625 8)
minPT/mm -0.027 0 -15.84 18 5.52 (-0.162 3, 0.108 3)
maxPT/mm -0.017 4 -1.48 18 5.52 (-0.320 4, 0.285 5)
PE 2.656 5 3.20 24 7.36 (-11.391 0, 16.703 9)
注:meanDiff:自动检测方法和3种人工检测方法的均值差异;R1:表示低估和高估的程度;N:在95%置信区间外的案例数;R2:表示异常值的比例;CI: 95%置信区间

根据LHD/LAD和VHD/VAD参数,距离分析比较自动分割和手动描画两者方法检测结果的空间相似性。参数值如表 1中的最后两列所示。虽然其他方法没有报告平均距离(LAD和VAD),但是从比较结果中反映出本文方法检测内膜和MA边界有着较小的误差,如观察者内方法的管腔平均距离LAD为0.05 mm,而本文方法计算为0.07 mm。这样小的差异表明本文方法在心血管疾病临床研究和应用上有重要价值。然而本文方法计算的血管豪斯多夫距离VHD为0.30 mm,该值的大小和其他方法计算的相差不大(0.31 mm),这些结果都是差于观察者内方法0.14 mm。从中看出,与临床医生手动勾画方法相比,目前的计算机辅助方法仍然没有较好地检测内膜和MA边界。

3 结论

本文提出一种用于检测内膜和中—外膜边界的自动分割方法,该方法获得的结果可计算对于心血管疾病的诊断和治疗有重要价值的临床关键参数。所提出方法由两部分组成,其一为区域分割阶段,其二为边界优化阶段。在分割阶段本文采用深度全卷积网络DFCN对ROI和non-ROI进行分割。以上的分割结果存在一些影响计算临床关键参数的干扰因素,如内膜和MA边界上的低洼和高地、其他的错误分类区域和像素,因此本文进一步提出一种结合心血管先验形状信息的边界优化方法。在优化阶段本文采用数学形态学闭、开操作以及一些必要的步骤消除上述的干扰因素。所提出方法在国际标准数据集435幅图像上进行验证,大量定量和定性分析说明本文方法所获得的性能好于该数据集上8种分割算法,可鲁棒地、准确地、快速地检测出内膜和MA边界,并可供后续计算临床关键参数。

参考文献

  • [1] Laslett L J, Alagona Jr P, Clark Ⅲ B A, et al. The worldwide environment of cardiovascular disease:prevalence, diagnosis, therapy, and policy issues:a report from the American College of Cardiology[J]. Journal of the American College of Cardiology, 2012, 60(25): S1–S49. [DOI:10.1016/j.jacc.2012.11.002]
  • [2] Xing D, Yang F, Huang J, et al. Hard plaque characteristics based media-adventitia border detection in intravascular ultrasound images[J]. Chinese Journal of Biomedical Engineering, 2012, 31(1): 25–31. [邢栋, 杨丰, 黄靖, 等. 结合硬斑块特征的心血管内超声图像中-外膜边缘检测[J]. 中国生物医学工程学报, 2012, 31(1): 25–31. ] [DOI:10.3969/j.issn.0258-8021.2012.01.005]
  • [3] Unal G, Bucher S, Carlier S, et al. Shape-driven segmentation of the arterial wall in intravascular ultrasound images[J]. IEEE Transactions on Information Technology in Biomedicine, 2008, 12(3): 335–374. [DOI:10.1109/TITB.2008.920620]
  • [4] Balocco S, Gatta C, Ciompi F, et al. Standardized evaluation methodology and reference database for evaluating IVUS image segmentation[J]. Computerized Medical Imaging and Graphics, 2014, 38(2): 70–90. [DOI:10.1016/j.compmedimag.2013.07.001]
  • [5] Nissen S E, Yock P. Intravascular ultrasound:novel pathophysiological insights and current clinical applications[J]. Circulation, 2001, 103(4): 604–616. [DOI:10.1161/01.CIR.103.4.604]
  • [6] Katouzian A, Angelini E D, Carlier S G, et al. A state-of-the-art review on segmentation algorithms in intravascular ultrasound (IVUS) images[J]. IEEE Transactions on Information Technology in Biomedicine, 2012, 16(5): 823–834. [DOI:10.1109/TITB.2012.2189408]
  • [7] Cardinal M H R, Soulez G, Tardif J C, et al. Fast-marching segmentation of three-dimensional intravascular ultrasound images:a pre-and post-intervention study[J]. Medical Physics, 2010, 37(7): 3633–3647. [DOI:10.1118/1.3438476]
  • [8] Cardinal M H R, Meunier J, Soulez G, et al. Intravascular ultrasound image segmentation:a three-dimensional fast-marching method based on gray level distributions[J]. IEEE Transactions on Medical Imaging, 2006, 25(5): 590–601. [DOI:10.1109/TMI.2006.872142]
  • [9] Destrempes F, Cardinal M H R, Allard L, et al. Segmentation method of intravascular ultrasound images of human coronary arteries[J]. Computerized Medical Imaging and Graphics, 2014, 38(2): 91–103. [DOI:10.1016/j.compmedimag.2013.09.004]
  • [10] Ciompi F, Pujol O, Gatta C, et al. HoliMAb:a holistic approach for media-adventitia border detection in intravascular ultrasound[J]. Medical Image Analysis, 2012, 16(6): 1085–1100. [DOI:10.1016/j.media.2012.06.008]
  • [11] Lin M D, Yang F, Liang S J, et al. External elastic membrane border detection based on sequential learning and prior shape information for intravascular ultrasound images[J]. Journal of Image and Graphics, 2016, 21(5): 646–656. [林慕丹, 杨丰, 梁淑君, 等. 结合先验形状信息和序贯学习的心血管内超声外弹力膜检测[J]. 中国图象图形学报, 2016, 21(5): 646–656. ] [DOI:10.11834/jig.20160512]
  • [12] Qiu X, Huang J, Yang F, et al. Image enhancement based media-adventitia border detection in intravascular ultrasound images[J]. Journal of Image and Graphics, 2012, 17(4): 537–545. [邱璇, 黄靖, 杨丰, 等. 结合图像增强的心血管内超声中-外膜边缘检测[J]. 中国图象图形学报, 2012, 17(4): 537–545. ] [DOI:10.11834/jig.20120412]
  • [13] Gao Z F, Hau W K, Lu M H, et al. Automated framework for detecting lumen and media-adventitia borders in intravascular ultrasound images[J]. Ultrasound in Medicine and Biology, 2015, 41(7): 2001–2021. [DOI:10.1016/j.ultrasmedbio.2015.03.022]
  • [14] Mendizabal-Ruiz E G, Rivera M, Kakadiaris I A. Segmentation of the luminal border in intravascular ultrasound B-mode images using a probabilistic approach[J]. Medical Image Analysis, 2013, 17(6): 649–670. [DOI:10.1016/j.media.2013.02.003]
  • [15] Mendizabal-Ruiz E G, Kakadiaris I A. A physics-based intravascular ultrasound image reconstruction method for lumen segmentation[J]. Computers in Biology and Medicine, 2016, 75: 19–29. [DOI:10.1016/j.compbiomed.2016.05.007]
  • [16] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[C]//Advances in Neural Information Processing Systems 25. Lake Tahoe, Nevada, USA: Curran Associates Inc., 2012: 1097-1105.
  • [17] Ren S Q, He K M, Girshick R, et al. Faster R-CNN:towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137–1149. [DOI:10.1109/TPAMI.2016.2577031]
  • [18] Long J, Shelhamer E, Darrel T. Fully convolutional networks for semantic segmentation[C]//Proceedings of 2015 IEEE International Conference on Computer Vision and Pattern Recognition. Boston, Massachusetts, USA: IEEE, 2015: 3431-3440. [DOI:10.1109/CVPR.2015.7298965]
  • [19] Ronneberger O, Fischer P, Brox T. U-net: convolutional networks for biomedical image segmentation[C]//Proceedings of the 18th International Conference on Medical Image Computing and Computer-Assisted Intervention. Munich: Springer, 2015: 234-241. [ DOI:10.1007/978-3-319-24574-4_28]
  • [20] Noh H, Hong S, Han B. Learning deconvolution network for semantic segmentation[C]//Proceedings of 2015 IEEE International Conference on Computer Vision. Santiago, Chile: IEEE, 2015: 1520-1528. [DOI:10.1109/ICCV.2015.178]
  • [21] Badrinarayanan V, Kendall A, Cipolla R. Segnet:a deep convolutional encoder-decoder architecture for image segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(12): 2481–2495. [DOI:10.1109/TPAMI.2016.2644615]
  • [22] Ioffe S, Szegedy C. Batch normalization: accelerating deep network training by reducing internal covariate shift[C]//Proceedings of the 32nd International Conference on Machine Learning. Lille, France: PMLR, 2015: 448-456.
  • [23] Lecun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278–2324. [DOI:10.1109/5.726791]
  • [24] Bottou L. Large-scale machine learning with stochastic gradient descent[C]//Proceedings of the 19th International Conference on Computational Statistics. Paris, France: Springer, 2010: 177-186. [DOI:10.1007/978-3-7908-2604-3_16]
  • [25] LeCun Y, Bottou L, Orr G B, et al. Efficient backprop[M]//Orr G B, Müller K R. Neural Networks: Tricks of The Trade. Berlin, Heidelberg: Springer, 1998: 9-50. [DOI:10.1007/3-540-49430-8_2]
  • [26] Rumelhar D E, Hinton G E, Williams R J. Learning representations by back-propagating errors[J]. Nature, 1986, 323(6088): 533–536. [DOI:10.1038/323533a0]
  • [27] Menchón-Lara R M, Sancho-Gomez J L. Fully automatic segmentation of ultrasound common carotid artery images based on machine learning[J]. Neurocomputing, 2015, 151: 161–167. [DOI:10.1016/j.neucom.2014.09.066]
  • [28] Tajbakhsh N, Shin J Y, Gurudu S R, et al. Convolutional neural networks for medical image analysis:full training or fine tuning?[J]. IEEE Transactions on Medical Imaging, 2016, 35(5): 1299–1312. [DOI:10.1109/TMI.2016.2535302]
  • [29] Jia Y Q, Shelhamer E, Donahue J, et al. Caffe: convolutional architecture for fast feature embedding[C]//Proceedings of the 22nd ACM International Conference on Multimedia. Orlando, Florida, USA: ACM, 2014: 675-678. [DOI:10.1145/2647868.2654889]