|
发布时间: 2020-02-16 |
医学图像处理 |
|
|
收稿日期: 2019-05-27; 修回日期: 2019-07-29; 预印本日期: 2019-08-06
基金项目: 北京工业大学第十七届研究生科技基金重点项目(ykj-2018-00292)
第一作者简介:
叶红梅, 1995年生, 女, 硕士研究生, 主要研究方向为医学图像处理。E-mail:1129096791@qq.com;
夏章涛, 男, 硕士研究生, 主要研究方向为计算机视觉。E-mail:xzt@emails.bjut.edu.cn; 刘继荣, 女, 硕士研究生, 主要研究方向为医学图像处理。E-mail:ljr4930270@163.com.
中图法分类号: TP391
文献标识码: A
文章编号: 1006-8961(2020)02-0378-13
|
摘要
目的 血管内超声(IVUS)图像动脉壁边界分割不仅对血管壁和斑块特征的定量分析至关重要,而且对血管弹性定性分析和重建动脉3维模型也是必需的。针对IVUS图像传统分割方法建模复杂、运算量大且需分别设计算法串行提取内膜和外膜的缺点,本文提出基于极值区域检测的IVUS图像并行分割方法。方法 本文方法包含极值区域检测、极值区域筛选以及轮廓拟合3部分。对单帧IVUS图像提取极值区域,经面积筛选后得到候选区域,并将区域的局部二值模式(LBP)特征、灰度差异和边缘周长的乘积作为筛选矢量在候选区域中提取代表管腔和介质的两个极值区域,并进行轮廓的椭圆拟合化,完成分割。结果 在包含326幅20 MHz的IVUS(intravascular ultrasound)B模式图像的标准公开数据集上,定性展示极值区域轮廓和椭圆拟合轮廓,并与专家手动绘制的结果进行对比;然后使用DC(dice coefficient)、JI(jaccard index)、PAD(percentage of area difference)指标以及HD(hausdorff distance)对本文算法做鲁棒性测试和泛化测试,实验中内膜各指标值分别为0.94±0.02,0.90±0.04,0.05±0.05,0.28±0.14 mm,外膜各指标值分别为0.91±0.07,0.87±0.11,0.11±0.11,0.41±0.31 mm,与相关文献的定量对比实验结果表明本文算法提取的内外膜性能均有所提高。此外,本文方法在临床数据集上的测试效果也很好,与专家手动描绘十分接近。结论 结合极值区域检测的IVUS图像并行分割,算法在精度和鲁棒性方面均得到了改善。
关键词
IVUS图像; 内外膜分割; 边缘检测; 极值区域; 轮廓拟合
Abstract
Objective Intravascular ultrasound (IVUS) image segmentation of arterial wall boundaries are essential not only for the quantitative analysis of the characteristics of vascular walls and plaques but also for the qualitative analysis of vascular elasticity and the reconstruction of the 3D model of arteries. The importance lies in the following:1)IVUS image segmentation is the basis for follow-up work, such as plaque extraction and recognition, vessel wall elasticity analysis, and image registration. 2) Doctors must evaluate the morphological characteristics of blood vessels and plaques, such as the maximum or minimum diameter of the lumen, cross-sectional area, and plaque area. IVUS provides a reliable data support for doctors to diagnose patients objectively.3) IVUS can locate the region of interest to determine the position and shape of the anatomical structure for interventional surgery and the diagnosis and treatment targets for radiotherapy, chemotherapy, and surgery. However, given the different environments in which the intima and adventitia are located, traditional segmentation methods, which belong to serial extraction methods, need to design the segmentation algorithms for intima and adventitia separately. Moreover, extremely complex models affect the speed of segmentation. To address these problems, this paper proposes a segmentation method based on the extreme region detection of IVUS images. Method The problem of edge detection is broadened to the problem of extreme region detection, and the proposed method consists of three parts:extreme region detection, extreme region screening, and contour fitting. First, edge points are extracted from the IVUS image, and a global vector is created by using the edge points and threshold images by each gray level to obtain the gray thresholds. The obtained thresholds make the change of threshold images most stable.Next, the final threshold images are obtained on the basis of the filtered gray thresholds. The morphological closing operation is used to fill in the small holes of the threshold images, and the connected component labeling algorithm is used to mark the connected regions in the threshold images to obtain the final extreme regions. In addition, extreme regions contains regions with unstable states and large or small areas that cannot represent the lumen and media because the extracted extreme regions contain many sub-regions. Therefore, the area of the extreme regions must be screened for preliminary filtering.By using local binary mode feature, gray difference, and edge circumference, a filter vector based on region stability is designed to extract two extreme regions representing the lumen and media. Finally, the contours of the lumen and media regions are fitted by ellipse to complete the segmentation. Result Qualitative and quantitative analyses are used to evaluate the accuracy of the proposed method.The extreme region and final contours are initially qualitatively displayed on a standard published dataset containing 32 620 MHz IVUS B-mode images. The extracted final contours are qualitatively compared with the results drawn manually by clinical experts.The artifacts are also classified on the basis of their types. For images without artifacts and with different types of artifacts, the robust performance and generalization performance of the proposed algorithm are verified by calculating the DC coefficient, JI index, PAD index, and HD distance. On the basis of the DC coefficient, JI index, PAD index, and HD distance, the inner border index values are 0.94±0.02, 0.90±0.04, 0.05±0.05, and 0.28±0.14 mm, respectively; the outer border index values are 0.91±0.07, 0.87±0.11, 0.11±0.11, and 0.41±0.31 mm, respectively.In addition, the values of DC coefficient, JI index, PAD index, and HD distance of the IVUS image segmentation algorithms in the relevant literature in the last few years are compared with those of the proposed method.The quantitative comparison with the relevant literature in the last few years shows the improved performance of the inner and outer borders extracted by the proposed method. In addition, the test results of the proposed method on the clinical dataset are very good. Conclusion The method proposed is suitable for the extraction of not only the inner border but also the outer border; it is a parallel extraction algorithm. Experiment results show that in addition to high extraction accuracy, the proposed method has strong robustness and outperforms several state-of-the-art segmentation approaches.
Key words
intravascular ultrasound (IVUS) images; inner and outer borders segmentation; edge detection; extreme region; contour fitting
0 引言
动脉粥样硬化是一种血管壁疾病,是心脏病或中风等心血管疾病的主要产生原因(Frostegård,2005)。血管内超声是一种基于导管的血管内成像技术,已经被广泛应用于评价冠状动脉粥样硬化特点及程度(Vykoukal等,2014)。它是将发射频率为20~40 MHz的微小超声源镶嵌在导管的顶端,放置于冠状动脉血管腔内(Mendizabal-Ruiz等,2013)。超声源发出的超声束通过不同层物质的反射和散射以及导管的匀速回拉而获得的血管壁及血管腔的序列切面图像(Nissen和Yock,2001),其结构如图 1所示。IVUS图像包含3个区域:管腔区域、介质区域和血管外膜层区域。这3个区域被两个闭合轮廓分割:管腔内膜,对应于管腔壁边界,位于管腔和介质之间;外膜,位于介质和血管外膜层之间。IVUS图像分割的研究内容即如何准确地获取管腔内膜和外膜轮廓。
IVUS图像分割有半自动方法和全自动方法。半自动方法在提取内外膜时需要手工交互进行轮廓初始化。该方法对IVUS图像噪声比较敏感,提取精度不高。且手工参与的工作量较大,不同专家的手工检测结果存在主观差异。例如,Hossain等人(2013)和Sofian等人(2015)提出的算法在提取轮廓前,需在每一帧IVUS图像中手动创建一组初始轮廓点,严重影响了分割速度。
相比之下,全自动方法在整个过程中不需要人为干预,由计算机自动分析IVUS图像特征,可快速提取内外膜边缘(Mendizabal-Ruiz等,2012)。例如,Ciompi等人(2012)、Mendizabal-Ruiz等人(2008)、Jodas等人(2017)以及袁绍锋等人(2018a)的方法均为全自动方法,分割速度较快,但也各自存在不足之处:Ciompi等人(2012)将外膜视为整个血管的一部分,不仅考虑血管中的所有组织区域,而且建立外膜与血管其他组织区域之间的关系,从而实现稳健的分割。但该自动方法只能用于检测外膜。此外,Mendizabal-Ruiz等人(2008)提出的轮廓检测算法中,轮廓的平滑度受到IVUS图像中导管和导丝伪影的干扰,影响了分割精度,且该方法只能用于检测管腔内膜。Jodas等人(2017)将K均值算法和平均圆度应用于IVUS图像分割,并提出了一种识别和消除分岔伪影的算法,但也只能检测到管腔内膜。袁绍锋等人(2018a)构建了多分类随机决策森林模型实现边界检测,可以较好克服IVUS临床图像中声影和硬斑块干扰等问题,但也易受超声阴影和血管分支的干扰,这类影响甚至导致其检测失败。
根据轮廓分割原理,目前IVUS图像分割算法主要分为4种:基于统计学的分割、基于主动轮廓模型(Snake)的分割、基于水平集模型的分割以及基于机器学习的分割。但这4种方法模型的建立均过于复杂。
1) 基于统计学的分割,Mendizabal-Ruiz等人(2013)根据血液像素和非血液像素的概率定义了一个概率场,通过最小化概率成本函数使参数曲线变形。该种方法是对IVUS图像的灰度分布进行统计学建模完成分割,但伪影的存在大大降低了统计建模的准确性。
2) 基于Snake模型的分割,高重阳(2010)对Snake模型进行改进,将相似性测度信息应用到相邻图像的轮廓点上,用一致性测度构造Snake模型的图像力,让曲线演化到边缘。Zhu等人(2011)提出了一种基于梯度向量流模型(GVF-Snake)的方法,在GVF场上利用非线性滤波改变曲线的形态结构以完成分割。林慕丹等人(2016)结合轮廓的先验形状信息,剔除血管区域中不满足曲线曲率要求的部分从而提取关键点,最后结合梯度和相位信息,采用Snake模型进一步细化轮廓,提高了对巧化、纤维斑块及声影区域的识别能力,但该方法因有监督分类误判的血管区轮廓符合冠脉血管的凹凸性要求而导致算法无法校正误差,从而无法正确检测目标轮廓。基于Snake模型的方法虽然能够得到良好的分割结果,但依赖初始轮廓线的选取,而且将上一帧获取的最终轮廓作为当前帧的初始轮廓进行迭代,这样做的缺点是当某一帧图像受到复杂伪影的干扰而检测错误时,后续帧都将受到影响,误差较大。
3) 基于水平集的分割,Lazrag和Naceur(2012)提出基于水平集模型和Contourlet变换相结合的方法。该方法先利用Contourlet变换将原始图像分解为低通和带通定向带,然后利用水平集函数获得最终轮廓。方婷(2018)针对灰度不均匀图像分割效果不理想,以及对初始曲线敏感问题,设计了结合局部熵的混合水平集分割模型,进一步提高对局部灰度信息的利用率,达到分割的目的。但水平集方法要对所有水平集求解,严重降低了检测速度。
4) 基于机器学习的分割,Su等人(2017)用图像的空间和邻域特征作为数据输入,然后基于机器学习的方式,通过编码器和分类器区分不同的血管层。Yang等人(2018)提出IVUS-Net的全卷积神经网络,为管腔或介质预测二进制掩模,然后进行轮廓提取。袁绍锋等人(2018b)使用两个深度全卷积网络(DFCN)对图像和不同的标注信息进行感兴趣和非感兴趣区域分割训练,然后结合心血管先验形状信息对边界进行优化,提高了各类斑块和伪影的识别能力,能准确、可重复地检测出目标边界,但是该算法针对内外膜有不同的边界优化算法的组合,且不同的算法组合会对边界检测结果造成不同程度的影响。袁绍锋等人(2019)提出一种结合堆叠沙漏网络(SHGN)和有条件生成对抗网络(C-GAN)的IVUS内膜与中-外膜检测的改进方法,可以实现跨数据集的分割。但基于机器学习的算法,需要大量人工标注数据进行网络训练,在实际运用中往往会受到较多的限制。
最大稳定极值区域算法(MSER)作为一种新的轮廓检测方法,得到了很多研究者的青睐。极值区域(ER)(Faraji等,2015)是指图像中一片相似区域的集合,此集合内所有的像素值都与外界的像素值存在着较大的差异。例如,为了得到目标物轮廓,Tabassum和Dhondse(2015)和Yan等人(2018)利用最大稳定极值区域算法先提取候选区域,然后在候选区域中定位目标。MSER算法虽然定位准确度较高,但稳定性标准的选择对区域选择有较大影响,而且区域清理步骤复杂。
因此,IVUS图像分割仍面临诸多挑战:1)内膜和外膜的分割不能同时实现,实时性不高:传统方法中,由于IVUS图像内膜和外膜所处的“环境”不同,需要针对内膜和外膜的不同特点分别设计算法进行提取,该种串行提取方式不仅算法复杂,而且时间效率低下;2)IVUS图像中存在复杂的伪影,如分岔、侧血管、导丝伪影、阴影伪影等影响分割精度(Balocco等,2014);3)建模复杂:需要根据不同的图像信息建立复杂的模型完成分割。针对IVUS图像分割面临的挑战,本文采用新的极值区域检测算法,结合了MSER算法的不足,不仅避开了繁琐的数据标注和网络训练,而且不使用任何复杂的可变模型,实现并行提取内外膜,在保证内外膜轮廓精度的情况下,也提高了算法鲁棒性。本文的主要贡献如下:
1) 将IVUS图像的边缘检测问题放宽到区域检测和区域选择问题,无需建立复杂的模型。
2) 本文设计的算法既适应于内膜提取,又适应于外膜提取,所以可以实现并行提取内外膜。
3) 利用局部二值模式(LBP)特征(Ojala等,1994)、灰度差异和边缘周长等信息设计区域筛选矢量,以便从候选区域中获取准确的管腔区域和介质区域,同时这些信息的使用提高了算法的鲁棒性。
1 算法描述
算法流程如图 2所示,主要分为3大步骤:极值区域检测、极值区域筛选以及轮廓拟合。极值区域检测用于获得单帧IVUS图像的所有极值区域以供后续步骤筛选,主要包含边缘点检测、计算极值水平标准、获取极值水平和提取极值区域4部分;极值区域筛选的目的是获得与管腔和介质最接近的两个极值区域,包含面积筛选以及矢量筛选。最后对筛选得到的代表管腔和介质的两个极值区域进行轮廓拟合,完成分割。
1.1 极值区域提取
1) 边缘点检测。某一边缘点
$ \left\| {\nabla \mathit{\boldsymbol{I}}\left({p\left({x, y} \right)} \right)} \right\| > \left\| {\nabla \mathit{\boldsymbol{I}}\left(\mathit{\boldsymbol{P}} \right)} \right\| $ | (1) |
式中,
$ E\left[ {\left\| {\nabla \mathit{\boldsymbol{I}}\left(\mathit{\boldsymbol{P}} \right)} \right\|} \right] \ge \alpha E\left[ {\left\| {\nabla \mathit{\boldsymbol{I}}} \right\|} \right] $ | (2) |
式中,
将所有边缘点划分为两部分,一部分为从暗区域到亮区域过渡的边缘点,称为内边缘点
$ {M^ + }\left({x, y} \right) = \left\{ {\begin{array}{*{20}{l}} 1&{M\left({x, y} \right) \times I\left({x, y} \right) \ge \sigma }\\ 0&{其他} \end{array}} \right. $ | (3) |
$ {M^ - }\left({x, y} \right) = \left\{ {\begin{array}{*{20}{l}} 1&{M\left({x, y} \right) \times I\left({x, y} \right) \ge \mathit{\Gamma } - \sigma }\\ 0&{其他} \end{array}} \right. $ | (4) |
式中,
2) 计算极值水平标准。对于
$ {T_\theta }\left({x, y} \right) = \left\{ {\begin{array}{*{20}{l}} 1&{I\left({x, y} \right) \le \theta }\\ 0&{其他} \end{array}} \right. $ | (5) |
式中,
然后在灰度阈值
$ {\mathit{\boldsymbol{N}}_\theta } = \mathit{\boldsymbol{ \boldsymbol{\varTheta} }}\left({{\mathit{\boldsymbol{T}}_\theta } \cdot {\mathit{\boldsymbol{M}}^ - }} \right) $ | (6) |
式中,
为获得稳定的阈值图像,除了考虑与阈值图像相交的边缘点的数量变化是否稳定外,还应考虑阈值图像中包含的所有像素总数量的变化是否稳定。因此,将矢量
$ {\mathit{\boldsymbol{V}}_\theta } = \frac{{{\mathit{\boldsymbol{N}}_\theta }}}{{1 + \mathit{\boldsymbol{ \boldsymbol{\varTheta} }}\left({{\mathit{\boldsymbol{T}}_\theta }} \right)}}, 0 \le \theta \le {2^m} - 1 $ | (7) |
所有灰度阈值
$ {\mathit{\boldsymbol{ \boldsymbol{\varPsi} }}_\theta } = \frac{{{\mathit{\boldsymbol{V}}_\theta }}}{{\left| {{\mathit{\boldsymbol{V}}_{\theta + 1}} - {\mathit{\boldsymbol{V}}_{\theta - 1}}} \right| + \varepsilon }} $ | (8) |
式中,为防止分母为0,
3) 获取极值水平。由以上分析可知,极值水平就是
4) 提取极值区域。用极值水平中的每一个值分别对图像做二值化处理,之后对每一个二值图像做形态学闭运算,即先膨胀后腐蚀以填充区域内的细小空洞且不明显改变面积。然后,使用连通域标记算法(He等,2017)标记图像的连通域,此时的连通域即是极值区域。为便于后续处理,需要获取极值区域的相关参数,如区域的轮廓曲线坐标、区域内的像素值和像素坐标等。
1.2 极值区域筛选
为减少后续矢量筛选的工作量,上述获取的极值区域首先需做面积筛选,过滤掉面积过大(大于
然后,设计极值区域的筛选标准矢量,以便在候选区域中找到分别代表管腔和介质的极值区域。构建矢量
1) LBP(local binary pattern)特征值。原始的LBP算子(Ojala等,1994)定义在3×3的邻域窗口内,以窗口中心像素为阈值,并与相邻8个像素的灰度值进行比较,若周围像素值大于中心像素值,该对应像素点被标记为1,否则为0,则该8位二进制数转为十进制数后即为该窗口中心像素点的LBP值。
改进的LBP算子
2) 灰度差异。本文将极值区域轮廓到区域质心的最长距离为半径的圆与极值区域的差作为该极值区域的邻域
$ {C_i} = \sqrt {D{S_{JSD}}\left({{C_i}\left({\mathit{\boldsymbol{ER}}} \right)\left\| {{C_i}\left({\mathit{\boldsymbol{E}}{\mathit{\boldsymbol{R}}^ * }} \right)} \right.} \right)} $ | (9) |
式中,
$ \begin{array}{*{20}{c}} {D{S_{JSD}}\left({{C_i}\left({\mathit{\boldsymbol{ER}}} \right)\left\| {{C_i}\left({\mathit{\boldsymbol{E}}{\mathit{\boldsymbol{R}}^ * }} \right)} \right.} \right) = }\\ {1/2\left({D{S_{KID}}\left({{C_i}\left({\mathit{\boldsymbol{ER}}} \right)\left\| {{C_i}\left({\mathit{\boldsymbol{E}}{\mathit{\boldsymbol{R}}_a}} \right)} \right.} \right) + } \right.}\\ {D{S_{KID}}\left({{C_i}\left({\mathit{\boldsymbol{E}}{\mathit{\boldsymbol{R}}^ * }} \right)\left\| {{C_i}\left({\mathit{\boldsymbol{E}}{\mathit{\boldsymbol{R}}_a}} \right)} \right.} \right)} \end{array} $ | (10) |
式中,
$ \begin{array}{*{20}{c}} {D{S_{KID}}\left({{C_i}\left({\mathit{\boldsymbol{ER}}} \right)\left\| {{C_i}\left({\mathit{\boldsymbol{E}}{\mathit{\boldsymbol{R}}_a}} \right)} \right. = } \right.}\\ {{C_i}\left({\mathit{\boldsymbol{ER}}} \right)\log \frac{{{C_i}\left({\mathit{\boldsymbol{ER}}} \right)}}{{{C_i}\left({\mathit{\boldsymbol{E}}{\mathit{\boldsymbol{R}}_a}} \right)}}} \end{array} $ | (11) |
3) 极值区域轮廓周长。在提取极值区域过程中,由于使用了连通域算法,因此可以直接获取每个区域的边界长度、区域面积、质心坐标等参数。将每个候选区域轮廓周长表示为
4) 矢量筛选。针对每个候选区域,将以上3个特征的乘积作为矢量
$ \mathit{\boldsymbol{K}} = \left[ {{B_1}\;{C_1}\;{L_2}, {B_2}\;{C_2}\;{L_2}, \cdots, {K_i}, \cdots, {B_n}\;{C_n}\;{L_n}} \right] $ | (12) |
从矢量
$ {\mathit{\boldsymbol{ \boldsymbol{\varOmega} }}_i} = \frac{{{\mathit{\boldsymbol{K}}_i}}}{{\varepsilon + \left({{\mathit{\boldsymbol{K}}_{i + 1}} - {\mathit{\boldsymbol{K}}_{i - 1}}} \right)}} $ | (13) |
式中,
1.3 轮廓拟合
根据内外膜的固有形状特征,本文采用椭圆对轮廓进行拟合(Szpak等,2012)。将不规则的极值区域拟合为椭圆区域,需要求出椭圆的长轴
根据待拟合区域
$ {\mu _{20}} = \sum\limits_\xi {{{\left({x - {x_c}} \right)}^2}} I\left({x, y} \right) $ | (14) |
$ {\mu _{11}} = \sum\limits_\xi {\left({x - {x_c}} \right)} \left({y - {y_c}} \right)I\left({x, y} \right) $ | (15) |
$ {\mu _{02}} = \sum\limits_\xi {{{\left({y - {y_c}} \right)}^2}} I\left({x, y} \right) $ | (16) |
因此,椭圆的3个参数可以计算为
$ \theta = \frac{1}{2}\arctan \left({\frac{{2{\mu _{11}}}}{{{\mu _{20}} + {\mu _{02}}}}} \right) $ | (17) |
$ l = \sqrt {\frac{1}{{{\lambda _{\min }}}}} $ | (18) |
$ \omega = \sqrt {\frac{1}{{{\lambda _{\max }}}}} $ | (19) |
式中,
2 实验与分析
2.1 实验材料
鉴于现有方法多数采用标准公开数据集中20 MHz的图像展示分割效果,所以为了公平地与已有算法进行比较,实验使用的是包含326帧20 MHz的IVUS B模式图像的标准公开数据集,每帧图像的分辨率是384×384像素(Balocco等,2013)。数据集中还提供了两位专家手工标注的内膜和外膜的轮廓坐标。其中一位专家在标注完成一周之后进行了重复标注,以提高数据标注的准确性。另外,使用从北京安贞医院获取的临床数据集以验证本文算法在临床数据中的分割能力,该数据集包含432幅图像,图像分辨率仍为384×384像素。
2.2 定性实验与分析
实验首先选取标准数据集中不同类型的IVUS图像分别进行定性和定量分析,以验证算法可行性。实验把每帧图像提取的极值区域和拟合后的最终轮廓同时显示在原始图像上。图 5为选取9幅包含伪影和不包含伪影的IVUS图像提取的管腔极值区域轮廓和椭圆拟合化后的最终轮廓;图 6同样选取图 5中的9幅IVUS图像,描绘出介质极值区域轮廓和椭圆拟合化后的最终轮廓。其中蓝色曲线代表提取的极值区域的轮廓,白色曲线是椭圆拟合化之后的最终轮廓。另外,图 7是本文方法的实验结果和数据集提供的专家标注的轮廓之间的对比,其中白色曲线为标准的内、外膜轮廓,红色曲线为本文方法提取的内、外膜轮廓。图 5-图 7的(a)-(b)无伪影,(c)-(i)均有不同程度伪影。
可以看出,即使IVUS图像在外膜以外区域存在大量伪影,极值区域边缘与最终内外膜边缘仍然相当接近。这是由于虽然外膜以外的部分受到严重干扰,但极值区域仍然能够被检测到,这受益于极值区域选择过程中的面积筛选,能基本过滤掉不符合内外膜区域面积的极值区域,最大程度降低了外膜以外的区域质量所带来的影响,在一定程度上增加了算法的鲁棒性。另外,可以看出,外膜极值区域的边缘变化小于内膜,这是由于管腔区域内图像整体灰度值偏低,内膜边缘不清晰,极值区域边缘定位浮动大。但是经过椭圆拟合化之后,内膜边缘就能较为准确地被定位。因此,椭圆拟合化的主要作用有两点:1)边缘不清晰或部分边缘缺失的IVUS图像提取极值区域产生的误差在该步得到弥补;2)提取的极值区域具有凹凸不平的边界,这与实际管腔内膜和外膜不符,椭圆拟合可以平滑边缘。
2.3 定量测量与分析
本文使用DC(dice coefficient)、JI(jaccard index)、PAD(percentage of area difference)指标以及HD(hausdorff distance) 4个指标定量评估算法准确性。设
1) DC系数。DC系数是两个区域相似性的度量,该指标的定义为
$ D = \frac{{2\left| {{A_{{\rm{auto}}}} \cap {A_{{\rm{man}}}}} \right|}}{{\left| {{A_{{\rm{auto}}}}} \right| + \left| {{A_{{\rm{man}}}}} \right|}} $ | (20) |
2) JI指标。JI指标也被称为交并比,用于比较本文自动分割的区域面积和人工标注的轮廓包围的面积的相似性,即
$ J = \frac{{\left| {{A_{{\rm{auto}}}} \cap {A_{\rm{man}}}} \right|}}{{\left| {{A_{{\rm{auto}}}} \cup {A_{\rm{man}}}} \right|}} $ | (21) |
3) PAD指标。PAD指标是区域差异性的度量,定义为
$ P = \frac{{\left| {{A_{{\rm{auto}}}} - {A_{\rm{man}}}} \right|}}{{{A_{\rm{man}}}}} $ | (22) |
4) HD距离。HD距离度量了两个点集间的最大不匹配程度:假设本文自动分割方法区域轮廓坐标集合
$ H\left({{\mathit{\boldsymbol{C}}_{{\rm{auto}}}}, {\mathit{\boldsymbol{C}}_{\rm{man}}}} \right) = \max \left({h\left({{\mathit{\boldsymbol{C}}_{{\rm{auto}}}}, {\mathit{\boldsymbol{C}}_{\rm{man}}}} \right), h\left({{\mathit{\boldsymbol{C}}_{\rm{man}}}, {\mathit{\boldsymbol{C}}_{{\rm{auto}}}}} \right)} \right. $ | (23) |
$ h\left({{\mathit{\boldsymbol{C}}_{{\rm{auto}}}}, {\mathit{\boldsymbol{C}}_{\rm{man}}}} \right) = \mathop {\max }\limits_{a \in {\mathit{\boldsymbol{C}}_{{\rm{auto}}}}} \mathop {\min }\limits_{b \in {\mathit{\boldsymbol{C}}_{{\rm{man}}}}} \left\| {a - b} \right\| $ | (24) |
$ h\left({{\mathit{\boldsymbol{C}}_{{\rm{man}}}}, {\mathit{\boldsymbol{C}}_{{\rm{auto}}}}} \right) = \mathop {\max }\limits_{b \in {\mathit{\boldsymbol{C}}_{{\rm{man}}}}} \mathop {\min }\limits_{a \in {\mathit{\boldsymbol{C}}_{{\rm{auto}}}}} \left\| {b - a} \right\| $ | (25) |
式中,||·||为两点之间的欧氏距离。
首先,从标准数据集中不同专家描绘的可变性来看,将本文全自动方法提取的结果分别与两位专家手动描绘的结果比较,以及两位专家之间的比较,计算的DC系数、JI指标、PAD指标、HD距离如表 1所示。若两位专家手动描绘的轮廓完全相同,DC系数和JI指标应该为1,PAD指标和HD距离应该为0。表 1中专家1与专家2手动描绘的DC系数和JI指标不等于1,PAD指标和HD距离不等于0,所以二者手动描绘的结果有所差异,而且即使同一位专家前后两次描绘的结果也不完全相同。而本文方法与专家1以及本文方法与专家2测量的内膜的4个指标分别相差0.01、0.01、0.03、0.03 mm,外膜分别相差0.01、0.03、0.06、0.08 mm。说明本文方法与专家1和专家2手动描绘的结果具有一致性。
表 1
本文方法与专家绘制的标准轮廓的定量比较
Table 1
Quantitative comparison between the proposed method and the standard contours drawn by experts
指标 | 本文方法与专家1 | 本文方法与专家2 | 专家1与专家2第1次 | 专家2第1次与第2次 | |||||||
内膜 | 外膜 | 内膜 | 外膜 | 内膜 | 外膜 | 内膜 | 外膜 | ||||
DC | 0.91±0.04 | 0.85±0.14 | 0.92±0.02 | 0.86±0.13 | 0.94±0.03 | 0.95±0.10 | 0.94±0.03 | 0.90±0.10 | |||
JI | 0.85±0.06 | 0.81±0.20 | 0.86±0.05 | 0.78±0.18 | 0.88±0.05 | 0.92±0.03 | 0.93±0.05 | 0.95±0.03 | |||
PAD | 0.12±0.12 | 0.24±0.20 | 0.09±0.06 | 0.18±0.18 | 0.11±0.08 | 0.06±0.04 | 0.04±0.04 | 0.04±0.03 | |||
HD/mm | 0.32±0.20 | 0.59±0.59 | 0.29±0.11 | 0.51±0.49 | 0.28±0.12 | 0.24±0.12 | 0.16±0.03 | 0.15±0.12 |
其次,根据测试图像是否存在伪影以及伪影的种类,表 2对标准数据集的鲁棒性和泛化测试结果进行了展示,并绘出了表 2的柱状图,如图 8所示。当图像中存在伪影时,各项指标的整体性能明显低于无伪像时的整体性能。由表 2和图 8可知,本文方法对分岔伪影最为敏感,此种情况下性能最低。在无伪影时,所提方法内膜的HD距离达到0.22 mm,外膜的HD距离达到0.23 mm。除此之外,表 2和图 8中数据显示,除分岔伪像外(内膜HD距离为0.37 mm,外膜HD距离为0.45 mm),其他类型的伪像和无伪像时的数据相差不大,侧血管和阴影伪影的内外膜平均HD距离均不超过0.30 mm,因此本文算法鲁棒性较好。另外,本文在极值区域筛选算法中运用的LBP特征是纹理信息,能有效地消除亮度对图像的影响,所以一定程度上缓解了亮度变化的问题。灰度差异是利用图像灰度值这一先验信息计算区域和其邻域的灰度差。另外,区域周长是极值区域边界变化的度量,利用该信息能够得到边界变化较为稳定的区域。这3种图像信息的使用均一定程度上提高了算法的鲁棒性。
表 2
有伪像和无伪像分割性能的定量比较
Table 2
Quantitative comparison of segmentation performance with and without artifacts
指标 | 分岔 | 侧血管 | 阴影伪影 | 无伪像 | |||||||
内膜 | 外膜 | 内膜 | 外膜 | 内膜 | 外膜 | 内膜 | 外膜 | ||||
DC | 0.89±0.02 | 0.85±0.03 | 0.92±0.01 | 0.90±0.01 | 0.94±0.03 | 0.91±0.15 | 0.95±0.02 | 0.94±0.01 | |||
JI | 0.86±0.03 | 0.87±0.05 | 0.91±0.01 | 0.91±0.02 | 0.89±0.05 | 0.87±0.02 | 0.92±0.04 | 0.92±0.02 | |||
PAD | 0.08±0.04 | 0.09±0, 06 | 0.06±0.02 | 0.05±0.03 | 0.06±0.06 | 0.07±0.02 | 0.05±0.05 | 0.04±0.03 | |||
HD/mm | 0.37±0.14 | 0.45±0.26 | 0.25±0.06 | 0.28±0.08 | 0.29±0.06 | 0.30±0.15 | 0.22±0.07 | 0.23±0.14 |
最后,表 3定量显示了本文方法和5个现有方法的比较结果,其柱状图如图 9所示。本文方法检测的内膜的DC系数为0.94±0.02,JI指标为0.90±0.04,PAD指标为0.05±0.05,HD距离为0.28±0.14 mm,外膜的DC系数为0.91±0.07,JI指标为0.87±0.11,PAD指标为0.11±0.11,HD距离为0.41±0.31 mm。虽然已有算法在不断地改进,效果也越来越好,但本文方法与这些方法相比仍然具有明显的优势,比如,与Yang等人(2018)的算法(内膜平HD距离为0.26±0.25 mm,外膜HD距离为0.48±0.44 mm)相比,本文内膜的平均HD距离(0.28 mm)虽然多0.02 mm,但是方差比较小,结果更加稳定;外膜的平均HD距离(0.41 mm)比Yang等人(2018)的算法少0.07 mm,且方差较小。综合来看,本文算法优于Yang等人(2018)的算法。
表 3
本文方法和其他文献方法的定量比较
Table 3
Quantitative comparison between the proposed method and other literature methods
方法 | 内膜 | 外膜 | |||||||
DC | JI | PAD | HD/mm | DC | JI | PAD | HD/mm | ||
Yang等人(2018) | - | 0.90±0.06 | - | 0.26±0.25 | - | 0.86±0.11 | - | 0.48±0.44 | |
Jodas等人(2017) | 0.94±0.04 | 0.88±0.06 | 0.09±0.07 | 0.29±0.17 | - | - | - | - | |
Su等人(2017) | - | 0.89±0.05 | - | 0.33±0.13 | - | 0.74±0.07 | - | 0.78±0.17 | |
Sofian等人(2015) | 0.92±0.01 | 0.86±0.02 | 0.06±0.05 | 0.54±0.13 | - | - | - | - | |
Exarchos等人(2014) | - | 0.79±0.03 | 0.11±0.06 | 0.41±0.16 | - | 0.80±0.08 | 0.18±0.12 | 0.61±0.27 | |
Ciompi等人(2012) | - | - | - | - | - | 0.84±0.10 | 0.12±0.12 | 0.57±0.39 | |
本文 | 0.94±0.02 | 0.90±0.04 | 0.05±0.05 | 0.28±0.14 | 0.91±0.07 | 0.87±0.11 | 0.11±0.11 | 0.41±0.31 |
此外,图 10随机选取了9帧北京安贞医院跨数据集的不同类型的图像进行展示,其中红色曲线为本文方法提取的内外膜轮廓,白色曲线为临床专家手动勾画的内外膜轮廓。结果表明,本文方法提取的内外膜轮廓和临床专家的手动提取结果存在很大相似性。所以本文方法在临床数据中也能得到较好的分割结果,进一步验证了本文方法的泛化能力。
2.4 局限性和未来研究工作
尽管本文方法总体性能较好,但仍有一些局限性:由于极值区域是相互嵌套的,因此极值区域筛选矢量是严格递增的,选取第2个峰值作为管腔区域,倒数第2个或最后1个峰值作为介质区域,但在这些峰值之外,可能还有更加接近真实内外膜的峰值,因此极值区域筛选标准矢量还有待改进。
在之后的工作中,找到一个统一的极值区域标准让结果更精确并使其对每一帧IVUS图像都适用仍是未来研究工作的重点。
3 结论
IVUS图像内外膜的分割是快速识别和量化动脉粥样硬化的重要步骤,在传统方法中,IVUS图像分割只能分别设计算法串行提取内外膜,而本文算法摒弃复杂的数学建模和网络训练过程,将IVUS图像分割放宽到区域检测,并设计筛选标准矢量,将筛选标准矢量的第2个峰值对应的极值区域作为管腔,倒数第2个或最后1个峰值对应的极值区域作为介质,实现并行分割IVUS图像。本文算法的主要特色有:1)整个过程不需要任何用户交互,而且当前帧提取的结果不依赖于其他帧,只需对单帧图像操作,以保证其他帧提取的结果不会影响到当前帧;2)将图像边缘信息点作为先验信息,并利用区域的纹理信息、灰度差异度和边缘长度等信息设计筛选矢量,实现并行提取;3)相比其他多数方法,本文方法在保证精度的同时,鲁棒性较好。
致谢 感谢巴塞罗那大学Balocco Simone教授的帮助,提供包含标准内外膜坐标信息的数据集。
参考文献
-
Ahonen T, Hadid A and Pietikäinen M. 2004. Face recognition with local binary patterns//Proceedings of the 8th European Conference on Computer Vision. Prague, Czech Republic: Springer: 469-481[DOI: 10.1007/978-3-540-24670-1_36]
-
Balocco S, Gatta C, Ciompi F, Wahle A, Radeva P, Carlier S, Unal G, Sanidas E, Mauri J, Carillo X, Kovarnik T, Wang CW, Chen HC, Exarchos TP, Fotiadis DI, Destrempes F, Cloutier G, Pujol O, Alberti M, Mendizabal-Ruiz EG, Rivera M, Aksoy T, Downe RW, Kakadiaris IA. 2014. Standardized evaluation methodology and reference database for evaluating IVUS image segmentation. Computerized Medical Imaging and Graphics, 38(2): 70-90 [DOI:10.1016/j.compmedimag.2013.07.001]
-
Ciompi F, Pujol O, Gatta C, Alberti M, Balocco S, Carrillo X, Mauri-Ferre J, Radeva P. 2012. HoliMAB:a holistic approach for media-adventitia border detection in intravascular ultrasound. Medical Image Analysis, 16(6): 1085-1100 [DOI:10.1016/j.media.2012.06.008]
-
Fang T. 2018. Research of Level Set Segmentation Models and Their Applications in Medical Images. Chengdu: Southwest Jiaotong University (方婷. 2018.水平集分割模型及其在医学图像上的应用研究.成都: 西南交通大学) http://cdmd.cnki.com.cn/Article/CDMD-10613-1018709090.htm
-
Faraji M, Shanbehzadeh J, Nasrollahi K, Moeslund T B. 2015. Extremal regions detection guided by maxima of gradient magnitude. IEEE Transactions on Image Processing, 24(12): 5401-5415 [DOI:10.1109/TIP.2015.2477215]
-
Frostegård J. 2005. SLE, atherosclerosis and cardiovascular disease. Journal of Internal Medicine, 257(6): 485-495 [DOI:10.1111/j.1365-2796.2005.01502.x]
-
Gao C Y. 2010.Research on Edge Extraction of Intravascular Ultrasound Sequential Image Based on Active Contour Model. Xi'an: Xi'an University of Science and Technology (高重阳. 2010.基于活动轮廓模型的血管内超声序列图像边缘提取研究.西安: 西安科技大学) http://kns.cnki.net/KCMS/detail/detail.aspx?dbcode=CMFD&filename=2011015201.nh
-
He L F, Ren X W, Gao Q H, Zhao X, Yao B, Chao Y Y. 2017. The connected-component labeling problem:a review of state-of-the-art algorithms. Pattern Recognition, 70: 25-43 [DOI:10.1016/j.patcog.2017.04.018]
-
Hossain M M, AlMuhanna K, Zhao L M, Lal B and Sikdar S. 2013. Semiautomatic segmentation of atherosclerotic carotid artery lumen using 3D ultrasound imaging//Proceedings of SPIE 8669, MedicalImaging 2013: Image Processing.Florida, United States: SPIE: 86694A[DOI: 10.1117/12.2007030]
-
Jodas D S, Pereira A S, Tavares J M R S. 2017. Automatic segmentation of the lumen region in intravascular images of the coronary artery. Medical Image Analysis, 40: 60-79 [DOI:10.1016/j.media.2017.06.006]
-
Klein D A and Frintrop S. 2011. Center-surround divergence of feature statistics for salient object detection//Proceedings of 2011 International Conference on Computer Vision. Barcelona, Spain: IEEE: 2214-2219[DOI: 10.1109/ICCV.2011.6126499]
-
Lazrag H, Naceur M S. 2012. Combination of the level-set methods with the contourlet transform for the segmentation of the IVUS images. Journal of Biomedical Imaging, 2012: 439597 [DOI:10.1155/2012/439597]
-
Lin M D, Yang F, Liang S J, Zhao H S, Huang Z, Cui K. 2016. External elastic membrane border detection based on sequential learning and prior shape information for intravascular ultrasound images. Journal of Image and Graphics, 21(5): 646-656 (林慕丹, 杨丰, 梁淑君, 赵海升, 黄铮, 崔凯. 2016. 结合先验形状信息和序贯学习的心血管内超声外弹力膜检测. 中国图象图形学报, 21(5): 646-656) [DOI:10.11834/jig.20160512]
-
Majtey A P, Lamberti P W, Prato D P. 2005. Jensen-Shannon divergence as a measure of distinguishability between mixed quantum states. Physical Review A, 72(5): 052310 [DOI:10.1103/PhysRevA.72.052310]
-
Mendizabal-Ruiz E G and Kakadiaris I A. 2012. Probabilistic segmentation of the lumen from intravascular ultrasound radio frequency data//Proceedings of the 15th International Conference on Medical Image Computing and Computer-Assisted Intervention.Nice, France: Springer: 454-461[DOI: 10.1007/978-3-642-33418-4_56]
-
Mendizabal-Ruiz E G, Rivera M, Kakadiaris I A. 2013. Segmentation of the luminal border in intravascular ultrasound B-mode images using a probabilistic approach. Medical Image Analysis, 17(6): 649-670 [DOI:10.1016/j.media.2013.02.003]
-
Mendizabal-Ruiz G, Rivera M and Kakadiaris I A. 2008. A probabilistic segmentation method for the identification of luminal borders in intravascular ultrasound images//Proceedings of 2008 IEEE Conference on Computer Vision and Pattern Recognition. Anchorage, AK, USA: IEEE: 1-8[DOI: 10.1109/CVPR.2008.4587484]
-
Nissen S E, Yock P. 2001. Intravascular ultrasound:novel pathophysiological insights and current clinical applications. Circulation, 103(4): 604-616 [DOI:10.1161/01.CIR.103.4.604]
-
Ojala T, Pietikainen M and Harwood D. 1994. Performance evaluation of texture measures with classification based on Kullback discrimination of distributions//Proceedings of 12th International Conference on Pattern Recognition. Jerusalem, Israel: IEEE: 582-585[DOI: 10.1109/ICPR.1994.576366]
-
Sofian H, Ming J T C and Noor N M. 2015. Detection of the lumen boundary in the coronary artery disease//Proceedings of 2015 IEEE International WIE Conference on Electrical and Computer Engineering (WIECON-ECE). Dhaka, Bangladesh: IEEE: 143-146[DOI: 10.1109/WIECON-ECE.2015.7443882]
-
Su S R, Gao Z F, Zhang H Y, Lin Q, Hau W K and Li S. 2017. Detection of lumen and media-adventitia borders in IVUS images using sparse auto-encoder neural network//The 14th International Symposium on Biomedical Imaging (ISBI 2017). Melbourne, VIC, Australia: IEEE: 1120-1124[DOI: 10.1109/ISBI.2017.7950713]
-
Szpak Z L, Chojnacki W and Van Den Hengel A. 2012. A comparison of ellipse fitting methods and implications for multiple-view geometry estimation//Proceedings of 2012 International Conference on Digital Image Computing Techniques and Applications (DICTA). Fremantle, WA, Australia: IEEE: 1-8[DOI: 10.1109/DICTA.2012.6411722]
-
Tabassum A and Dhondse S A. 2015. Text detection using MSER and stroke width transform//Proceedings of the 5th International Conference on Communication Systems and Network Technologies. Gwalior, India: IEEE: 568-571[DOI: 10.1109/CSNT.2015.154]
-
Vykoukal D, Chinnadurai P and Davies M G. 2014. Cardiovascular imaging, navigation and intervention: hybrid imaging and therapeutics//Garbey M, Bass B L, Berceli S, Collet C andCerveri P, eds.Computational Surgery and Dual Training. New York: Springer: 125-148.
-
Yan C G, Xie H T, Liu S, Yin J, Zhang Y D, Dai Q H. 2018. Effective Uyghur language text detection in complex background images for traffic prompt identification. IEEE Transactions on Intelligent Transportation Systems, 19(1): 220-229 [DOI:10.1109/TITS.2017.2749977]
-
Yang J, Tong L, Faraji M and Basu A. 2018. IVUS-Net: an intravascular ultrasound segmentation network//Proceedings of the 1st International Conference on Smart Multimedia. Toulon, France: Springer: 367-377[DOI: 10.1007/978-3-030-04375-9_31]
-
Yuan S F, Yang F, Liu S J, Ji F, Huang J. 2018a. Media-adventitia border detection based on local shape structure classification for intravascular ultrasound images. Acta Electronica Sinica, 46(7): 1601-1608 (袁绍锋, 杨丰, 刘树杰, 季飞, 黄靖. 2018a. 基于局部形状结构分类的心血管内超声图像中-外膜边界检测. 电子学报, 46(7): 1601-1608) [DOI:10.3969/j.issn.0372-2112.2018.07.009]
-
Yuan S F, Yang F, Xu L, Liu S J, Ji F, Huang J. 2018b. Lumen and media-adventitia borders detection in IVUS images using deep fully convolutional networks. Journal of Image and Graphics, 23(9): 1335-1348 (袁绍锋, 杨丰, 徐琳, 刘树杰, 季飞, 黄靖. 2018b. 深度全卷积网络的IVUS图像内膜与中-外膜边界检测. 中国图象图形学报, 23(9): 1335-1348) [DOI:10.11834/jig.170598]
-
Yuan S F, Yang F, Xu L, Wu Y Y, Huang J, Liu Y Q. 2019. Lumen and media-adventitia borders detection in IVUS images using conditional generative adversarial networks. Chinese Journal of Biomedical Engineering, 38(2): 146-156 (袁绍锋, 杨丰, 徐琳, 吴洋洋, 黄靖, 刘娅琴. 2019. 有条件生成对抗网络的IVUS图像内膜与中-外膜边界检测. 中国生物医学工程学报, 38(2): 146-156) [DOI:10.3969/j.issn.0258-8021.2019.02.003]
-
Zhu X J, Zhang P F, Shao J H, Cheng Y Z, Zhang Y, Bai J. 2011. A snake-based method for segmentation of intravascular ultrasound images and its in vivo validation. Ultrasonics, 51(2): 181-189 [DOI:10.1016/j.ultras.2010.08.001]