Print

发布时间: 2019-12-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.190070
2019 | Volume 24 | Number 12




    图像分析和识别    




  <<上一篇 




  下一篇>> 





稀疏形状先验的脑肿瘤图像分割
expand article info 雷晓亮1, 于晓升2, 迟剑宁2, 王莹1, 吴成东2
1. 东北大学信息科学与工程学院, 沈阳 110819;
2. 东北大学机器人科学与工程学院, 沈阳 110819

摘要

目的 在脑部肿瘤图像的分析过程中,准确分割出肿瘤区域对于计算机辅助脑部肿瘤疾病的诊断及治疗过程具有重要意义。然而,由于脑部图像常存在结构复杂、边界模糊、灰度不均以及肿瘤内部存在明暗区域的问题,使得肿瘤图像分割工作面临严峻挑战。为了克服上述困难,更好地实现脑部肿瘤图像分割,提出一种基于稀疏形状先验的脑肿瘤图像分割算法。方法 首先,研究脑部肿瘤图像的配准与形状描述,并以此为基础构建脑部肿瘤的稀疏形状先验约束模型;继而,将该稀疏形状先验约束模型与区域能量描述方法相结合,构建基于稀疏形状先验的能量函数;最后,对能量函数进行优化及迭代,输出脑部肿瘤区域分割结果。结果 本文使用脑胶质瘤公开数据集BraTS2017进行算法测试,本文算法的分割结果与真实数据之间的平均相似度达到93.97%,灵敏度达到91.3%,阳性预测率达到95.9%。本文算法的实验准确度较高,误判率较低,鲁棒性较强。结论 本文算法能够结合水平集方法在拓扑结构描述和稀疏表达方法在复杂形状表达方面的优势,同时由于加入了形状约束,能够有效削弱肿瘤内部明暗区域对分割结果造成的影响,从而更准确和稳定地实现脑部肿瘤图像分割。

关键词

脑肿瘤; 图像分割; 稀疏约束; 形状先验; 水平集

Brain tumor segmentation based on prior sparse shapes
expand article info Lei Xiaoliang1, Yu Xiaosheng2, Chi Jianning2, Wang Ying1, Wu Chengdong2
1. College of Information Science and Engineering, Northeastern University, Shenyang 110819, China;
2. Faculty of Robot Science and Engineering, Northeastern University, Shenyang 110819, China
Supported by: National Natural Science Foundation of China (61701101, U1713216, 61803077)

Abstract

Objective In the process of analyzing brain tumor images,accurate segmentation of brain tumors is crucial to the diagnosis and treatment of computer-aided brain tumor diseases. Magnetic resonance imaging (MRI) is the primary method of brain structure imaging in clinical applications,and imaging specialists commonly outline tumor tissues from MRI images manually to segment brain tumors. However,manual segmentation is laborious,especially when the brain image has a complex structure and the boundary is blurred. The brain tumor area in the image might have bright or dark blocks that are marked in magenta. These areas may cause holes in the result or excessive shrinkage of the contour. Moreover,due to the limitation of the imaging principle and the complexity of the human tissue structure,this technique usually encounters problems,such as uneven intensity distribution and overlapping of tissues. The segmentation effect of traditional methods based on thresholds,geometric constraints,or statistics is poor and adds challenges to tumor image segmentation. To overcome these difficulties and realize improved segmentation,the common characteristics of the brain tumor's shape are studied to construct a sparse representation-based model and propose a brain tumor image segmentation algorithm based on prior sparse shapes. Method The Fourier-Melli method is utilized to implement image registration,and the shape description of brain tumor images is studied. A prior sparse shape constraint model of brain tumors is proposed to weaken the influence of light and dark areas inside the tumor on the segmentation results. The K-means method is used to cluster the data in the mapping matrix into several classes and calculate the average of each group separately to be used as a predefined sparse dictionary,and the sparse coefficients are updated through the orthogonal matching method. Then,the prior sparse shape constraint model is combined with the regional energy to construct the energy function. The following steps are implemented to initialize the contour. First,the fast bounding box (FBB) algorithm is used to obtain the initial rectangular contour region of the brain tumor,and the region centroid is adopted as the seed of the region growing method. The initial value of the level set function is then generated. The optimization and iteration details of the energy function utilizing the relationship between the high-level sparse constraint and the underlying energy function are also provided in this paper. Result To verify the feasibility of the proposed algorithm,this study uses the multimodal glioma dataset from the MICCAI BraTS2017 challenge,which contains brain MRI images of patients suffering from brain glioma,to test the algorithm. The dice similarity coefficient,sensitivity,and positive predictive positivity value (PPV) are selected as technical indicators to further evaluate the accuracy of the brain tumor segmentation results. We compare the algorithm with other image segmentation algorithms. The algorithm proposed by Joshi et al. uses wavelet transform to preprocess an MRI image,roughly segments the image through a contour-based level set method,and filters the shape and size of the results from the previous step by utilizing the soft threshold method. The algorithm proposed by Zabir et al. uses the K-means method to determine the initial tumor location points and calculates the initial value of the DRLSE level set by utilizing the region grown method. The algorithm proposed by Kermi et al. uses FBB to determine the approximate location of the brain tumor then utilizes the region growing method and geodesic active contour model for brain tumor segmentation. The algorithm proposed by Mojtabavi et al. outlines the initial contours of brain tumors artificially. It defines a level set function combined with region-and edge-based approaches then iteratively optimizes the energy function using the fast-marching method. In addition,to further verify the influence of the shape constraint terms on the segmentation results,the shape constraint terms are shielded during the testing of the algorithm for comparison. Experimental results show that the proposed algorithm can accurately and stably extract brain tumors from images. The average similarity between the segmentation result and the real data of the algorithm,the sensitivity,and the positive prediction rate reach 93.97%,91.3%,and 95.9%,respectively. The proposed algorithm is more accurate and has a lower false positive rate and stronger robustness than other algorithms of the same type. Conclusion A novel image segmentation algorithm based on sparse shape priori is proposed to describe the shape of brain tumors and construct the sparse shape constraint model of brain tumors. Then,the energy function is constructed by combining the level set constraint method,and the relationship between the high-level sparse constraint and the low-level energy function is used to derive the target contour. The difficulty in this work is selecting the appropriate variational level set model according to the image features and the appropriate shape priori model for dealing with the complex and changeable shape of brain tumors to ensure that the complexity of the algorithm is reduced while retaining a significant amount of shape details. Compared with other algorithms,the proposed algorithm combines the advantages of the level set method in topological structure description and the sparse expression method in complex shape expression. The algorithm has good robustness and can accurately segment brain tumors. In our future work,we will further study the problem of multi-modal brain tumor segmentation to make better use of information from MRI data.

Key words

brain tumor; image segmentation; sparse constraint; prior shapes; level set

0 引言

随着智能医疗概念的兴起和推广,使用计算机视觉辅助进行医疗诊断及治疗逐渐成为现代医学领域的研究发展趋势。其中计算机辅助医学图像分割技术旨在从医学影像中分割出目标组织或结构,其分割结果的准确性对后续的病理分析、术中影像定位导航等相关临床操作均起到了至关重要的作用,是智能医疗领域的研究热点及难点(Masood等,2015)。然而在临床中,这一工作主要由影像科的医务工作者手工勾勒目标边界完成,其精度受到操作者业务水平及主观工作态度等多方面因素影响,在准确度方面难以得到保障,同时浪费了大量的人力资源。

临床中,脑部医学成像主要依赖核磁共振成像(MRI)技术,该技术受成像原理和人体组织结构复杂等因素限制,通常存在强度分布不均、组织相互重叠等问题,直接应用以阈值、几何约束或统计学为主的传统手段取得的分割效果较差,促使研究者探索新的图像分割方法(刘宇等,2017)。Kass等人(1988)提出Snake模型,将图像分割过程中因迭代而不断变化的边界视为活动轮廓并在该轮廓上定义能量函数,通过能量函数最优化确定轮廓演化方向及最优位置,活动轮廓模型的思想一经提出便受到研究人员的广泛关注。Cohen等人(1991)通过增加气球力约束对Snake模型进行优化,以此为基础大量带参数的活动轮廓模型相继诞生。

Osher等人提出水平集思想,在图像上定义高维函数,绘制等高线,并将水平高度为零的轮廓集合视为目标轮廓,极大程度地优化了能量函数求解过程并在图像处理领域产生了深远影响。Caselles等人(1993)为进一步解决曲线拓扑变化效果不佳问题构建了几何活动轮廓分割模型(GACM),继而启发诞生了测地线活动轮廓(GAC)模型(Caselles等,1997)、Chan-Vese(C-V)模型(Chan等,2001)、局部强度聚类(LIC)模型(Li等,2011)、距离正则化水平集演化(DRLSE)模型(Li等,2010)等一系列水平集分割模型。

尽管水平集方法在图像分割领域中得到了广泛应用,但对于医学图像尤其是脑部MRI图像而言,常存在灰度分布不均、组织结构复杂且边界模糊等问题,直接应用水平集方法不能取得良好的实验效果。为了解决上述问题,研究者继而提出使用混合变分水平集的方法,并将概率分布模型、频率变换、机器学习等思想与水平集方法相结合以提升分割精度(陈红等,2018)。为了更充分地利用图像数据,研究者进一步结合了目标组织的结构特征、几何性状(Feng等,2016)、形状参数(Gao等,2018)、颜色知识等先验信息,使得分割结果的准确性和鲁棒性获得了一定程度的提升。

然而正如图 1所示,脑部图像中的肿瘤区域内部经常会存在大小及数量未知的明暗区域,单纯使用水平集分割算法所得的分割轮廓常包含孔洞或存在过度收缩等问题。若以常见的肿瘤区域轮廓约束分割过程中目标轮廓的形状,则可以减少孔洞或过度收缩问题的发生,最终更好地实现准确分割。常见的形状先验约束方法包括引入单一或多个预定义几何形状方程(Yang等,2017)、建立图像形状的统计学概率模型(Mesadi等,2018)、建立形状映射模型、建立稀疏形状模型(姚劲草,2017)等方式。但由于脑部肿瘤形状通常较为复杂,同时其轮廓形状因患者的个体差异而存在较大的差异,因此,准确地描述脑部肿瘤的形状结构不仅需要较多的像素数据,还需要大量的脑肿瘤MRI图像样本。稀疏表达在复杂形状表示方面具有一定的优势,故本文提出一种基于稀疏形状先验的脑肿瘤图像分割算法,对肿瘤形状进行描述,构建稀疏形状约束模型,并结合水平集约束方法构建能量泛函,利用高层稀疏约束和底层能量函数之间的关系进行目标轮廓的演化,最终实现对图像中肿瘤区域的分割提取,以结合水平集方法在拓扑结构描述和稀疏表达方法在复杂形状表达方面的优势同时减少肿瘤内部明暗区域对分割结果造成的影响。

图 1 脑部肿瘤区域图像
Fig. 1 Brain tumor regions

1 基础技术理论

本节简要介绍混合变分水平集分割理论的通用分割模型以及形状的稀疏表示模型。

1.1 混合变分水平集分割理论

基于混合变分水平集理论的目标分割方法是将目标的形状、颜色、比例等先验信息与变分水平集方法相融合,共同构建底层能量函数,其通用能量函数框架为

$ E\left( \phi \right) = {E_{\rm{p}}}\left( \phi \right) + {E_{\rm{i}}}\left( \phi \right) $ (1)

式中,$\phi $为水平集函数,$ {E_{\rm{p}}}(\phi)$代表先验参考信息项,$ {E_{\rm{i}}}(\phi)$代表变分水平集项,结合实际应用背景可使用不同的模型。

C-V模型以分割轮廓为界将图像分为目标区域和背景区域并进行灰度约束和轮廓长度约束,在目标与背景灰度差异大且分布均匀时效果良好。

LIC模型进一步应用于灰度分布不均的图像分割场景并加入局部灰度聚类能量项,可以更好地实现偏移场矫正。

DRLSE模型将能量函数分解为正则化项${E_{\rm{r}}}(\phi) $与扩展项$ {E_{{\rm{ext}}}}(\phi)$,前者定义为

$ {E_{\rm{r}}}\left( \phi \right) = \frac{1}{2}\int {{{\left( {\left| {\nabla \phi } \right| - 1} \right)}^2}} {\rm{d}}x $

后者因实际问题而异,有效避免了演化过程中$ \phi $重新初始化所带来的问题(Khadidos等,2017)。

本文研究基于形状先验的图像分割,研究难点除根据图像特征选择合适的变分水平集模型外,还包括选择合适的形状先验模型以适应脑肿瘤复杂多变的形状。

1.2 组合形状的稀疏表示理论

本文基于稀疏表示模型进行形状建模,该方法构建稀疏字典并使用尽可能少的原子进行组合以重构原始信号。常见的稀疏字典构成法包括预定义、K-奇异值分解(K-SVD)(Rubinstein等,2012)等方法,其中,当信号数据类型相对稳定时,使用预定义稀疏字典更有助于提升算法的运行效率。因此本文使用预定义的稀疏字典并基于经典的稀疏形状组合(SSC)表示方法(Cremers等,2003)进行形状表示。

SSC方法使用不同类型的形状信息作为原子构建过完备字典$\mathit{\boldsymbol{A}} \in {{\bf{R}}^{M \times K}} $,其中$M $表示原子维度,$ K$表示形状的类型数目。待观测信号$ \mathit{\boldsymbol{y}}$的重构公式表示为

$ \min {\left\| \mathit{\boldsymbol{s}} \right\|_0}{\rm{ s}}{\rm{. t}}{\rm{. }}\;\mathit{\boldsymbol{As}} = \mathit{\boldsymbol{y}} $ (2)

式中,$\mathit{\boldsymbol{s}} $表示稀疏系数,为了尽可能少地使用原子来重构信号以获得更为稀疏的表示形式,式中第1项约束了稀疏系数中非零项的数量。

然而L0范数的非凸特性使得式(2)变为NP难问题,因此在实际操作中通常使用图松弛算法将L0范数替换为高阶L1范数,并使用拉格朗日乘子法以能量泛函的形式将稀疏系数求解过程表示为求解最小化能量泛函$ E$,即

$ \mathop {\min }\limits_{\mathit{\boldsymbol{s}} \in {{\bf{R}}^{K \times 1}}} \left\{ {E = \left\| {\mathit{\boldsymbol{As}} - \mathit{\boldsymbol{y}}} \right\|_2^2 + \lambda {{\left\| \mathit{\boldsymbol{s}} \right\|}_1}} \right\} $ (3)

式中,$ \lambda $为稀疏约束项的权重系数。

使用稀疏形状组合方法进行稀疏表示的关键在于过完备字典构成及形状特征的选择和提取,以实现在最大程度减少运算数据量的同时保证并提升形状拟合的准确率。

2 基于稀疏形状先验的脑部肿瘤图像分割

本文基于稀疏形状先验的脑肿瘤图像分割算法,结合肿瘤形状的稀疏表示模型与变分水平集方法共同构建能量表达式并给出能量函数优化过程。算法框架流程如图 2所示。

图 2 算法流程图
Fig. 2 The flowchart of the proposed approach

2.1 稀疏形状先验约束模型

2.1.1 构建观测信号

使用矩阵$ \boldsymbol{X}=\left[x_{1}, x_{2}, \cdots, x_{N}\right]$表示训练形状样本集,$ \mathit{\boldsymbol{X}} \in {{\bf{R}}^{K \times V}}$,其中$ K$表示单幅图像的像素总数量,$ N$表示训练样本中的图像数量,${{x_i}} $表示第$ i$个训练样本,$\mathit{\boldsymbol{X}} $中各样本均值使用$ \bar x = \frac{1}{N}\sum\limits_{i = 1}^N {{x_i}} $表示。

使用$ {m_i}$表示第$i $幅图像经中心化操作后的输出结果,具体为

$ {m_i} = {x_i} - \bar x $ (4)

由此可得到中心化矩阵$\mathit{\boldsymbol{M}} = {\left[ {{m_1}, {m_2}, \cdots, {m_N}} \right]^{\rm{T}}} $,将该矩阵的协方差矩阵表示为$ \boldsymbol{C}_{x}=\mathrm{E}\left\{\boldsymbol{M} \boldsymbol{M}^{\mathrm{\tau}}\right\}$,其中$E\left\{ \cdot \right\} $表示矩阵期望。由矩阵运算性质可知$ \boldsymbol{C}_{x}$为实对称矩阵。

$ \boldsymbol{C}_{x}$的特征值及其相对应的特征向量分别表示为$\lambda_{1}, \lambda_{2}, \cdots, \lambda_{N} $$\boldsymbol{e}_{1}, \boldsymbol{e}_{2}, \cdots, \boldsymbol{e}_{N} $,以此构建特征向量矩阵$\boldsymbol{U}=\left[\boldsymbol{e}_{1}, \boldsymbol{e}_{2}, \cdots, \boldsymbol{e}_{N}\right]^{\mathrm{T}} $。对于$ \mathit{\boldsymbol{X}}$中的任意样本${{x_i}} $,均可通过特征向量矩阵$\boldsymbol{U}=\left[\boldsymbol{e}_{1}, \boldsymbol{e}_{2}, \cdots, \boldsymbol{e}_{N}\right]^{\mathrm{T}} $映射为变量${y_i} $,具体为

$ {y_i} = \mathit{\boldsymbol{U}}\left( {{x_i} - \bar x} \right) $ (5)

$ \mathit{\boldsymbol{X}}$中各样本依次进行映射可得到映射矩阵$\boldsymbol{Y}=\left[y_{1}, y_{2}, \cdots, y_{N}\right] $。由特征向量矩阵的性质可知,矩阵${\mathit{\boldsymbol{U}}^{\rm{T}}} = {\mathit{\boldsymbol{U}}^{ - 1}} $中的各行向量之间相互正交且满足$ {\mathit{\boldsymbol{U}}^{\rm{T}}} = {\mathit{\boldsymbol{U}}^{ - 1}}$,故样本${{x_i}} $可由

$ {x_i} = {\mathit{\boldsymbol{U}}^{\rm{T}}}{y_i} + \bar x $ (6)

恢复重建,将此重构形状样本集合记为$\mathit{\boldsymbol{\hat X}} = {\left[ {{{\hat x}_1}, {{\hat x}_2}, \cdots, {{\hat x}_N}} \right]^{\rm{T}}} $

$ n < N$个特征向量重新构建矩阵$ {\mathit{\boldsymbol{U}}_n}$的方式减少$ U$的维度是一种行而有效的降低运算复杂度操作。由于该操作将导致重建信号与原始信号间存在大小为${e_{ms}} = \sum\limits_{j = n + 1}^N {{\lambda _j}} $的损失。为使该损失项数值达到最小,取$ {\mathit{\boldsymbol{C}}_x}$的特征值中最大的前$ n$项对应的特征向量构成矩阵$ {\mathit{\boldsymbol{U}}_n}$,并将${{x_i}} $推广至任意目标形状$ x$。则式(6)推广为

$ \hat x = \mathit{\boldsymbol{U}}_n^{\rm{T}}\mathit{\boldsymbol{y}} + \hat x $ (7)

由于样本均值$ {\bar x}$仅与样本集$\mathit{\boldsymbol{X}} $相关,其值固定,故本文对中心化后的形状样本进行稀疏近似表示使其接近真实值,即对于任意形状样本$ x$,求其解稀疏组合$ \hat x - \bar x = \mathit{\boldsymbol{As}}$以使得$ \hat{x}-\bar{x} \approx x-\bar{x}$,并与式(7)对比,即

$ \left\{ {\begin{array}{*{20}{l}} {\hat x = \mathit{\boldsymbol{As}} + \bar x}\\ {\hat x = \mathit{\boldsymbol{U}}_n^{\rm{T}}\mathit{\boldsymbol{y}} + \bar x} \end{array}} \right. $ (8)

由于$ \mathit{\boldsymbol{U}}_n^{\rm{T}}$同样不随能量函数的迭代演化而发生变化,本文将问题进一步转化为求解稀疏组合$\mathit{\boldsymbol{As}} $以满足$ \mathit{\boldsymbol{y}} = \mathit{\boldsymbol{As}}$。构建稀疏约束模型

$ \min \left\| \mathit{\boldsymbol{s}} \right\|_p^p{\rm{ s}}{\rm{. t}}{\rm{. }}\;\mathit{\boldsymbol{As}} = \mathit{\boldsymbol{y}} $ (9)

结合式(5)对$y $进行变量替换

$ \min \left\| \mathit{\boldsymbol{s}} \right\|_p^p{\rm{ s}}{\rm{. t}}{\rm{. }}\;\mathit{\boldsymbol{As}} = \mathit{\boldsymbol{U}}\left( {x - \bar x} \right) $ (10)

本文使用K-means方法将映射矩阵$\mathit{\boldsymbol{Y}} $中的数据聚为$M $类并分别求取平均形状,得到集合$ \hat Y = \left[ {{{\bar y}_i}} \right.,\left. {{{\bar y}_2}, \cdots ,{{\bar y}_M}} \right]$,并使用该集合作为预定义的稀疏字典$ \mathit{\boldsymbol{A}}$,通过正交匹配追踪更新稀疏系数$ \mathit{\boldsymbol{s}}$

2.1.2 肿瘤图像配准及形状描述

实际情况中,由于待匹配的图像形状可能因存在位移、旋转和缩放而难以与模板实现完全匹配,因此在操作前需要对图像进行配准。使用人工标记点、图像形状特征点、角点等人工或人工特征点集合来进行图像间的模式匹配(Van等,1993)是一种基本的图像配准操作,然而该方法对特征点的选择提出了较高要求,同时其使用范围受到了限制。研究者进一步提出在图像配准过程中引入傅里叶变换(Luo等,2000)、互相关信息、小波变换等技术(Sharman等,2000)以避免特征点的筛选过程,在提高图像配准精度的同时提升了算法的灵活性。

本文基于Fourier-Melli(Chen等,1994)算法对图像进行配准,该方法利用笛卡尔坐标系中图像的缩放和旋转在相对应的对数极坐标系中分别表现为横向与纵向平移的原理,对形变图像与配准图像分别进行极坐标变换,并求其互能量谱以求解图像间的旋转和伸缩量,并在对形变图像进行变换后继续求解变换后形变图像与配准图像之间的互功率谱以求解平移变换量,从而对形变图像进行平移变换,以实现两幅图像之间的对齐。如图 3所示,原始数据集中脑肿瘤的位置和朝向不一,经过配准可获得整齐的图像数据集。

图 3 使用基准图像对齐形状库中的样本数据
Fig. 3 Use the reference image to align the sample data in the shape library((a)original images; (b)aligned images)

为方便描述,定义一种符号函数$ P_{\kappa, \theta, \tau}(q)$以表示待匹配的图像形状$ q$在进行配准操作化后所得的图像形状,$P_{\kappa, \theta, \tau}^{-1}(q) $表示其反变换,其中$\kappa $表示图像的放缩变换量,$ \theta $表示图像的旋转变换量,$ \tau $表示平移变换量,将训练集经对数极坐标变换后的均值表示为符号$ {\bar P}$。则构建稀疏能量函数项可以重新定义为

$ {E_{\rm{s}}} = \left\| {\mathit{\boldsymbol{As}} - \mathit{\boldsymbol{U}}{\mathit{\boldsymbol{P}}_{\kappa ,\theta ,\tau }}\left( q \right) + \mathit{\boldsymbol{U}}\bar P} \right\|_2^2 + \lambda {\left\| \mathit{\boldsymbol{s}} \right\|_1} $ (11)

2.2 基于稀疏形状先验的能量函数

本文使用数值为0和$ k$的两条活动水平集,定义水平函数在图像中肿瘤边沿的数值为0,在肿瘤外的脑部组织与纯黑背景交界处数值为$ k$。由此将MRI图像分为3个区域:1)肿瘤边沿内部区域,水平集函数数值为负;2)两水平集轮廓之间的区域,水平集函数数值保持在0~$ k$之间;3)大脑外部区域,水平集函数数值大于$ k$

图 4所示,本文使用绿色曲线表示肿瘤轮廓,红色曲线表示人脑部组织轮廓,将MRI图像分为3个不同区域。水平集函数在上述轮廓和各区域中的取值如图所示。对于图像中的任一像素$y $,取其高斯邻域窗口,如图中黑色曲线所示,与MRI图像的3个区域分别重叠于区域$ f_{1}(y)、f_{2}(y)$$f_{3}(y) $。此外,为便于阅读,本文对原始的MRI图像进行了适当的灰度变换处理,此灰度变换处理仅用于示例展示用途,不应用于后续的实验部分。

图 4 图像区域划分示意图
Fig. 4 Image area division schematic diagram

使用区域能量函数项$ {E_{{\rm{re}}}}(\phi)$约束图像中的像素点在所属窗内进行灰度聚类,具体为

$ \begin{array}{*{20}{c}} {{E_{{\rm{re}}}}(\phi ) = \sum\limits_{i = 1}^3 {{\mu _i}} \int {\int {{M_i}(\phi (x)){K_\sigma }(x - y)} } }\\ {{{\left| {\mathit{\boldsymbol{I}}(x) - {\mathit{\boldsymbol{f}}_i}(y)} \right|}^2}{\rm{d}}x{\rm{d}}y} \end{array} $ (12)

式中,$K_{\sigma}(u)=\frac{1}{(2 \pi)^{n / 2} \sigma^{n}} \mathrm{e}^{-|u|^{2} / 2 \sigma^{2}} $定义了点$y $的邻域窗口,$\mu_{\mathrm{i}}, i=1, 2, 3 $分别代表各区域的权重系数项,此外,各区域使用函数

$ {M_i}(\phi (x)) = \left\{ {\begin{array}{*{20}{l}} {1 - H(\phi (x))}&{i = 1}\\ {H(\phi (x)) - H(\phi (x) - k)}&{i = 2}\\ {H(\phi (x) - k)}&{i = 3} \end{array}} \right. $

进行分区,$H(·) $代表单位阶跃函数。$ f_{i}(y), i=1, 2, 3$由梯度下降法求解,具体为

$ \left\{ {\begin{array}{*{20}{l}} {{f_1} = \frac{{{K_\sigma }*(I - H(\phi )I)}}{{{K_\sigma }*(I - H(\phi ))}}}\\ {{f_2} = \frac{{{K_\sigma }*(H(\phi )I - H(\phi - k)I)}}{{{K_\sigma }*(H(\phi ) - H(\phi - k))}}}\\ {{f_3} = \frac{{{K_\sigma }*(H(\phi - k)I)}}{{{K_\sigma }*H(\phi - k)}}} \end{array}} \right. $ (13)

进一步地,为了避免能量函数迭代过程中水平集函数$ \phi $重新初始化所带来的不良影响,本文加入正则化项

$ {E_{\rm{r}}}(\phi ) = \frac{1}{2}\int {{{(|\nabla \phi | - 1)}^2}} {\rm{d}}x $ (14)

以约束$ \phi $的距离函数特性。

由于$(1-H(\phi)) $可以将图像分割成为肿瘤区域为1、非肿瘤区域为0的二值图像,故本文将此图像作为稀疏能量函数中的目标形状数据,即

$ \begin{array}{*{20}{c}} {{E_{\rm{s}}}(\phi ) = \left\| {\mathit{\boldsymbol{As}} - \mathit{\boldsymbol{U}}{P_{\kappa ,\theta }}(1 - H(\phi )) + \mathit{\boldsymbol{U}}\bar P} \right\|_2^2 + }\\ {\lambda {{\left\| \mathit{\boldsymbol{s}} \right\|}_1}} \end{array} $ (15)

由此,本文将总体能量函数定义为稀疏能量函数项、区域能量函数项以及正则化项之和,表示为

$ E(\phi ) = {\omega _1}{E_{\rm{r}}}(\phi ) + {\omega _2}{E_{{\rm{re}}}}(\phi ) + {\omega _3}{E_{\rm{s}}}(\phi ) $ (16)

式中,各能量函数项权重系数$ \omega_{1}, \omega_{2}, \omega_{3}>0$

2.3 能量函数优化

能量函数优化算法包括参数初始化和迭代优化两部分,首先固定稀疏系数$ s$,更新水平集函数$ \phi $;然后固定$ \phi $,更新稀疏系数$ s$。当轮廓收敛或达到迭代终止条件时,停止函数迭代并输出分割结果。具体步骤为:

1) 目标属于字典中各种类型形状的初始概率相同,设置稀疏系数$ \mathit{\boldsymbol{s}} = \left[ {\frac{1}{N}, \frac{1}{N}, \cdots, \frac{1}{N}} \right]$

2) 设置能量函数中各项系数;

3) 设置初始轮廓;

4) 使用Fourier-Melli算法更新$\tau, \kappa, \theta $

5) 使用梯度下降法求解水平集函数$\phi $的梯度值$ \frac{\partial \phi}{\partial t}$

6) 更新水平集函数$\phi=\phi_{\mathrm{pre}}+\Delta t \times \frac{\partial \phi}{\partial t} $,其中,$ \phi_{\mathrm{pre}}$代表更新前的水平集函数,$ \Delta t$代表时间步长;

7) 使用正交匹配追踪算法(Pati等,1993)更新$ \mathit{\boldsymbol{s}}$

8) 返回步骤4),直至轮廓收敛或已达到迭代次数限制;

9) 输出分割结果,结束。

在步骤5)中,水平集函数的梯度值$\frac{\partial \phi}{\partial t}$可由梯度下降法计算获得,即

$ \begin{array}{*{20}{c}} {\frac{{\partial \phi }}{{\partial t}} = {\omega _1}\left[ {{\nabla ^2}\phi - div\left( {\frac{{\nabla \phi }}{{\left| {\nabla \phi } \right|}}} \right)} \right] + }\\ {{\omega _2}\left[ {{e_1}\delta (\phi ) - {\mu _1}{e_2}(\delta (\phi ) - \delta (\phi - k)) - } \right.}\\ {\left. {{\mu _2}{e_3}\delta (\phi - k)} \right] + {\omega _3}\delta (\phi )P_{\kappa ,\theta ,\tau }^{ - 1}\left( {{\mathit{\boldsymbol{U}}^{\rm{T}}}\left( {\mathit{\boldsymbol{As}} - } \right.} \right.}\\ {\left. {\left. {\mathit{\boldsymbol{U}}{P_{\kappa ,\theta ,\tau }}(H(\phi )) - \mathit{\boldsymbol{U}}\bar x} \right)} \right)} \end{array} $ (17)

式中,$e_{i}=\left(K_{\sigma} * 1\right) I^{2}-2\left(K_{\sigma} * f_{i}\right) \cdot I+K_{\sigma} * f_{i}^{2} $

3 实验结果与分析

本文使用与2017年医学影像计算与计算机辅助大会(MICCAI)同时举办的多模态脑胶质瘤分割挑战赛(BraTS)提供的多模态脑胶质瘤公开数据集(Menze等,2015)进行算法验证,该数据集包含脑部神经胶质瘤患者的脑部MRI图像,同时提供由专家团队标注的标准肿瘤区域数据。本文首先使用快速包围盒(FBB)算法(Saha等,2012)得到脑部肿瘤的初始矩形轮廓区域,并使用该轮廓重心作为区域增长法的种子点,继而进行区域增长得到水平集函数的初始轮廓位置。设置时间步长$ \Delta t=0.1$,各项系数为$ {w_1} = 0.2/\Delta t, {w_2} = 0.25, {w_3} = 2, {\mu _1} = 0.5, {\mu _1} = - 0.05$,设置算法的迭代次数上限为50。

为验证基于稀疏形状先验的脑肿瘤图像分割算法可行性,本文将该算法与部分现有图像分割算法进行实验对比:算法1(Joshi A等,2015)使用小波变换对脑部肿瘤进行预处理,继而定义了一种基于轮廓的水平集方法进行图像分割,最终使用软阈值的方法对分割结果的形状和大小进行筛选,而得到肿瘤目标;算法2(Zabir等,2015)使用K-means的方法寻找初始的肿瘤位置点并使用区域增长的方法获得水平集初始轮廓,并进行演化分割出目标的肿瘤区域;算法3(Kermi等,2018)前期处理阶段与本文类似,即利用脑部对称性寻找存在脑肿瘤的区域范围,并使用区域增长方式获得初始轮廓,其不同之处在于后续使用测地线活动轮廓模型方法进行脑部肿瘤分割;算法4(Mojtabavi等,2017)结合区域和边缘方法定义水平集方程并利用人工勾勒出脑部肿瘤的初始轮廓,使用fast marching方法(Sethian等,1996)进行迭代和优化。此外,为了进一步验证形状约束项对分割结果的影响,本文在测试本文算法过程中屏蔽了形状约束项,即将$ {w_3}$置0以进行对比实验。

为进一步衡量脑部肿瘤分割结果的准确性,选用相似度(DSC)、灵敏度(SEN)以及阳性预测率(PPV)作为技术指标。令$P $代表经图像分割算法处理后所得图像中的肿瘤区域,$T $表示经由专家标定后的标准肿瘤区域,| · |表示求取区域内像素总数目操作,$|P \wedge T| $表示$P、T $两区域彼此重叠部分的像素数量,则上述指标可具体定义为

$ {f_{{\rm{DSC}}}} = \frac{{\left| {P \wedge T} \right|}}{{\left( {\left| P \right| + \left| T \right|} \right)/2}} $ (18)

$ {f_{{\rm{SEN}}}} = \frac{{\left| {P \wedge T} \right|}}{{\left| T \right|}} $ (19)

$ {f_{{\rm{PPV}}}} = \frac{{\left| {P \wedge T} \right|}}{{\left| P \right|}} $ (20)

式中,$ {{f_{{\rm{DSC}}}}}$表示分割结果与专家数据之间重叠的比重, 其值越高, 代表分割结果越为准确;$ {{f_{{\rm{SEV}}}}}$表示分割结果中的正确部分占真值的比重, 其值越高, 证明分割结果的漏检率越低;$ {{f_{{\rm{PPV}}}}}$表示分割结果中正确部分占分割结果的比重, 其值越高, 证明分割结果的误检率越低。

图 5展示了数据库中部分随机样本的分割效果,其每一行代表使用一个随机样本进行图像分割后的分割结果。其中,图 5(a)中的红色线轮廓为专家手动标注的脑肿瘤轮廓实际值,图 5(b)-(g)中的红色线轮廓为使用各算法所得的脑部肿瘤轮廓线。使用各种类型图像分割算法的实验结果对比数据如表 1所示。

图 5 实验结果对比图
Fig. 5 Images of the experimental results ((a) test image; (b) ours; (c) shielding shape constraint; (d) algorithm 1; (e) algorithm 2; (f) algorithm 3; (g) algorithm 4)

表 1 实验结果对比数据
Table 1 Legend of the experimental results

下载CSV
方法 fDSC fSEN fPPV
无形状约束 0.901 9 0.905 0 0.839 9
算法1 0.801 8 0.746 1 0.933 2
算法2 0.846 0 0.844 1 0.892 1
算法3 0.916 2 0.901 5 0.933 0
算法4 0.854 7 0.788 7 0.958 5
本文 0.939 7 0.913 0 0.959 0
注:加粗字体表示最优结果。

从实验结果对比图和对比数据可以看出,使用本文算法所得的脑部肿瘤分割结果优于其他算法。屏蔽形状约束项之后的实验结果准确性明显低于本文算法,且误判率较高,分割轮廓中包含了较多非肿瘤区域。算法1的准确率相对较低,同时SEN值相对较低,其分割轮廓容易存在过度收缩的问题,漏判率较高,同时该方法对于目标轮廓边沿的清晰度较为敏感,当目标轮廓边沿模糊时,分割结果容易产生较大的偏差;算法2的PPV值较低,其分割轮廓容易发生过度收缩的问题,造成实验结果的误判,同时对于目标的灰度均匀程度较为敏感,容易将目标内部较为明显的灰度团块误判成错误区域;算法3的分割结果整体表现较为稳定,但各方面表现相较于本文算法均有不足,对目标形状与预定义的几何形状是否接近较为敏感,当目标具有复杂轮廓边缘时所取得的分割效果不理想;算法4的SEN值也相对较低,且当肿瘤图像内部存在暗影区域时,其分割轮廓内部容易存在孔洞,增加了实验结果的漏判率。

实验结果表明,本文算法的分割结果与真实数据之间的平均相似度达到93.97%,灵敏度达到91.3%,阳性预测率达到95.9%。与其他方法相比,本文算法由于添加了稀疏形状约束而具有更好的轮廓形状适应性,能够避免因为轮廓内部存在不均匀团块而对分割造成的不良影响,具有更好的鲁棒性,分割结果也更加稳定。

4 结论

本文提出一种基于稀疏形状先验的脑部肿瘤图像分割算法,通过对脑部肿瘤轮廓进行形状描述,构建其稀疏形状约束模型,并结合水平集约束方法构建能量泛函,而后利用高层稀疏约束和底层能量函数之间的关系进行目标轮廓的演化。通过在脑胶质瘤公开数据Brats2017上进行实验验证,可以发现当图像中的肿瘤区域内存在不均匀的明暗团块时,本文算法的实验结果可以避免分割轮廓过度收缩及内部存在孔洞等问题。同时,与其他对比算法相比,本文算法在结构复杂的图像上也取得了相对更好的实验结果。本文算法使用了固定字典进行系数建模,该方法在适用范围方面具有一定的局限性,本课题组在未来的研究中,将进一步对形状建模及训练部分展开研究,以提升脑部肿瘤形状模型的普适性和稳定性。此外,由于本文算法的研究重点在于2维图像的脑部肿瘤的分割,而在临床实际中,医生通常可以获得3维的脑部扫描图片。因此,为了更进一步地利用图像数据信息,本课题组未来也将研究多模态脑部肿瘤分割问题,从而实现更为精准的计算机辅助医疗诊断。

参考文献

  • Caselles V, Catté F, Coll T, Dibos F. 1993. A geometric model for active contours in image processing. Numerische Mathematik, 66(1): 1-31 [DOI:10.1007/BF01385685]
  • Caselles V, Kimmel R, Sapiro G. 1997. Geodesic active contours. International Journal of Computer Vision, 22(1): 61-79 [DOI:10.1023/A:1007979827043]
  • Osher S, Sethian J A. 1988. Fronts propagating with curvature-dependent speed: algorithms based on Hamilton-Jacobi formulations. Journal of computational physics, 79(1): 12-49 [DOI:10.1016/0021-9991(88)90002-2]
  • Chan T F, Vese L A. 2001. Active contours without edges. IEEE Transactions on Image Processing, 10(2): 266-277 [DOI:10.1109/83.902291]
  • Chen H, Wu C D, Yu X S, Wu J H. 2018. Active contour model for medical image segmentation based on multiple descriptors. Journal of Image and Graphics, 23(3): 434-441 (陈红, 吴成东, 于晓升, 武佳慧. 2018. 多描述子活动轮廓模型的医学图像分割. 中国图象图形学报, 23(3): 434-441) [DOI:10.11834/jig.170400]
  • Chen Q S, Defrise M, Deconinck F. 1994. Symmetric phase-only matched filtering of Fourier-Mellin transforms for image registration and recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, 16(12): 1156-1168 [DOI:10.1109/34.387491]
  • Cohen L D. 1991. On active contour models, balloons. CVGIP: Image Understanding, 53(2): 211-218 [DOI:10.1016/1049-9660(91)90028-N]
  • Cremers D, Sochen N and Schnrr C. 2003. Towards recognition-based variational segmentation using shape priors and dynamic labeling//Proceedings of the 4th International Conference on Scale-Space Theories in Computer Vision. Isle of Skye, UK: Springer, 388-400 [DOI: 10.1007/3-540-44935-3_27]
  • Feng C L, Zhang S X, Zhao D Z, Li C. 2016. Simultaneous extraction of endocardial and epicardial contours of the left ventricle by distance regularized level sets. Medical Physics, 43(6): 2741-2755 [DOI:10.1118/1.4947126]
  • Gao Y, Wu C D, Yu X S, Zhou W and Wu J. 2018. Full-automatic optic disc boundary extraction based on active contour model with multiple energies. IEICE Transactions on Fundamentals of Electronics, Communications and Computer Sciences, E101A(3): 658-661 [DOI: 10.1587/transfun.E101.A.658]
  • Joshi A, Charan V and Prince S. 2015. A novel methodology for brain tumor detection based on two stage segmentation of MRI images//Proceedings of 2015 International Conference on Advanced Computing and Communication Systems.Coimbatore, India: IEEE, 1-5 [DOI: 10.1109/ICACCS.2015.7324127]
  • Kass M, Witkin A, Terzopoulos D. 1988. Snakes: active contour models. International Journal of Computer Vision, 1(4): 321-331 [DOI:10.1007/BF00133570]
  • Kermi A, Andjouh K, Zidane F. 2018. Fully automated brain tum our segmentation system in 3D-MRI using symmetry analysis of brain and level sets. IET Image Processing, 12(11): 1964-1971 [DOI:10.1049/iet-ipr.2017.1124]
  • Khadidos A, Sanchez V, Li C T. 2017. Weighted level set evolution based on local edge features for medical image segmentation. IEEE Transactions on Image Processing, 26(4): 1979-1991 [DOI:10.1109/TIP.2017.2666042]
  • Li C M, Huang R, Ding Z H, Gatenby J C, Metaxas D N, Gore J C. 2011. A level set method for image segmentation in the presence of intensity inhomogeneities with application to MRI. IEEE Transactions on Image Processing, 20(7): 2007-2016 [DOI:10.1109/TIP.2011.2146190]
  • Li C M, Xu C Y, Gui C F, Fox M D. 2010. Distance regularized level set evolution and its application to image segmentation. IEEE Transactions on Image Processing, 19(12): 3243-3254 [DOI:10.1109/TIP.2010.2069690]
  • Liu Y, Chen S. 2017. Review of medical image segmentation method. Electronic Science and Technology, 30(8): 169-172 (刘宇, 陈胜. 2017. 医学图像分割方法综述. 电子科技, 30(8): 169-172) [DOI:10.16180/j.cnki.issn1007-7820.2017.08.047]
  • Luo S Q and Li X. 2000. Implementation of mutual information based multi-modality medical image registration//Proceedings of the 22nd Annual International Conference of the IEEE Engineering in Medicine and Biology Society.Chicago, IL, USA: IEEE, 1447-1450 [DOI: 10.1109/IEMBS.2000.898015]
  • Masood S, Sharif M, Masood A, Yasmin M, Raza M. 2015. A survey on medical image segmentation. Current Medical Imaging, 11(1): 3-14 [DOI:10.2174/157340561101150423103441]
  • Menze B H, Jakab A, Bauer S, Kalpathy-Cramer J, Farahani K, Kirby J, Burren Y, Porz N, Slotboom J, Wiest R, Lanczi L, Gerstner E, Weber M A, Arbel T, Avants B B, Ayache N, Buendia P, Collins D L, Cordier N, Corso J J, Criminisi A, Das T, Delingette H, Demiralp C, Durst C R, Dojat M, Doyle S, Festa J, Forbes F, Geremia E, Glocker B, Golland P, Guo X T, Hamamci A, Iftekharuddin K M, Jena R, John N M, Konukoglu E, Lashkari D, Mariz J A, Meier R, Pereira S, Precup D, Price S J, Raviv T R, Reza S M S, Ryan M, Sarikaya D, Schwartz L, Shin H C, Shotton J, Silva C A, Sousa N, Subbanna N K, Szekely G, Taylor T J, Thomas O M, Tustison N J, Unal G, Vasseur F, Wintermark M, Ye D H, Zhao L, Zhao B S, Zikic D, Prastawa M, Reyes M, Van Leemput K. 2015. The multimodal brain tumor image segmentation benchmark (BRATS). IEEE Transactions on Medical Imaging, 34(10): 1993-2024 [DOI:10.1109/TMI.2014.2377694]
  • Mesadi F, Erdil E, Cetin M, Tasdizen T. 2018. Image segmentation using disjunctive normal bayesian shape and appearance models. IEEE Transactions on Medical Imaging, 37(1): 293-305 [DOI:10.1109/TMI.2017.2756929]
  • Mojtabavi A, Farnia P, Ahmadian A, Alimohamadi M, Pourrashidi A, Rad H S and Alirezaie J. 2017. Segmentation of GBM in MRI images using an efficient speed function based on level set method//Proceedings of the 10th International Congress on Image and Signal Processing, BioMedical Engineering and Informatics.Shanghai, China: IEEE, 1-6
  • Pati Y C, Rezaiifar R and Krishnaprasad P S. 1993. Orthogonal matching pursuit: recursive function approximation with applications to wavelet decomposition//Proceedings of the 27th Asilomar Conference on Signals, Systems and Computers.Pacific Grove, CA, USA: IEEE [DOI: 10.1109/ACSSC.1993.342465]
  • Rubinstein R, Faktor T and Elad M. 2012. K-SVD Dictionary-learning for the analysis sparse model//Proceedings of 2012 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP).Kyoto, Japan: IEEE, 5405-5408 [DOI: 10.1109/ICASSP.2012.6289143]
  • Saha BN, Ray N, Greiner R, Murtha A, Zhang H. 2012. Quick detection of brain tumors and edet al. Quick detection of brain tumors and edemas: a bounding box method using symmetry. Computerized Medical Imaging and Graphics, 36(2): 95-107 [DOI:10.1016/j.compmedimag.2011.06.001]
  • Sethian J A. 1996. A fast marching level set method for monotonically advancing fronts. Proceedings of the National Academy of Sciences of the United States of America, 93(4): 1591-1595 [DOI:10.1073/pnas.93.4.1591]
  • Sharman R, Tyler J M, Pianykh O S. 2000. A fast and accurate method to register medical images using wavelet modulus maxima. Pattern Recognition Letters, 21(6-7): 447-462 [DOI:10.1016/S0167-8655(00)00002-7]
  • Van den Elsen P A, Pol E J D, Viergever M A. 1993. Medical image matching-a review with classification. IEEE Engineering in Medicine and Biology Magazine, 12(1): 26-39 [DOI:10.1109/51.195938]
  • Yang C, Wu W G, Su Y Q, Zhang S. 2017. Left ventricle segmentation via two-layer level sets with circular shape constraint. Magnetic Resonance Imaging, 38: 202-213 [DOI:10.1016/j.mri.2017.01.011]
  • Yao J C. 2017. Research on Shape-Prior-Based Variational Sparse Segmentation Model. Hangzhou: Zhejiang University (姚劲草. 2017.基于形状先验的变分稀疏分割模型研究.杭州: 浙江大学)
  • Zabir I, Paul S, Rayhan M A, Sarker T, Fattah S A and Shahnaz C. 2015. Automatic brain tumor detection and segmentation from multi-modal MRI images based on region growing and level set evolution//Proceedings of 2015 IEEE International WIE Conference on Electrical and Computer Engineering.Dhaka, Bangladesh: IEEE, 503-506 [DOI: 10.1109/WIECON-ECE.2015.7443979]