Print

发布时间: 2020-03-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.190275
2020 | Volume 25 | Number 3




    图像处理和编码    




  <<上一篇 




  下一篇>> 





结合Gabor滤波器和扩展LTP算子的无监督纹理图像分割
expand article info 马瑞1,2, 周力2
1. 安徽电子信息职业技术学院信息与智能工程系, 蚌埠 233030;
2. 合肥工业大学计算机与信息学院, 合肥 230601

摘要

目的 现实中的纹理往往具有类型多样、形态多变、结构复杂等特点,直接影响到纹理图像分割的准确性。传统的无监督纹理图像分割算法具有一定的局限性,不能很好地提取稳定的纹理特征。本文提出了基于Gabor滤波器和改进的LTP(local ternary pattern)算子的针对复杂纹理图像的纹理特征提取算法。方法 利用Gabor滤波器和扩展LTP算子分别提取相同或相似纹理模式的纹理特征和纹理的差异性特征,并将这些特征融入到水平集框架中对纹理图像进行分割。结果 通过实验表明,对纹理方向及尺度变化较大的图像、复杂背景下的纹理图像以及弱纹理模式的图像,本文方法整体分割结果明显优于传统的Gabor滤波器、结构张量、拓展结构张量、局部相似度因子等纹理分割方法得到的结果。同时,将本文方法与基于LTP的方法进行对比,分割结果依然更优。在量化指标方面,将本文方法与各种无监督的纹理分割方法就分割准确度进行对比,结果表明,在典型的纹理图像上,本文方法准确度达到97%以上,高于其他方法的分割准确度。结论 提出了一种结合Gabor滤波器和扩展LTP算子的无监督多特征的纹理图像分割方法,能够较好地提取相似纹理模式的特征和纹理的差异性特征,且这些纹理特征可以很好地融合到水平集框架中,对真实世界复杂纹理图像能够得到良好的分割效果。

关键词

纹理图像分割; Gabor滤波器; 扩展LTP(local ternary pattern)算子; 无监督

Unsupervised segmenting texture images based on Gabor filters and extended LTP operator
expand article info Ma Rui1,2, Zhou Li2
1. Department of Information and Intelligent Engineering, Anhui Vocational College of Electronics and Information Technology, Bengbu 233030, China;
2. School of Computer Science and Information Technology, Hefei University of Technology, Hefei 230601, China
Supported by: National Natural Seience Foundation of China (61702154); Natural Science Foundation of Anhui Province, China (1808085QF189)

Abstract

Objective The texture is often characterized by various unregular types, varied shapes, and complex structures, which directly weaken the accuracy of texture image segmentation. The semantic segmentation methods based on deep learning need benchmark training sets. Constructing the training sets composed by the complex and diverse texture images is difficult. Therefore, utilizing the unsupervised image segmentation methods to solve the problem of texture segmentation is necessary. However, the traditional unsupervised texture image segmentation algorithms have limitations and cannot be used to effect tivelyextract the stable texture features. Method Based on the idea that the Gabor operator can extract the texture diversity features and the local ternary pattern (LTP) operators imply the threshold differences, combining Gabor filters with extended LTP operators is proposed to describe texture diversity features in this paper. Gabor filter is used to extract the texture features of the same or similar texture patterns. Then, the texture difference features are extracted. Compared with the traditional LTP, the main advantages of the extended LTP operator are embodied in two aspects.On the one hand, the extended size make the LTP operator effective in image segmentation based on the size features of the segmented image.On the other hand, the weights are given to each position of the extended LTP operator. The exponential weight differences are given according to the distances between each position and the central point. Finally, these extracted features are integrated into the level set frame to segment the texture image. The advantages of the proposed method are described as follows:First, the extended LTP operator can effectively extract the texture difference features of local regions. Second, the Gabor filter and extended LTP operator are complementary. The main contributions of the proposed method in this paper are elaborated in the following:1) By improving the traditional LTP operator, we propose an extended LTP operator to extract the texture difference features of pixels in complex images. 2) The Gabor filter and extended LTP operator are complementary. The extended LTP operator and Gabor filter are combined and incorporated into the level set method. The extended LTP operator extracts the texture difference information of complex images, while the Gabor method detects similar information, such as similar frequency, size, and direction of images. The two operators have obvious complementary characteristics. Therefore, the extended LTP operator and Gabor filter are combined to extract the texture features of complex images in a complementary manner. The two operators are integrated into the level set method to effectively solve the segmentation problem of the complex images. Result In the experimental results section, the proposed method is compared with the classical unsupervised texture segmentation methods, including the methods based on Gabor filter, structure tensor, extended structure tensor, and local similarity factor. By segmenting all kinds of texture images, such as the images with varied texture directions and sizes, the images with the complex background, and the images with the weak texture features, the proposed method achieved better segmentation results than that of the traditional Gabor filter, where the structure tensor was expanded with the local similarity factor. By comparing the proposed method with the LTP-based method in this study, we found that the segmentation results of the proposed method are still better than those of the LTP-based method. In the experimental results section, the segmentation results of several commonly used level set methods (including Gabor filter, structure tensor, extended structure tensor, and robust local similarity factor (RLSF)) are presented and compared with the segmentation results of the proposed method. Fig. 8-10 show the advantages of the proposed method for segmentation of three types of texture images. More intuitively, specific quantitative results of segmentation accuracy were given for comparison between the proposed method and the various unsupervised texture segmentation methods in this study. On some typical texture images, the accuracy of the proposed method is more than 97%, which is higher than that of the other methods. Conclusion An unsupervised multi-feature-based texture image segmentation algorithm is proposed in this paper. This method can be utilized to extract the features of the similar texture patterns and the texture differences by combining the Gabor filter and extended LTP operator. These texture features were integrated into the level set framework to segment the texture images accurately. Several experiments show that the proposed method can achieve desirable segmentation results for complex texture images in the real world. The advantages and disadvantages of the proposed unsupervised segmentation method were analyzed and the methods based on deep learning in the conclusion section. Compared with the segmentation methods based on deep learning, the proposed method is unsupervised, and therefore does not need prior or training information. However, the segmentation methods based on deep learning relies on training information heavily. Obtaining the training information of the complex texture images is difficult. At the same time, future research ideas are elaborated. Considering some structural relevance of texture images, our future work aims to focus on the extraction and analysis of texture structures to obtain improved segmentation effects.

Key words

texture image segmentation; Gabor filter; extended local ternary pattern (LTP) operator; unsupervised

0 引言

纹理图像分割是图形学和计算机视觉处理中的主要研究热点之一,是图像分类、目标检测等任务的重要预处理步骤。真实自然的图像具有一定的纹理特征,如猎豹的豹纹、斑马的条纹等,这些纹理往往具备类型多样、形状多变、结构复杂等特征,对纹理图像的精确分割造成了比较大的阻碍。

基于无监督纹理图像的分割算法有多种,通常这些算法采取先提取纹理图像的纹理特征,再对图像实施分割的策略。常用的算法有:以Gabor滤波器(Sandberg等,2002)、小波滤波器(侯艳丽和杨国胜,2007)等为代表的基于滤波器的算法,该类算法较好地与能量泛函的水平集的算法融合。以Gabor、steer等滤波器与彩色信息融合为代表的基于聚类分析的算法(Chen等,2005Deng和Manjunath,2001Ilea和Whelan,2008),该类算法先利用滤波器提取纹理特征,再融合彩色信息,最后实施纹理图像分割。以区域型模型CV(Chan-Vese)(Chan和Vese,2001)构建分割模型+纹理特征为代表的基于能量泛函的水平集的算法,该类算法先构建分割模型,然后依据LBP(local binary pattern)(Ojala等,1996)、LTP(local ternary pattern)(Liao等,2010)、Gabor滤波器(Sandberg等,2002)、结构张量(Houhou等,2009)、基于拓展结构张量的Local Chan-Vese(LCV)方法(Wang等,2010)、多特征组成的张量结构(Gao等,2011a)、局部相似度因子(RLSF)(Niu等,2017)等提取纹理特征,再据此来分割纹理图像。

实现纹理图像分割的主要手段是使用提取纹理算法获取图像的纹理特征。例如,LBP和LTP采用局部区域的中心点与邻域之间的灰度关系进行纹理特征的提取;Gabor滤波器可以由很多不同的可以描述方向和尺度的滤波器灵活搭配组合而成,因此选取合适的滤波器组是关键;结构张量和拓展结构张量通过多个通道融合局部邻域的信息,进而提取局部的纹理特征;局部相似度因子的核心思想是利用图像局部区域的中心点与局部灰度均值的差异,以及局部邻域点和中心点的欧氏距离来提取纹理特征。实际上,真实的自然纹理常常是无规律的、交错杂乱的,因此上述方法往往带有相应的局限性。LBP和LTP只考虑了局部灰度之间的大小关系,不能很好地适用于复杂的纹理模式和多变的纹理尺度。使用Gabor滤波器设计鲁棒的滤波器组难以进行纹理特征提取。结构张量和拓展结构张量必须要计算出两个方向的偏微分,然而,由于纹理方向的不确定性造成了结构张量和拓展结构张量算法难以提取各个方向的纹理特征。局部相似度因子算法由于只考虑局部灰度和距离的关系,所以难以提取较复杂的纹理图像的纹理特征。

基于以上分析,各种特征提取算子都有其优越性和局限性,现有的多特征的纹理图像分割方法并不能鲁棒地分割各种纹理图像(李钢等,2018闵永智等,2017)。通过对纹理图像的观察,人们发现同一个纹理区域是由多种纹理基元通过一定的排列组合构造的;不同的纹理区域之间不仅存在着相似的纹理,还存在着差异较大的纹理。通过对纹理特征提取算子的分析可以得知,Gabor滤波器可以提取相同或相似纹理模式的纹理特征,LTP算子是对局部差异程度的一种度量,因此本文采用这两种具有互补性的特征提取算子进行纹理特征的提取。此外,原始的LTP算子采用3×3的局部邻域进行纹理特征的提取,但是该方法由于局部邻域太小而不能很好地反映局部的纹理特性。因此,本文提出对LTP进行优化,改进扩展LTP的局部模式,并添加权重系统,使其能提取到更加准确的纹理特征。综上,本文使用Gabor滤波器和扩展的LTP算子进行图像的纹理特征提取,同时考虑到水平集模型具有能自由拓扑曲线、目标边界分割较完整的优势(Gao等,2011bLi等,2005Wang等,2014),将Gabor滤波器和扩展的LTP算子所提取的纹理特征融入到水平集模型中,进行纹理图像的分割。

本文的创新点主要体现在两个方面:1)通过改进传统的LTP方法,提出了扩展的LTP方法,从而能够提取复杂图像中的像素纹理差异度特征;2)将改进的LTP方法和Gabor方法结合并应用到水平集方法中。改进的LTP方法提取复杂图像的纹理差异度信息,同时Gabor方法提取图像中的相似频率、大小和方向等相似信息,两者具有明显的互补特性,因此,将改进的LTP方法与Gabor方法相结合可以互补地提取复杂图像的纹理特征,将两者融合到水平集方法中可以有效地分割复杂图像。

1 方法

在纹理图像分割领域中,提取的纹理特征品质将直接影响纹理图像分割的效果,因而,提取图像的纹理特征是非常关键的基础工作。传统的纹理特征提取算法都有其各自的优点和缺点,并不能够鲁棒地适应现实世界中图像的纹理复杂多变的特点。基于多特征的纹理图像分割方法可以有效利用各个方法的优势,避免各方法的缺点。鉴于此,本文提出基于Gabor滤波器和改进的LTP(local ternary pattern)算子的针对复杂纹理图像的纹理特征提取算法,并通过实验验证了扩展的LTP算子在针对复杂纹理特征提取时的有效性以及Gabor滤波器和扩展的LTP算子的互补性。

1.1 Gabor滤波器

Gabor函数针对Fourier变换进行了改进,使其具备可以同时获得时间和频率域的良好信息的特性。在之前的研究中还发现Gabor函数和人类视网膜神经细胞的感受类似,故而Gabor函数广泛应用于纹理图像的分割。使用Gabor函数生成的Gabor滤波器能够更精确地提取方向和尺度的局部信息。用${\mathit{\boldsymbol{I}}_1}\left({x, y} \right)$表示Gabor滤波之后得到的特征图像,${\mathit{\boldsymbol{I}}_0}\left({x, y} \right)$表示原始图像中局部邻域中心点,结合2维的Gabor函数的数学表达式,有

$ {\mathit{\boldsymbol{I}}_1}\left( {x,y} \right) = \exp \left( { - \frac{{{x^{\prime 2}} + {y^{\prime 2}}}}{{2{\sigma ^2}}}} \right)\cos \left( {2{\rm{ \mathsf{ π} }}f{x^\prime } + \varphi } \right) $ (1)

式中,$\varphi $是Gabor滤波器的相位偏移其取值范围为-180°到180°,$x'$$y'$的定义为

$ x' = x\cos \theta + y\sin \theta $ (2)

$ y' = - x\sin \theta + y\cos \theta $ (3)

$\sigma $$\theta $$f$分别表示Gabor滤波器的尺度、频率和方向参数。传统的纹理图像分割算法主要通过多个不同尺度、方向和频率的滤波器组构成的Gabor滤波器提取不同方向和尺度的纹理特征,因此设计合理的滤波器参数是准确提取纹理特征的关键。但是现实中的图像往往具有不确定方向和尺度的纹理,从而导致难以设计合理的滤波器参数。如果采用数量较少的Gabor滤波器组提取纹理特征,则容易造成特征提取不完全,降低纹理图像分割的精度;如果采用过多的Gabor滤波器组提取纹理特征,会引入大量的冗余信息,造成图像分割结果不精确。为了解决Gabor滤波器难以设计滤波器组的问题,科研人员进行了大量讨论(李厚强等,2003Li和Staunton,2008Tirandaz和Akbarizadeh,2016)。本文通过设计互补特征的方式,利用扩展的LTP算子与Gabor滤波器的互补性分别提取纹理特征,并最终融合到水平集框架中进行纹理图像分割。

1.2 扩展的LTP算子

1.2.1 传统LTP算子及其应用

LTP是由著名的局部二进制模式LBP(local binary pattern)衍化而来的一种纹理特征提取算子。与传统的LBP算子相比,LTP算子增加了阈值$T$,将邻域像素点与中心像素点的灰度差值设置成3种状态。具体地,对局部邻域中与中心点像素灰度值相差在$\left[ { - T, T} \right]$($T$是一个预设的常量参数)区间内的点取0,大于$T$取1,小于${ - T}$取-1。本文将LTP编码分为ULBP (upper code LBP)和LLBP(lower code LBP)两个分量,从而降低计算复杂度,减少计算量。${\mathit{\boldsymbol{I}}_0}\left({x, y} \right)$表示输入图像中局部邻域中心点,${\mathit{\boldsymbol{I}}_0}\left({i, j} \right)$表示输入图像中局部邻域中除中心点以外的点,$B$表示周围邻域像素点个数,${\mathit{\boldsymbol{U}}_B}$${\mathit{\boldsymbol{L}}_B}$分别表示ULBP和LLBP计算所得的特征值,具体为

$ \begin{array}{*{20}{c}} {{\mathit{\boldsymbol{U}}_B}\left( {x,y} \right) = \sum\limits_{b = 0}^{B - 1} {{f_1}} \left( {{\mathit{\boldsymbol{I}}_0}\left( {i,j} \right) - {\mathit{\boldsymbol{I}}_0}\left( {x,y} \right)} \right){2^b}}\\ {{f_1} = \left\{ {\begin{array}{*{20}{c}} 1&{{\mathit{\boldsymbol{I}}_0}\left( {i,j} \right) - {\mathit{\boldsymbol{I}}_0}\left( {x,y} \right) > T}\\ 0&{{\mathit{\boldsymbol{I}}_0}\left( {i,j} \right) - {\mathit{\boldsymbol{I}}_0}\left( {x,y} \right) \le T} \end{array}} \right.} \end{array} $ (4)

$ \begin{array}{*{20}{c}} {{\mathit{\boldsymbol{L}}_B}\left( {x,y} \right) = \sum\limits_{b = 0}^{B - 1} {{f_2}} \left( {{\mathit{\boldsymbol{I}}_0}\left( {i,j} \right) - {\mathit{\boldsymbol{I}}_0}\left( {x,y} \right)} \right){2^b}}\\ {{f_2} = \left\{ {\begin{array}{*{20}{c}} 1&{{\mathit{\boldsymbol{I}}_0}\left( {i,j} \right) - {\mathit{\boldsymbol{I}}_0}\left( {x,y} \right) > - T}\\ 0&{{\mathit{\boldsymbol{I}}_0}\left( {i,j} \right) - {\mathit{\boldsymbol{I}}_0}\left( {x,y} \right) \le - T} \end{array}} \right.} \end{array} $ (5)

对式(4)和式(5),当阈值${T = 5}$时,LTP计算过程如图 1所示。

图 1 LTP计算过程
Fig. 1 Calculation process of LTP

该方法引入了阈值系统,可以有效地抑制噪声的影响,提高对纹理的辨别能力。目前LTP算子主要应用于人脸识别领域的局部特征提取,通常方法先对图像进行分割,形成多个小的局部,然后使用LTP算子对这些局部分别进行特征提取,再计算每个局部的LTP特征直方图,最后将全部的LTP特征值串接起来形成整个人脸的最终特征。但是这种方法明显不适用于图像分割领域。

1.2.2 扩展的LTP算子方法描述

本文将LTP方法用于纹理图像分割,对图像中每一个像素点都计算LTP特征,得到基于LTP算子的纹理特征图像。由于传统的LTP方法主要用于提取不同的局部模式,并对局部进行统计分析从而识别目标。虽然LTP方法具备提取纹理模式的特点,特别是能较好地提取局部变化的大小,但是在图像分割中,LTP方法并不能进行固定区域的统计,因此LTP方法无法直接应用到图像的分割。结合图像分割的特点,往往需要进行像素级的分割(或分类),为了解决像素级的统计分析问题,本文对LTP的局部区域进行扩展,同时改用直接的局部统计的方式替代原来的区域统计的方式,从而使得改进的LTP方法能够提取每一个像素的局部纹理差异度特征。

原始的LTP提取3×3的局部邻域的特征,但真实图像中的纹理尺寸具有不确定性,导致获取的局部邻域往往不能真实反映局部纹理的特征,因此考虑将原始的LTP扩展到一个合适大小的局部邻域。在对LBP的研究中,经典的扩大局部邻域的方法是使用圆形邻域,但是这种方法没有考虑局部邻域中每个点都对该局部邻域中心点的特征值有影响。基于以上分析,本文提出的扩展LTP算子改进了扩展尺寸和设计权重两部分内容。

1) 扩展尺寸。传统的LTP采用3×3的尺寸,只能较好地提取局部特征,而本文改进的LTP方法是提取像素局部区域的变化特征,因此太小的区域极易受到噪声影响,并且不具备统计特性,而太大的区域则会导致不同像素的特征交叉,进而导致边界模糊。通过实验,将局部邻域的尺寸设置为7×7,并对局部邻域中除中心点外的像素点进行3值量化,按照减小计算量的方式分为up和low两个局部邻域进行计算;然后将up和low两个局部邻域分别分解为3级数组:${\mathit{\boldsymbol{N}}_{{\rm{Iu}}}}$${\mathit{\boldsymbol{N}}_{{\rm{Mu}}}}$${\mathit{\boldsymbol{N}}_{{\rm{Ou}}}}$${\mathit{\boldsymbol{N}}_{{\rm{I1}}}}$${\mathit{\boldsymbol{N}}_{{\rm{M1}}}}$${\mathit{\boldsymbol{N}}_{{\rm{O1}}}}$,并对这6个数组分别进行加权运算,得到加权后的数组:${\mathit{\boldsymbol{ \boldsymbol{\varPi} }}_{{\rm{Iu}}}}$${\mathit{\boldsymbol{ \boldsymbol{\varPi} }}_{{\rm{Mu}}}}$${\mathit{\boldsymbol{ \boldsymbol{\varPi} }}_{{\rm{Ou}}}}$${\mathit{\boldsymbol{ \boldsymbol{\varPi} }}_{{\rm{I1}}}}$${\mathit{\boldsymbol{ \boldsymbol{\varPi} }}_{{\rm{M1}}}}$${\mathit{\boldsymbol{ \boldsymbol{\varPi} }}_{{\rm{O}}1}}$;最后该局部邻域的改进LTP的up分量为${\mathit{\boldsymbol{ \boldsymbol{\varPi} }}_{{\rm{Iu}}}}$${\mathit{\boldsymbol{ \boldsymbol{\varPi} }}_{{\rm{Mu}}}}$${\mathit{\boldsymbol{ \boldsymbol{\varPi} }}_{{\rm{Ou}}}}$之和,low分量为${\mathit{\boldsymbol{ \boldsymbol{\varPi} }}_{{\rm{I1}}}}$${\mathit{\boldsymbol{ \boldsymbol{\varPi} }}_{{\rm{M1}}}}$${\mathit{\boldsymbol{ \boldsymbol{\varPi} }}_{{\rm{O}}1}}$之和。扩展的LTP算子的具体计算过程为

$ \begin{array}{*{20}{c}} {{\mathit{\boldsymbol{M}}_{{\rm{up}}}}(i,j) = {f_1}\left( {{\mathit{\boldsymbol{I}}_0}(i,j) - {\mathit{\boldsymbol{I}}_0}(x,y)} \right)}\\ {{f_1} = \left\{ {\begin{array}{*{20}{l}} 1&{{\mathit{\boldsymbol{I}}_0}(i,j) - {\mathit{\boldsymbol{I}}_0}(x,y) > T}\\ 0&{{\mathit{\boldsymbol{I}}_0}(i,j) - {\mathit{\boldsymbol{I}}_0}(x,y) \le T} \end{array}} \right.} \end{array} $ (6)

$ \begin{array}{*{20}{c}} {{\mathit{\boldsymbol{M}}_{{\rm{low}}}}(i,j) = {f_2}\left( {{\mathit{\boldsymbol{I}}_0}(i,j) - {\mathit{\boldsymbol{I}}_0}(x,y)} \right)}\\ {{f_2} = \left\{ {\begin{array}{*{20}{l}} 1&{{\mathit{\boldsymbol{I}}_0}(i,j) - {\mathit{\boldsymbol{I}}_0}(x,y) < - T}\\ 0&{{\mathit{\boldsymbol{I}}_0}(i,j) - {\mathit{\boldsymbol{I}}_0}(x,y) \ge - T} \end{array}} \right.} \end{array} $ (7)

式中,${\mathit{\boldsymbol{M}}_{{\rm{up}}}}\left({i, j} \right)$${\mathit{\boldsymbol{M}}_{{\rm{low}}}}\left({i, j} \right)$分别表示局部邻域的upper和lower分量,${\mathit{\boldsymbol{I}}_0}\left({i, j} \right)$${\mathit{\boldsymbol{I}}_0}\left({x, y} \right)$分别表示局部邻域除中心点外的像素点和局部邻域的中心像素点。将upper和lower分量分别根据与中心点的距离关系分解为3级数组,以upper分量为例,${\mathit{\boldsymbol{N}}_{{\rm{Ou}}}}$${\mathit{\boldsymbol{N}}_{{\rm{Mu}}}}$${\mathit{\boldsymbol{N}}_{{\rm{Iu}}}}$分别为

$ \begin{array}{*{20}{c}} {{\mathit{\boldsymbol{N}}_{{\rm{Ou}}}} = {\mathit{\boldsymbol{M}}_{{\rm{up}}}}\left( {i,j} \right),\left( {i,j} \right) \in }\\ {\{ (x - 3,y - 3),(x - 2,y - 3), \cdots ,(x + 3,y - 3),}\\ {(x + 3,y - 2),(x + 3,y - 1), \cdots ,(x + 3,y + 3),}\\ {(x + 2,y + 3),(x + 1,y + 3), \cdots ,(x - 3,y + 3),}\\ {\left. {(x - 3,y + 2),(x - 3,y + 1), \cdots ,(x - 3,y - 2)} \right\}} \end{array} $ (8)

$ \begin{array}{*{20}{c}} {{\mathit{\boldsymbol{N}}_{{\rm{Mu}}}} = {\mathit{\boldsymbol{M}}_{{\rm{up}}}}(i,j),(i,j) \in }\\ {\{ (x - 2,y - 2),(x - 1,y - 2), \cdots ,(x + 2,y - 2),}\\ {(x + 2,y - 1),(x + 2,y), \cdots ,(x + 2,y + 2),}\\ {(x + 1,y + 2),(x,y + 2), \cdots ,(x - 2,y + 2),}\\ {\left. {(x - 2,y + 1),(x - 2,y), \cdots ,(x - 2,y - 1)} \right\}} \end{array} $ (9)

$ \begin{array}{*{20}{c}} {{\mathit{\boldsymbol{N}}_{{\rm{Iu}}}} = {\mathit{\boldsymbol{M}}_{{\rm{up}}}}(i,j),(i,j) \in }\\ {\{ (x - 1,y - 1),(x,y - 1),(x + 1,y - 1),}\\ {(x + 1,y),(x + 1,y + 1)(x,y + 1),}\\ {(x - 1,y + 1),(x - 1,y)\} } \end{array} $ (10)

2) 设计权重。首先,由于统计目的是像素的特征,所以离中心像素越近的点权重越大,否则权重越小。其次,为了体现出在距离上的权重差异,对不同级别的像素距离,本文采取了指数级的权重差异。因此,对3级数组采用由内向外权重级别依次递减的方式进行加权得到${\mathit{\boldsymbol{ \boldsymbol{\varPi} }}_{{\rm{Iu}}}}$${\mathit{\boldsymbol{ \boldsymbol{\varPi} }}_{{\rm{Mu}}}}$${\mathit{\boldsymbol{ \boldsymbol{\varPi} }}_{{\rm{Ou}}}}$分量,具体为

$ {\mathit{\boldsymbol{ \boldsymbol{\varPi} }}_{{\rm{Iu}}}} = \sum\limits_{a = 0}^7 {{\mathit{\boldsymbol{N}}_{{\rm{Mu}}}}} (a){4^a} $ (11)

$ {\mathit{\boldsymbol{ \boldsymbol{\varPi} }}_{{\rm{Mu}}}} = \sum\limits_{a = 0}^{16} {{\mathit{\boldsymbol{N}}_{{\rm{Mu}}}}} (a){2^a} $ (12)

$ {\mathit{\boldsymbol{ \boldsymbol{\varPi} }}_{{\rm{Ou}}}} = \sum\limits_{a = 0}^{24} {{\mathit{\boldsymbol{N}}_{{\rm{Mu}}}}} (a) $ (13)

将上面3个值相加并映射到[0, 255]区间,就是改进LTP的局部邻域upper分量值${N_{\rm{U}}}$,同理可以得到lower分量值${\mathit{\boldsymbol{N}}_{\rm{L}}}$,即

$ {\mathit{\boldsymbol{N}}_{\rm{U}}}(x,y) = {\mathit{\boldsymbol{ \boldsymbol{\varPi} }}_{{\rm{Iu}}}} + {\mathit{\boldsymbol{ \boldsymbol{\varPi} }}_{{\rm{Mu}}}} + {\mathit{\boldsymbol{ \boldsymbol{\varPi} }}_{{\rm{Ou}}}} $ (14)

$ {\mathit{\boldsymbol{N}}_{\rm{L}}}(x,y) = {\mathit{\boldsymbol{ \boldsymbol{\varPi} }}_{{\rm{II}}}} + {\mathit{\boldsymbol{ \boldsymbol{\varPi} }}_{{\rm{Ml}}}} + {\mathit{\boldsymbol{ \boldsymbol{\varPi} }}_{{\rm{Ol}}}} $ (15)

最后,对图像的每一个像素均用上述方法统计改进LTP的upper和lower分量,经过分别计算处理,得到整幅图像的upper和lower分量的最大值${\mathit{\boldsymbol{U}}_{\max }}$${\mathit{\boldsymbol{L}}_{\max }}$和最小值${\mathit{\boldsymbol{U}}_{\min }}$${\mathit{\boldsymbol{L}}_{\min }}$,并将处理后图像的特征值映射到[0, 255]区间,从而获得分别表示改进LTP提取的upper和lower分量的特征图${\mathit{\boldsymbol{I}}_{\rm{2}}}$${\mathit{\boldsymbol{I}}_{\rm{3}}}$。以upper分量的特征图${\mathit{\boldsymbol{I}}_{\rm{2}}}$的计算过程为例,可得

$ {\mathit{\boldsymbol{U}}_{\max }} = \max \left( {{\mathit{\boldsymbol{N}}_{\rm{U}}}(0,0),{\mathit{\boldsymbol{N}}_{\rm{U}}}(0,1), \cdots ,{\mathit{\boldsymbol{N}}_{\rm{U}}}(m,n)} \right) $ (16)

$ {\mathit{\boldsymbol{U}}_{\min }} = \min \left( {{\mathit{\boldsymbol{N}}_{\rm{U}}}(0.0),{\mathit{\boldsymbol{N}}_{\rm{U}}}(0,1), \cdots ,{\mathit{\boldsymbol{N}}_{\rm{U}}}(m,n)} \right) $ (17)

$ {\mathit{\boldsymbol{I}}_2}(i,j) = 255\frac{{{\mathit{\boldsymbol{N}}_{\rm{U}}}(i,j)}}{{{\mathit{\boldsymbol{U}}_{\max }} - {\mathit{\boldsymbol{U}}_{\min }}}} $ (18)

式中,$m$$n$分别表示输入图像的长和宽,$\left({i, j} \right)$表示处理后图像的坐标。同理可得改进后lower分量特征图${\mathit{\boldsymbol{I}}_{\rm{3}}}$

$ {\mathit{\boldsymbol{I}}_3}(i,j) = 255\frac{{{\mathit{\boldsymbol{N}}_{\rm{L}}}(i,j)}}{{{\mathit{\boldsymbol{L}}_{\max }} - {\mathit{\boldsymbol{L}}_{\min }}}} $ (19)

扩展的LTP分解为二值化的过程以及扩展的LTP方法的upper分量计算过程如图 2图 3所示。

图 2 扩展的LTP分解为二值化过程
Fig. 2 The decomposition process of the extended LTP to binary
图 3 扩展的LTP算子的up分量的计算
Fig. 3 The calculation process of up component of extended LTP operator

1.2.3 扩展的LTP算子的有效性

典型的纹理特征提取算子所提取的纹理特征图像和扩展的LTP算子所提取的upper和lower分量的特征图如图 4所示。通过对比可以发现,改进LTP算子所提取的目标和背景的差异更为明显,对于不同方向和不同模式的纹理具有良好的适应性,这是因为改进的LTP算子的实验参数只有阈值$T$,因此对于纹理模式和方向的变化都具有很好的适应性。经过实验发现,$T$值一般取值在[5, 30]之间更有效。

图 4 多种算子的特征提取效果图对比
Fig. 4 Comparison of effect on feature extraction by different methods
((a) original images; (b) Gabor; (c) structure tensor; (d) LCV; (e) RLSF; (f) NULBP; (g) NLLBP)

1.3 Gabor滤波器和扩展的LTP算子的互补性

基于多特征融合的分割模型是纹理图像分割模型的重要组成部分,比如在局部相似度因子模型中充分融入灰度和纹理特征的信息。虽然这类方法取得了一定的成效,但是现有的纹理特征提取算子存在一定的缺陷,对复杂的自然纹理图像常存在分割结果不鲁棒的问题,此外,现有的特征提取方法中多特征之间不能保证互补性。

本文采用Gabor滤波器和扩展的LTP算子提取纹理特征,图 5充分展示了改进LTP算子与Gabor滤波器的互补性。

图 5 互补性示意图
Fig. 5 Diagram of complementary advantage

Gabor滤波器提取了目标区域的纹理特征,扩展的LTP算子提取了目标区域边缘的差异,二者形成了有效互补,Gabor滤波器采用这两个特征深度融合进行纹理分割。本文依据图像灰度信息在纹理图像分割中的重要作用,在水平集模型中深度融合了两种特征算子和灰度信息,并参考了水平集可以自由拓扑变换的特点,最终构建了能量泛函对纹理图像进行分割。

1.4 水平集能量公式

本文提出的能量泛函包含灰度项${\mathit{\boldsymbol{E}}_0}$和纹理项${\mathit{\boldsymbol{E}}_T}$两个子项。参照Li等人(2005)给出的规整项,本文的能量泛函为

$ \mathit{\boldsymbol{E}} = {\mathit{\boldsymbol{E}}_0} + {\mathit{\boldsymbol{E}}_{\rm{T}}} + {\mathit{\boldsymbol{E}}_{\rm{R}}} $ (20)

式中,${\mathit{\boldsymbol{E}}_T}$包括Gabor滤波器${\mathit{\boldsymbol{E}}_{{{\rm{I}}_{\rm{1}}}}}$和扩展的LTP算子${\mathit{\boldsymbol{E}}_{{{\rm{I}}_2}}}$${\mathit{\boldsymbol{E}}_{{{\rm{I}}_3}}}$,即

$ {\mathit{\boldsymbol{E}}_{\rm{T}}} = {\mathit{\boldsymbol{E}}_{{{\rm{I}}_1}}} + {\mathit{\boldsymbol{E}}_{{{\rm{I}}_2}}} + {\mathit{\boldsymbol{E}}_{{{\rm{I}}_3}}} $ (21)

具体地,${\mathit{\boldsymbol{E}}_0}$${\mathit{\boldsymbol{E}}_{{{\rm{I}}_{\rm{1}}}}}$${\mathit{\boldsymbol{E}}_{{{\rm{I}}_2}}}$${\mathit{\boldsymbol{E}}_{{{\rm{I}}_3}}}$分别为

$ \begin{array}{*{20}{c}} {{\mathit{\boldsymbol{E}}_0} = {\lambda _0}\int_{in(c)} {{{\left( {{\mathit{\boldsymbol{I}}_0}(\mathit{\boldsymbol{x}}) - c_0^\prime } \right)}^2}} {\rm{d}}\mathit{\boldsymbol{x}} + }\\ {{\lambda _0}\int_{out(c)} {{{\left( {{\mathit{\boldsymbol{I}}_0}(\mathit{\boldsymbol{x}}) - c_0^{\prime \prime }} \right)}^2}} {\rm{d}}\mathit{\boldsymbol{x}}} \end{array} $ (22)

$ \begin{array}{*{20}{c}} {{\mathit{\boldsymbol{E}}_{{{\rm{I}}_1}}} = {\lambda _1}\int_{in(c)} {{{\left( {{\mathit{\boldsymbol{I}}_1}(\mathit{\boldsymbol{x}}) - c_1^\prime } \right)}^2}} {\rm{d}}\mathit{\boldsymbol{x}} + }\\ {{\lambda _1}\int_{out(c)} {{{\left( {{\mathit{\boldsymbol{I}}_1}(\mathit{\boldsymbol{x}}) - c_1^{\prime \prime }} \right)}^2}} {\rm{d}}\mathit{\boldsymbol{x}}} \end{array} $ (23)

$ \begin{array}{*{20}{c}} {{\mathit{\boldsymbol{E}}_{{{\rm{I}}_2}}} = {\lambda _2}\int_{in(c)} {{{\left( {{\mathit{\boldsymbol{I}}_2}(\mathit{\boldsymbol{x}}) - c_2^\prime } \right)}^2}} {\rm{d}}\mathit{\boldsymbol{x}} + }\\ {{\lambda _2}\int_{out(c)} {{{\left( {{\mathit{\boldsymbol{I}}_2}(\mathit{\boldsymbol{x}}) - c_2^{\prime \prime }} \right)}^2}} {\rm{d}}\mathit{\boldsymbol{x}}} \end{array} $ (24)

$ \begin{array}{*{20}{c}} {{\mathit{\boldsymbol{E}}_{{{\rm{I}}_3}}} = {\lambda _3}\int_{in(c)} {{{\left( {{\mathit{\boldsymbol{I}}_3}(\mathit{\boldsymbol{x}}) - c_3^\prime } \right)}^2}} {\rm{d}}\mathit{\boldsymbol{x}} + }\\ {{\lambda _3}\int_{out(c)} {{{\left( {{\mathit{\boldsymbol{I}}_3}(\mathit{\boldsymbol{x}}) - c_3^{\prime \prime }} \right)}^2}} {\rm{d}}\mathit{\boldsymbol{x}}} \end{array} $ (25)

式中,${\lambda _0}$${\lambda _1}$${\lambda _2}$${\lambda _3}$为可调节参数,$in\left(c \right)$$out\left(c \right)$分别表示曲线$c$的内部和外部的像素点,${\mathit{\boldsymbol{I}}_0}$${\mathit{\boldsymbol{I}}_1}$${\mathit{\boldsymbol{I}}_{\rm{2}}}$${\mathit{\boldsymbol{I}}_3}$分别表示原始图像、Gabor特征图像、改进LTP算子的upper和lower分量的特征图像,$c_{0}^{'}$$c_{1}^{'}$$c_{2}^{'}$$c_{3}^{'}$分别表示${\mathit{\boldsymbol{I}}_0}$${\mathit{\boldsymbol{I}}_1}$${\mathit{\boldsymbol{I}}_2}$${\mathit{\boldsymbol{I}}_3}$在闭合曲线$c$内部的灰度均值,$c_{0}^{''}$$c_{1}^{''}$$c_{2}^{''}$$c_{3}^{''}$分别表示${\mathit{\boldsymbol{I}}_0}$${\mathit{\boldsymbol{I}}_1}$${\mathit{\boldsymbol{I}}_2}$${\mathit{\boldsymbol{I}}_3}$在闭合曲线$c$外部的灰度均值。

为了计算出能量泛函$\mathit{\boldsymbol{E}}$的最小值,采用水平集的理论,利用零水平集函数$\phi \left(\mathit{\boldsymbol{x}} \right)\mathit{\boldsymbol{ = }}0$取代演化曲线$c$${\mathit{\boldsymbol{E}}_R}$是用于平滑演化轮廓和避免再次初始化的规整项,则

$ {\mathit{\boldsymbol{E}}_R} = \mathit{\boldsymbol{L}}(c) + \mathit{\boldsymbol{P}}(\phi (\mathit{\boldsymbol{x}})) $ (26)

式中,$\mathit{\boldsymbol{L}}\left(c \right)$表示演化轮廓的长度并通过最小化来平滑演化曲线,$\mathit{\boldsymbol{P}}\left({\phi \left(\mathit{\boldsymbol{x}} \right)} \right)$是用于避免再次初始化的规整项,且

$ \mathit{\boldsymbol{P}}(\phi ) = \int_\mathit{\boldsymbol{ \boldsymbol{\varOmega} }} {\frac{1}{2}} {(|\nabla \phi (\mathit{\boldsymbol{x}})| - 1)^2}{\rm{d}}\mathit{\boldsymbol{x}} $ (27)

海氏函数${\mathit{\boldsymbol{H}}_\varepsilon }\left(\phi \right)$和狄拉克函数${\mathit{\boldsymbol{\delta }}_\varepsilon }\left(\phi \right)$分别为

$ {\mathit{\boldsymbol{H}}_\varepsilon }(\phi ) = \frac{1}{2}\left[ {1 + \frac{2}{{\rm{ \mathsf{ π} }}} \cdot \arctan \left( {\frac{\phi }{\varepsilon }} \right)} \right] $ (28)

$ {\mathit{\boldsymbol{\delta }}_\varepsilon }(\phi ) = {\mathit{\boldsymbol{H}}^\prime }(\phi ) = \frac{1}{{\rm{ \mathsf{ π} }}}\frac{\varepsilon }{{{\varepsilon ^2} + {\phi ^2}}} $ (29)

最终的水平集能量泛函表达式为

$ \begin{array}{*{20}{c}} {\mathit{\boldsymbol{E}} = {\lambda _0}\int_\mathit{\boldsymbol{ \boldsymbol{\varOmega} }} {{{\left( {{\mathit{\boldsymbol{I}}_0}(\mathit{\boldsymbol{x}}) - c_0^\prime } \right)}^2}} {\mathit{\boldsymbol{H}}_\varepsilon }(\phi (\mathit{\boldsymbol{x}})){\rm{d}}\mathit{\boldsymbol{x}} + }\\ {{\lambda _0}\int_\mathit{\boldsymbol{ \boldsymbol{\varOmega} }} {{{\left( {{\mathit{\boldsymbol{I}}_0}(\mathit{\boldsymbol{x}}) - c_0^{\prime \prime }} \right)}^2}} \left( {1 - {\mathit{\boldsymbol{H}}_\varepsilon }(\phi (\mathit{\boldsymbol{x}}))} \right){\rm{d}}\mathit{\boldsymbol{x}} + }\\ {{\lambda _1}\int_\mathit{\boldsymbol{ \boldsymbol{\varOmega} }} {{{\left( {{\mathit{\boldsymbol{I}}_1}(\mathit{\boldsymbol{x}}) - c_1^\prime } \right)}^2}} {\mathit{\boldsymbol{H}}_\varepsilon }(\phi (\mathit{\boldsymbol{x}})){\rm{d}}\mathit{\boldsymbol{x}} + }\\ {{\lambda _1}\int_\mathit{\boldsymbol{ \boldsymbol{\varOmega} }} {{{\left( {{\mathit{\boldsymbol{I}}_1}(\mathit{\boldsymbol{x}}) - c_1^{\prime \prime }} \right)}^2}} \left( {1 - {\mathit{\boldsymbol{H}}_\varepsilon }(\phi (\mathit{\boldsymbol{x}}))} \right){\rm{d}}\mathit{\boldsymbol{x}} + }\\ {{\lambda _2}\int_\mathit{\boldsymbol{ \boldsymbol{\varOmega} }} {{{\left( {{\mathit{\boldsymbol{I}}_2}(\mathit{\boldsymbol{x}}) - c_2^\prime } \right)}^2}} {\mathit{\boldsymbol{H}}_\varepsilon }(\phi (\mathit{\boldsymbol{x}})){\rm{d}}\mathit{\boldsymbol{x}} + }\\ {{\lambda _2}\int_\mathit{\boldsymbol{ \boldsymbol{\varOmega} }} {{{\left( {{\mathit{\boldsymbol{I}}_2}(\mathit{\boldsymbol{x}}) - c_2^{\prime \prime }} \right)}^2}} \left( {1 - {\mathit{\boldsymbol{H}}_\varepsilon }(\phi (\mathit{\boldsymbol{x}}))} \right){\rm{d}}\mathit{\boldsymbol{x}} + }\\ {{\lambda _1}\int_\mathit{\boldsymbol{ \boldsymbol{\varOmega} }} {{{\left( {{\mathit{\boldsymbol{I}}_3}(\mathit{\boldsymbol{x}}) - c_3^\prime } \right)}^2}} {\mathit{\boldsymbol{H}}_\varepsilon }(\phi (\mathit{\boldsymbol{x}})){\rm{d}}\mathit{\boldsymbol{x}} + }\\ {{\lambda _3}\int_\mathit{\boldsymbol{ \boldsymbol{\varOmega} }} {{{\left( {{\mathit{\boldsymbol{I}}_3}(\mathit{\boldsymbol{x}}) - c_3^{\prime \prime }} \right)}^2}} \left( {1 - {\mathit{\boldsymbol{H}}_\varepsilon }(\phi (\mathit{\boldsymbol{x}}))} \right){\rm{d}}\mathit{\boldsymbol{x}} + }\\ {\nu \int_\mathit{\boldsymbol{ \boldsymbol{\varOmega} }} {\frac{1}{2}} {{(|\nabla \phi (\mathit{\boldsymbol{x}})| - 1)}^2}{\rm{d}}x + }\\ {\mu \int_\mathit{\boldsymbol{ \boldsymbol{\varOmega} }} {{\delta _\varepsilon }} (\phi (\mathit{\boldsymbol{x}}))|\nabla \phi (\mathit{\boldsymbol{x}})|{\rm{d}}\mathit{\boldsymbol{x}}} \end{array} $ (30)

式中,${\lambda _0}$${\lambda _1}$${\lambda _2}$${\lambda _3}$$\mu $$v$为可调节参数,求解式(30)对应的Euler-Lagrange方程,得到的演化方程为

$ \begin{array}{*{20}{c}} {\frac{{\partial \phi }}{{\partial t}} = {\mathit{\boldsymbol{\delta }}_\varepsilon }(\phi )\left[ { - {\lambda _0}{{\left( {{\mathit{\boldsymbol{I}}_0}(\mathit{\boldsymbol{x}}) - c_0^\prime } \right)}^2} + } \right.}\\ {{\lambda _0}{{\left( {{\mathit{\boldsymbol{I}}_0}(\mathit{\boldsymbol{x}}) - c_0^{\prime \prime }} \right)}^2} - {\lambda _1}{{\left( {{\mathit{\boldsymbol{I}}_1}(\mathit{\boldsymbol{x}}) - c_1^\prime } \right)}^2} + }\\ {{\lambda _1}{{\left( {{\mathit{\boldsymbol{I}}_1}(\mathit{\boldsymbol{x}}) - c_1^{\prime \prime }} \right)}^2} - {\lambda _2}{{\left( {{\mathit{\boldsymbol{I}}_2}(\mathit{\boldsymbol{x}}) - c_2^\prime } \right)}^2} + }\\ {{\lambda _2}{{\left( {{\mathit{\boldsymbol{I}}_2}(\mathit{\boldsymbol{x}}) - c_2^{\prime \prime }} \right)}^2} - {\lambda _3}{{\left( {{\mathit{\boldsymbol{I}}_3}(\mathit{\boldsymbol{x}}) - c_3^\prime } \right)}^2} + }\\ {\left. {{\lambda _3}{{\left( {{\mathit{\boldsymbol{I}}_3}(\mathit{\boldsymbol{x}}) - c_3^{\prime \prime }} \right)}^2}} \right] + \nu \left( {{\nabla ^2}\phi - {\rm{div}}\left( {\frac{{\nabla \phi }}{{\left| {\nabla \phi } \right|}}} \right)} \right) + }\\ {\mu {\delta _\varepsilon }(\phi ){\rm{div}}\left( {\frac{{\nabla \phi }}{{\left| {\nabla \phi } \right|}}} \right)} \end{array} $ (31)

式中,$\nabla $表示梯度算法,div表示散度算子,其中,$c_{0}^{'}$$c_{1}^{'}$$c_{2}^{'}$$c_{3}^{'}$$c_{0}^{''}$$c_{1}^{''}$$c_{2}^{''}$$c_{3}^{''}$的表达式为

$ c_0^\prime = \frac{{\int_\mathit{\boldsymbol{ \boldsymbol{\varOmega} }} {\left( {{\mathit{\boldsymbol{I}}_0}(\mathit{\boldsymbol{x}})} \right)} {\mathit{\boldsymbol{H}}_\varepsilon }(\phi (\mathit{\boldsymbol{x}})){\rm{d}}\mathit{\boldsymbol{x}}}}{{\int_\mathit{\boldsymbol{ \boldsymbol{\varOmega} }} {{\mathit{\boldsymbol{H}}_\varepsilon }} (\phi (\mathit{\boldsymbol{x}})){\rm{d}}\mathit{\boldsymbol{x}}}} $ (32)

$ c_0^{\prime \prime } = \frac{{\int_\mathit{\boldsymbol{ \boldsymbol{\varOmega} }} {\left( {{\mathit{\boldsymbol{I}}_0}(\mathit{\boldsymbol{x}})} \right)} \left( {1 - {\mathit{\boldsymbol{H}}_\varepsilon }(\phi (\mathit{\boldsymbol{x}}))} \right){\rm{d}}\mathit{\boldsymbol{x}}}}{{\int_\mathit{\boldsymbol{ \boldsymbol{\varOmega} }} {\left( {1 - {\mathit{\boldsymbol{H}}_\varepsilon }(\phi (\mathit{\boldsymbol{x}}))} \right){\rm{d}}\mathit{\boldsymbol{x}}} }} $ (33)

$ c_1^\prime = \frac{{\int_\mathit{\boldsymbol{ \boldsymbol{\varOmega} }} {\left( {{\mathit{\boldsymbol{I}}_1}(\mathit{\boldsymbol{x}})} \right)} {\mathit{\boldsymbol{H}}_\varepsilon }(\phi (\mathit{\boldsymbol{x}})){\rm{d}}\mathit{\boldsymbol{x}}}}{{\int_\mathit{\boldsymbol{ \boldsymbol{\varOmega} }} {{\mathit{\boldsymbol{H}}_\varepsilon }} (\phi (\mathit{\boldsymbol{x}})){\rm{d}}\mathit{\boldsymbol{x}}}} $ (34)

$ c_1^{\prime \prime } = \frac{{\int_\mathit{\boldsymbol{ \boldsymbol{\varOmega} }} {\left( {{\mathit{\boldsymbol{I}}_1}(\mathit{\boldsymbol{x}})} \right)} \left( {1 - {\mathit{\boldsymbol{H}}_\varepsilon }(\phi (\mathit{\boldsymbol{x}}))} \right){\rm{d}}\mathit{\boldsymbol{x}}}}{{\int_\mathit{\boldsymbol{ \boldsymbol{\varOmega} }} {\left( {1 - {\mathit{\boldsymbol{H}}_\varepsilon }(\phi (\mathit{\boldsymbol{x}}))} \right){\rm{d}}\mathit{\boldsymbol{x}}} }} $ (35)

$ c_2^\prime = \frac{{\int_\mathit{\boldsymbol{ \boldsymbol{\varOmega} }} {\left( {{\mathit{\boldsymbol{I}}_2}(\mathit{\boldsymbol{x}})} \right)} {\mathit{\boldsymbol{H}}_\varepsilon }(\phi (\mathit{\boldsymbol{x}})){\rm{d}}\mathit{\boldsymbol{x}}}}{{\int_\mathit{\boldsymbol{ \boldsymbol{\varOmega} }} {{\mathit{\boldsymbol{H}}_\varepsilon }} (\phi (\mathit{\boldsymbol{x}})){\rm{d}}\mathit{\boldsymbol{x}}}} $ (36)

$ c_2^{\prime \prime } = \frac{{\int_\mathit{\boldsymbol{ \boldsymbol{\varOmega} }} {\left( {{\mathit{\boldsymbol{I}}_2}(\mathit{\boldsymbol{x}})} \right)} \left( {1 - {\mathit{\boldsymbol{H}}_\varepsilon }(\phi (\mathit{\boldsymbol{x}}))} \right){\rm{d}}\mathit{\boldsymbol{x}}}}{{\int_\mathit{\boldsymbol{ \boldsymbol{\varOmega} }} {\left( {1 - {\mathit{\boldsymbol{H}}_\varepsilon }(\phi (\mathit{\boldsymbol{x}}))} \right){\rm{d}}\mathit{\boldsymbol{x}}} }} $ (37)

$ c_3^\prime = \frac{{\int_\mathit{\boldsymbol{ \boldsymbol{\varOmega} }} {\left( {{\mathit{\boldsymbol{I}}_3}(\mathit{\boldsymbol{x}})} \right)} {\mathit{\boldsymbol{H}}_\varepsilon }(\phi (\mathit{\boldsymbol{x}})){\rm{d}}\mathit{\boldsymbol{x}}}}{{\int_\mathit{\boldsymbol{ \boldsymbol{\varOmega} }} {{\mathit{\boldsymbol{H}}_\varepsilon }} (\phi (\mathit{\boldsymbol{x}})){\rm{d}}\mathit{\boldsymbol{x}}}} $ (38)

$ c_3^{\prime \prime } = \frac{{\int_\mathit{\boldsymbol{ \boldsymbol{\varOmega} }} {\left( {{\mathit{\boldsymbol{I}}_3}(\mathit{\boldsymbol{x}})} \right)} \left( {1 - {\mathit{\boldsymbol{H}}_\varepsilon }(\phi (\mathit{\boldsymbol{x}}))} \right){\rm{d}}\mathit{\boldsymbol{x}}}}{{\int_\mathit{\boldsymbol{ \boldsymbol{\varOmega} }} {\left( {1 - {\mathit{\boldsymbol{H}}_\varepsilon }(\phi (\mathit{\boldsymbol{x}}))} \right){\rm{d}}\mathit{\boldsymbol{x}}} }} $ (39)

2 实验

为验证本文提出的Gabor滤波器和扩展的LTP算子的有效性和优势,对合成图像使用本文方法进行分割实验,并分别与Gabor滤波器、LTP算子、Gabor滤波器结合LTP算子的水平集方法的分割结果进行对比。

图 6展示的是3幅合成图像及初始化轮廓、分割结果和二值化结果,可以看出基于Gabor滤波器和扩展的LTP算子的算法对合成图像具有良好的分割效果。

图 6 合成图像分割效果
Fig. 6 Segmentation effect of composite image
((a) original images; (b) initial contours; (c) segmentation results; (d) binary results)

图 7给出了基于Gabor滤波器、LTP算子、Gabor滤波器结合LTP算子和本文方法的实验结果。从图 7可以看出,LTP算子仅计算局部的相似性程度,因所取局部邻域太小导致不能很好地展现局部邻域的特性;Gabor滤波器和LTP算子组成的多特征模型兼顾了Gabor滤波器和LTP算子的优势,并且具有一定的互补性,但是该方法仍然继承了LTP算子统计范围较小且鲁棒性差的特点;与上述方法相比,本文方法得到了更准确的分割效果。

图 7 多种方法实验结果对比
Fig. 7 Comparison of experimental results of multiple methods
((a) original images; (b) Gabor; (c) LTP; (d) Gabor and LTP; (e) ours)

选取3种类型的纹理图像进行实验。采用基于Gabor滤波器、基于结构张量、拓展结构张量(LCV)、局部相似度算子(RLSF)等水平集方法与本文方法的分割结果进行对比。第1类图像纹理方向和尺度变化相对较大,如图 8所示。纹理特征的提取受纹理模式的复杂性影响较大,复杂的纹理直接导致提取困难,影响该类图像纹理分割的最终结果。第2类图像背景和目标具有不同纹理形态,如图 9所示。通常该类图像存在目标和背景灰度差异相近的区域,在易受背景干扰的情况下,如何准确提取目标的纹理特征是该类图像准确分割的关键。第3类图像具有比较弱的目标和背景的纹理模式,如图 10所示。该类图像的分割难点在于如何准确分割目标局部区域中的细小部分。图 8图 10蓝色曲线表示用作对比实验的传统方法分割的结果,本文方法的分割结果用红色曲线表示。

图 8 复杂纹理图像实验结果对比
Fig. 8 Comparison of experimental results of complex texture images
((a) original images; (b) Gabor; (c) structure tensor; (d) LCV; (e) RLSF; (f) ours)
图 9 多纹理形态图像实验结果对比
Fig. 9 Comparison of experimental results of multi texture morphology images
((a) original images; (b) Gabor; (c) structure tensor; (d) LCV; (e) RLSF; (f) ours)
图 10 弱纹理图像实验结果对比
Fig. 10 Comparison of experimental results of weak texture images
((a) original images; (b) Gabor; (c) structure tensor; (d) LCV; (e) RLSF; (f) ours)

图 8中,图像的纹理方向和尺度具有一定的变化。基于Gabor滤波器的水平集方法需要选择合适的滤波器组提取纹理特征,但是尺度和方向的无规则性使Gabor滤波器难以选定最适合的滤波器组进行纹理特征提取,且容易提取到冗余的特征,导致分割效果不理想,如图 8(b)中第1幅和第2幅图像;基于结构张量的水平集模型先要计算出固定方向的偏微分,相对该种类型的图像,纹理尺度变化多,纹理特征不够稳定,导致分割效果不理想,如图 8(c)中第2幅图像。LCV模型采用拓展结构张量获取固定方向的灰度信息变化,纹理方向和尺度的多样性导致该方法针对该类图像的分割效果不理想,并且该方法对于目标和背景灰度差距较小的图像分割效果较差。RLSF方法采用局部相似度算子进行纹理特征提取,该算子主要利用局部的灰度差异提取特征,对于纹理尺度的变化性适应能力较弱,使最终的分割效果不理想,如图 8(e)中第1幅和第2幅图像。本文方法利用Gabor滤波器和改进LTP算子提取纹理特征,其中Gabor滤波器可以提取某些尺度和方向的纹理特征,结合改进的LTP算子对于纹理的方向变化不敏感,而对于灰度变化敏感的特点,提取互补的纹理特征,从而得到较满意的分割效果。

图 8第1幅图像,基于Gabor滤波器的水平集模型存在分割不足,基于结构张量的水平集方法存在一定的过分割现象,LCV和RLSF方法所得的结果存在明显的被误分割的区域,本文方法可以较准确地分割出目标。对于第2幅图像,本文方法分割结果明显优于其他对比方法所得到的分割结果。对于第3幅图像,基于Gabor滤波器、基于结构张量的水平集方法以及RLSF方法所得的分割结果存在明显的过分割现象,LCV方法则没有正确分割出目标区域,本文方法能够准确分割出目标区域。因此,本文方法对于纹理尺度和方向变化具有较好的适应性。

图 9中,图像的背景对于图像的分割结果具有较大影响。对于第1幅图像,基于Gabor滤波器、基于结构张量的水平集方法和RLSF方法的分割结果都存在一定的过分割现象;LCV方法同时存在过分割和分割不足的情况;本文方法取得了较为满意的分割效果。对于第2幅图像,基于Gabor滤波器的水平集方法、LCV和RLSF方法都存在一定的过分割现象,基于结构张量的水平集方法存在部分区域分割不足的现象,本文方法的分割效果最好。

图 10中,图像的目标和背景的纹理差异都较小,这时算法的性能主要体现在能否准确分割较为细小的目标部分。对于第1幅图像,基于Gabor滤波器、结构张量的水平集方法和LCV方法都得到了大致的目标轮廓,但是分割结果与本文方法相比不够精确,RLSF方法和本文方法得到的分割效果较好。对于第2幅图像,基于Gabor滤波器、结构张量的水平集方法和RLSF方法的分割结果与本文方法分割结果高度相似,但存在极少量的过分割区域,本文方法和RLSF方法的分割结果较好。对于第3幅图像,基于Gabor滤波器、结构张量的水平集方法分割结果与本文方法的分割结果相近,LCV和RLSF方法具有少量的过分割区域。由于利用了Gabor和扩展的LTP的互补性特点,本文方法对于该类图像具有更好的分割效果。

通过上述对比实验,本文方法较其他对比方法更适用于各种复杂纹理特征图像的分割。

为了更进一步验证本文方法对于复杂纹理图像的分割效果,图 11给出了3幅图像的分割结果及其二值化结果。3幅图像分别代表具有复杂纹理模式的图像、具有复杂背景的图像以及背景和目标纹理模式不明显的图像。图 11(a)展示了水平集初始化轮廓,用蓝色线条表示,图 11(b)展示了本文方法的分割结果,分割结果的轮廓线用红色曲线表示,图 11(c)展示了3种特殊图像分割结果的二值化表示。通过图 11的实验可以发现,本文方法对于复杂的纹理图像具有良好的分割效果。

图 11 3种图像的分割结果图
Fig. 11 Segmentation results of three kinds of images
((a) initial contours; (b) segmentation results; (c) binary results)

为了验证本文方法对于不同初始化位置的鲁棒性,进行了图 12所示的实验。蓝色曲线代表初始轮廓,红色曲线代表分割结果。实验结果表明,本文方法对于不同位置和形状的初始化轮廓所得到的分割结果都非常相似,且分割结果准确。因此,本文方法对于不同的初始化位置的鲁棒性较强。

图 12 本文方法在不同初始化条件下的分割结果
Fig. 12 Segmentation results of the proposed method with different initializations ((a) field; (b) worm)

将本文方法与周力和闵海(2019)提出的基于局部连接度和差异度算子的水平集纹理图像分割方法(LCODO)进行对比,以验证这两种方法的有效性。采用3种类型的图像进行实验,分别为代表纹理方向和尺度变换的豹子和虫子图像、代表具有复杂背景的鸭子和鱼图像、代表弱纹理模式的树叶图像。用白色曲线和红色曲线分别表示对比方法和本文方法所得到的分割结果,实验结果如图 13所示。

图 13 两种方法分割结果对比
Fig. 13 Comparison of results of two methods
((a) original images; (b) LCODO; (c) ours)

对于这两种方法,LCODO利用局部连接度算子来描述局部纹理模式的相似程度,利用局部差异度算子来描述局部纹理的差异程度;本文方法利用Gabor滤波器提取相似模式的纹理特征,利用扩展的LTP算子提取局部纹理的差异程度特征。其中扩展的LTP算子加入了权重系统,能够更好地反映局部邻域对于中心点的影响,从而得到比局部差异度算子更加准确的纹理特征。

最后,为了对各种分割方法的结果进行客观对比,本文利用Jaccard系数(Min等,2019)作为分割准确率计算方法,用基于Gabor的方法、基于结构张量的方法、LCV、RLSF和LCODO的方法对图 13中的5幅图像(豹子、虫子、鸭子、鱼和树叶)的分割准确率进行计算和对比,结果如表 1所示。

表 1 分割准确率对比
Table 1 Comparison of segmentation accuracy  

下载CSV
/%
图像 Gabor 结构张量 LCV RLSF LCODO 本文方法
豹子 68.29 95.05 69.24 91.79 96.76 97.08
虫子 94.06 97.51 59.91 89.21 97.41 98.42
鸭子 93.26 90.84 93.88 96.65 98.68 98.42
83.01 95.38 90.17 85.44 96.03 98.20
树叶 95.68 93.33 97.12 98.16 97.92 98.20
注:加粗字体表示最优结果。

通过表 1可以发现,本文方法对5幅图像的分割准确率优于基于Gabor的方法、基于结构张量的方法、LCV和RLSF等4种方法;对于纹理方向、尺度变化较大的图像以及弱纹理模式的图像,本文方法得到的分割结果优于LCODO。对于复杂背景下的纹理图像,本文方法整体的分割准确率也优于LCODO。因此,在大多数情况下,本文方法的分割准确率高于LCODO的分割准确率。基于以上分析,本文方法整体的分割结果优于表 1中的其他5种分割方法的分割结果。

3 结论

本文提出了一种无监督的基于多特征的纹理图像分割算法。具体地,利用Gabor滤波器和扩展的LTP算子分别提取相似纹理模式的特征和纹理的差异性特征,并将这些纹理特征融合到水平集框架中进行自然纹理图像的分割。本文分析了各种纹理特征提取算子的优缺点,提出了利用Gabor滤波器和扩展的LTP算子提取纹理特征的方法,并验证了扩展的LTP算子的有效性以及Gabor滤波器和扩展的LTP算子的互补性,最后通过实验验证了本文方法对于真实世界的复杂纹理图像能够得到良好的分割效果。

为了进一步说明本文方法的有效性和先进性,将本文方法与深度学习的方法进行实验对比。本文方法是一种无监督的纹理图像分割方法,可以在无监督的情况下,准确分割复杂的纹理图像;而基于深度学习的语义分割方法,如全卷积网络FCN(fully convolutional network)(Long等,2015)、U-Net方法(Ronneberger等,2015),仅在具备充分训练集的前提下,才能够较为准确地分割图像及给出每部分的语义。

本文方法相对深度学习的语义分割方法的优势体现在以下两点:1)本文方法是无监督的分割方法,不需要进行前期的离线训练,也不需要进行人工标注训练集;而现有的深度学习的语义分割方法需要标注训练集。2)本文方法可以在无监督的情况下准确分割复杂纹理图像,而现有的深度学习的语义分割方法在无监督的情况下无法进行准确分割,同时许多自然纹理图像没有对应的训练集,因此,现有的深度学习的语义分割方法无法准确分割复杂纹理图像。

本文方法相对深度学习的语义分割方法的缺点主要表现在:对于深度学习的语义分割而言,如果有比较充足的标准训练集,对整个测试集能够取得更高的分割准确率。相反,对于任意的图像测试集,本文方法先提取图像的特征,然后再进行分割,可以较好地适用于许多不同类型纹理图像,但并不能准确分割所有纹理图像。

考虑到纹理图像存在一些结构关联性,未来的工作将主要聚焦在纹像结构的提取和分析,以期获得更好的分割效果。

参考文献

  • Chan T F, Vese L A. 2001. Active contours without edges. IEEE Transactions on Image Processing, 10(2): 266-277 [DOI:10.1109/83.902291]
  • Chen J Q, Pappas T N, Mojsilović A, Rogowitz B E. 2005. Adaptive perceptual color-texture image segmentation. IEEE Transactions on Image Processing, 14(10): 1524-1536 [DOI:10.1109/TIP.2005.852204]
  • Deng Y, Manjunath B S. 2001. Unsupervised segmentation of color-texture regions in images and video. IEEE Transactions on Pattern Analysis and Machine Intelligence, 23(8): 800-810 [DOI:10.1109/34.946985]
  • Gao X B, Wang B, Tao D C and Li X L. 2011a. A unified tensor level set method for image segmentation//Lin W S, Tao D C, Kacprzyk J, Li Z, IzquierdoE and Wang H H, eds. Multimedia Analysis, Processing and Communications. Berlin, Heidelberg: Springer: 217-238[DOI:10.1007/978-3-642-19551-8_7]
  • Gao X B, Wang B, Tao D C, Li X L. 2011b. A relay level set method for automatic image segmentation. IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics), 41(2): 518-525 [DOI:10.1109/TSMCB.2010.2065800]
  • Hou Y L, Yang G S. 2007. Unsupervised texture segmentation algorithm based on wavelet transform. Computer Engineering and Applications, 43(34): 74-77 (侯艳丽, 杨国胜. 2007. 一种基于小波变换的无监督纹理分割算法. 计算机工程与应用, 43(34): 74-77) [DOI:10.3321/j.issn:1002-8331.2007.34.024]
  • Houhou N, Thiran J P, Bresson X. 2009. Fast texture segmentation based on semi-local region descriptor and active contour. Numerical Mathematics:Theory, Methods and Applications, 2(4): 445-468 [DOI:10.4208/nmtma.2009.m9007s]
  • Ilea D E, Whelan P F. 2008. CTex——an adaptive unsupervised segmentation algorithm based on color-texture coherence. IEEE Transactions on Image Processing, 17(10): 1926-1939 [DOI:10.1109/TIP.2008.2001047]
  • Li C M, Xu C Y, Gui C F and Fox M D. 2005. Level set evolution without re-initialization: a new variational formulation//Proceedings of 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Diego, CA, USA: IEEE: 430-436[DOI:10.1109/CVPR.2005.213]
  • Li G, Li H F, Shang F X, Guo H. 2018. Noise image segmentation model with local intensity difference. Journal of Computer Applications, 38(3): 842-847 (李钢, 李海芳, 尚方信, 郭浩. 2018. 结合局部灰度差异的噪声图像分割模型. 计算机应用, 38(3): 842-847) [DOI:10.11772/j.issn.1001-9081.2017082134]
  • Li H Q, Wang C, Ye Z F, Wang J S. 2003. An improved method for texture segmentation based on Gabor filters. Journal of Circuits and Systems, 8(6): 82-86 (李厚强, 王超, 叶中付, 王劲松. 2003. 一种改进的基于Gabor滤波器的纹理分割方法. 电路与系统学报, 8(6): 82-86) [DOI:10.3969/j.issn.1007-0249.2003.06.018]
  • Li M, Staunton R C. 2008. Optimum Gabor filter design and local binary patterns for texture segmentation. Pattern Recognition Letters, 29(5): 664-672 [DOI:10.1016/j.patrec.2007.12.001]
  • Liao S C, Zhao G Y, Kellokumpu V, Pietikäinen M and Li S Z. 2010. Modeling pixel process with scale invariant local patterns for background subtraction in complex scenes//Proceedings of 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, San Francisco, USA: IEEE: 1301-1306[DOI:10.1109/CVPR.2010.5539817]
  • Long J, Shelhamer E and Darrell T. 2015. Fully convolutional networks for semantic segmentation//Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA, USA: IEEE: 3431-3440[DOI:10.1109/CVPR.2015.7298965]
  • Min H, Xia L, Han J W, Wang X F, Pan Q Q, Fu H, Wang H Z, Wang S T C, Li H. 2019. A multi-scale level set method based on local features for segmentation of images with intensity inhomogeneity. Pattern Recognition, 91: 69-85 [DOI:10.1016/j.patcog.2019.02.009]
  • Min Y Z, Cheng T D, Yin C, Yue B, Xiao B Y, Ma H F. 2017. Texture image segmentation based on GLCM and self-adaptive Gabor filter bank. Computer Engineering, 43(1): 280-286 (闵永智, 程天栋, 殷超, 岳彪, 肖本郁, 马宏锋. 2017. 基于GLCM与自适应Gabor滤波器组的纹理图像分割. 计算机工程, 43(1): 280-286) [DOI:10.3969/j.issn.1000-3428.2017.01.048]
  • Niu S J, Chen Q, De Sisternes L, Ji Z X, Zhou Z M, Rubin D L. 2017. Robust noise region-based active contour model via local similarity factor for image segmentation. Pattern Recognition, 61: 104-119 [DOI:10.1016/j.patcog.2016.07.022]
  • Ojala T, Pietikäinen M, Harwood D. 1996. A comparative study of texture measures with classification based on featured distributions. Pattern Recognition, 29: 51-59 [DOI:10.1016/0031-3203(95)00067-4]
  • Ronneberger O, Fischer P and Brox T. 2015. U-Net: convolutional networks for biomedical image segmentation//Proceedings of the 18th Medical Image Computing and Computer-Assisted Intervention. Munich, Germany: Springer: 234-241[DOI:10.1007/978-3-319-24574-4_28]
  • Sandberg B, Chan T and Vese L. 2002. A Level-set and Gabor-based Active Contour Algorithm for Segmenting Textured Images. Los Angeles, USA: UCLA Deparfment of Mathematics CAM reponf: 02-39[DOI:10.1.1.7.3145]
  • Tirandaz Z, Akbarizadeh G. 2016. Unsupervised texture-based SAR image segmentation using spectral regression and Gabor filter bank. Journal of the Indian Society of Remote Sensing, 44(2): 177-186 [DOI:10.1007/s12524-015-0490-0]
  • Wang X C, Shan J X, Niu Y M, Tan L W, Zhang S X. 2014. Enhanced distance regularization for re-initialization free level set evolution with application to image segmentation. Neurocomputing, 141: 223-235 [DOI:10.1016/j.neucom.2014.03.011]
  • Wang X F, Huang D S, Xu H. 2010. An efficient local Chan-Vese model for image segmentation. Pattern Recognition, 43(3): 603-618 [DOI:10.1016/j.patcog.2009.08.002]
  • Zhou L, Min H. 2019. Level set method based on local connection operator and difference operator for segmenting texture images. Journal of Image and Graphics, 24(1): 39-49 (周力, 闵海. 2019. 基于局部连接度和差异度算子的水平集纹理图像分割. 中国图象图形学报, 24(1): 39-49) [DOI:10.11834/jig.180435]