Print

发布时间: 2020-04-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.190356
2020 | Volume 25 | Number 4




    ChinaMM 2019会议专栏    




  <<上一篇 




  下一篇>> 





融合区域和边缘特征的水平集水下图像分割
expand article info 孙杨, 陈哲, 王慧斌, 张振, 沈洁
河海大学计算机与信息学院, 南京 210098

摘要

目的 水平集模型是图像分割中的一种先进方法,在陆地环境图像分割中展现出较好效果。特征融合策略被广泛引入到该模型框架,以拉伸目标-背景对比度,进而提高对高噪声、杂乱纹理等多类复杂图像的处理性能。然而,在水下环境中,由于水体高散射、强衰减等多因素的共同作用,使得现有图像特征及水平集模型难以适用于对水下图像的分割任务,分割结果与目标形态间存在较大差异。鉴于此,提出一种适用于水下图像分割的区域-边缘水平集模型,以提高水下图像目标分割的准确性。方法 综合应用图像的区域特征及边缘特征对水下目标进行辨识。对于区域特征,引入水下图像显著性特征;对于边缘特征,创新性地提出了一种基于深度信息的边缘特征提取方法。所提方法在融合区域级和边缘级特征的基础上,引入距离正则项对水平集函数进行规范,以增强水平集函数演化的稳定性。结果 基于YouTube和Bubblevision的水下数据集的实验结果表明,所提方法不仅对高散射强衰减的低对比度水下图像实现较好的分割效果,同时对处理强背景噪声图像也有较好的鲁棒性,与水平集分割方法(local pre-fitting,LPF)相比,分割精确度至少提高11.5%,与显著性检测方法(hierarchical co-salient detection via color names,HCN)相比,精确度提高6.7%左右。结论 实验表明区域-边缘特征融合以及其基础上的水平集模型能够较好地克服水下图像分割中的部分难点,所提方法能够较好分割水下目标区域并拟合目标轮廓,与现有方法对比获得了较好的分割结果。

关键词

水下图像分割; 水平集; 深度信息; 边缘特征; 图像显著性

Level set method combining region and edge features for segmenting underwater images
expand article info Sun Yang, Chen Zhe, Wang Huibin, Zhang Zhen, Shen Jie
School of Computer and Information, Hohai University, Nanjing 210098, China
Supported by: National Natural Science Foundation of China (61671201)

Abstract

Objective Image segmentation is to divide images into homogeneous parts. The level set model is an important method for image segmentation. In theory, this type of models is characterized by the implicit representation of curve evolution, which transforms the image segmentation task into the issue of the mathematical minimization by curve evolution. In recent years, the level set model has been widely used for image segmentation due to its satisfying performance for handling complicated topological changes and has shown good results on ground-based image segmentation. Recently, a variety of feature fusion strategies are introduced into the model framework to stretch the foreground-background contrast to improve the performance on many complicated conditions, such as high noises and several textures. However, different from the ground-based image segmentation, the underwater environment is characterized by the high scattering and strong attenuation factors. As a result, the existing image features and level set models are difficult to be applied in underwater image segmentation. In view of this fact, a region-edge level set model suitable for underwater image segmentation is proposed. Method The representation of the underwater image is often characterized by low contrast and strong noise. The factor of the low contrast makes the objects difficult to be distinguished, which likely causes the weakness among edges. Thus, the region-based and edge-based level set segmentation method degenerated under water. Moreover, the strong underwater noises make the level set model difficult to converge on the object region. To solve the problems mentioned above, our proposed method comprehensively utilizes the region features and edge features of the image to identify the object region in underwater images. First, for the region features, the proposed method introduces the underwater image saliency features into the level set model, and estimates the spatial frequency of the image to identify the object region. For the edge features, this study proposes a novel edge feature extraction method based on depth information, and then extracts the depth deviation from the image to distinguish the object and background, which helps formulate the edge constraint. In the level set function, the edge constraint term is embedded as a weight function to adaptively adjust the weight of the level set constraint to make the model stable. The edge term and the region term cooperate to construct an external energy constraint of the level set model. By fusing the region and edge features, the distance regulation term is introduced to formulate the internal energy term of the level set model, which accelerates the evolution of the level set function and standardizes the level set function to enhance the stability of the level set model. The external energy term and the internal energy term are combined to formulate the final level set function. Result To prove the performance of the proposed method for underwater image segmentation, the proposed method is applied to segment underwater images with low contrast, uneven grayscale or strong background noise, and compare our method with several advanced level set models. At the same time, our methods are compared with several saliency detection methods. The experimental results demonstrate that the underwater object edge is accurately segmented by our method. The proposed method can effectively solve the problems caused by low contrast. In addition, the proposed method is applied to underwater images with strong background noise. Results show that the underwater object and the background are successfully distinguished. Thus, the robustness of the proposed method against underwater strong background noises is proved. Based on the underwater images selected from Youtube and Bubblevision websites, the proposed method outperform several comparison methods in underwater image segmentation. Finally, this study evaluates various methods by using quantitative experiments. Results show that in contrast to the level set segmentation method local pre-fitting(LPF), the segmentation accuracy of the proposed method is improved by at least 11.5%. At the same time, the segmentation accuracy of the proposed method is improved by approximately 6.7% compared with the saliency detection method hierarchical co-salient detection via color names(HCN). Based on the qualitative and quantitative analysis, the proposed method cannot only obtain satisfying results on segmenting underwater images with high scattering and strong attenuation, but also has good robustness against strong background noises. Conclusion In this study, a region-edge based level set model is proposed for underwater image segmentation. The region and edge features of the image are utilized comprehensively and applied to segment underwater images with high scattering and strong noise. For region features, saliency detection is used to stretch the object-background contrast and identify the object region. For the edge features, a novel method is proposed to extract the object edge information, which can solve the weak edge problem caused by the underwater environment. In addition, the regularization term makes the evolution of the level set function stable and robust. Experimental results show that the proposed level set model based on the region-edge feature fusion can well overcome several difficulties for underwater image segmentation. The proposed method can accurately segment the underwater object region and identify the object contour. In contrast to the existing methods, good segmentation results can be obtained by our method.

Key words

underwater image segmentation; level set; depth information; edge features; image saliency

0 引言

水下图像分割应用于多类水下场景探测任务,展现出较好的辅助决策性能。本质上,图像分割任务的目标是将图像数据划分为有意义的非重叠像素子集(Zhang,2006)。目前,多类方法已成功应用于图像分割,例如阈值(Al-Amri和Kalyankar,2010)、直方图、区域生长、曲线演化(Zhou等,2016)等。其中,曲线演化方法在图像分割中表现出较好的性能。理论上,曲线演化将图像分割变换为数学优化的过程,采用能量函数来测量曲线的能量,通过能量函数的最小化过程,最终将曲线准确收敛到目标边缘。曲线演化具有两种典型的模型框架:参数活动轮廓模型(例如Snakes(McInerney和Terzopoulos,1995))和几何活动轮廓模型(例如水平集模型(Chan和Vese,2001))。

然而,水下恶劣的成像环境和光照条件常导致水下图像存在噪声高、对比度低、细节模糊等诸多问题。这些问题多归因于水下光衰减和散射效应。水体对光的光谱选择性吸收造成了光的衰减以及不同谱段间衰减的差异,使得图像中出现严重的色彩畸变。此外,水下悬浮细微颗粒对光的散射导致水下图像模糊、对比度低。光衰减和散射效应的共同作用导致现有图像特征及分割方法难以适用于对水下图像的分割任务。

传统方法如阈值法易受噪声影响,难以处理灰度不均的图像,无法分割以非均匀光照为典型特征的水下图像。而区域生长难以获得完整的区域目标。虽然水平集模型具有较好的数理证明,但现今的水平集模型中数学理论大多基于陆上环境,例如基于颜色特征的分割模型,当用于水下高噪声、低对比度的恶劣环境时,水体对光线的吸收造成严重的色彩畸变,使颜色特征退化,这将对分割模型产生较大干扰,常导致收敛过程出现过拟合或偏移现象。此外,非均匀化的光照现象易导致局部“凸显”,对图像本质特性造成影响。因此现今的水平集分割模型难以适用于水下环境。

针对现有水平集模型难以解决水下光学成像过程中的难题,提出一种适用于水下图像分割的区域—边缘水平集模型,综合应用图像的区域特征及边缘特征对水下目标的图像位置进行辨识。其中,对于区域特征,引入水下图像显著性特征;对于边缘特征,创新性地提出了一种基于深度信息的边缘特征提取方法。

1 相关工作

Osher和Sethian(1988)提出了水平集隐式的概念;Malladi等人(1995)Caselles等人(1997)分别将其应用在图像分割中;Chopp(1993)设计能量函数并将约束项加入水平集函数演化中。现有的面向图像分割的水平集模型一般可以分为两大类:基于区域(王斌等,2012)的模型和基于边缘的模型。

1.1 基于区域的水平集模型

对于基于区域(Chen等,2017)的水平集模型,水平集方程的演化不依赖于图像中的边缘信息,而是依赖于区域间的对比度,并且将图像区域特征拟合成数学模型。其代价函数的局部极小值较小,因此基于区域的水平集方法对水平集方程的噪声和初始化较为鲁棒。基于区域的水平集模型可以更细化为全局拟合模型和局部拟合模型。

1.2 基于边缘的水平集模型

基于边缘的模型依赖于像素点之间的偏差,因此可以准确地分割目标轮廓,但缺点是仅依靠边缘特征的水平集方法对噪声较敏感,且在对弱边缘的目标分割时容易发生边缘泄漏。Li等人(2010)Caselles等人(1997)的理论基础上,引入正则项形成了基于边缘的水平集模型,该模型解决了水平集再初始化的问题。

1.3 本文模型

在基于区域的模型中,Mumford和Shah(1985)提出了分段平滑的水平集模型,使用分段函数近似原始图像。受Mumford-Shah模型启发,Chan和Vese(2001)随后将Heaviside函数引入水平集模型,生成著名的全局活动轮廓模型(an active contour model without edges,ACM)简称为C-V模型。C-V模型考虑图像的全局对比度,它对噪声和初始化不敏感,但不适用于目标与背景强度类似的图像。Li等人(2007, 2008)提出了一个经典的局部拟合模型(local binary fitting,LBF),该模型利用可扩展能量项去拟合图像的局部区域强度,适用于分割灰度不均的图像。研究人员也提出了许多局部拟合模型:Zhang等人(2010, 2016)提出了局部图像拟合模型(local image fitting,LIF)和局部统计模型(locally statistical active contour model,LSACM),Wang等人(2013)提出了局部差异模型(local signed difference,LSD),Ding等人(2017, 2018)提出了融合高斯能量的拉普拉斯算子模型(active contour model driven by Laplacian of Gaussian energy,LOGACM)和局部预拟合模型(local pre-fitting,LPF)。尽管局部拟合模型可分割灰度不均图像,然而这种模型同样不适用于目标—背景低对比度的图像分割。

不同于基于区域的模型依赖于区域对比度,基于边缘的模型依赖于像素点之间的偏差(Li等,2010),并可以通过边缘检测器来计算。Li等人(2010)引入了距离正则项使水平集函数在演化过程中保持为符号距离函数,使其摆脱再初始化,加快了收敛速度。且正则项可以防止水平集函数曲线在演化中出现奇点和陷入局部极小值。

基于区域或边缘的模型,在目标分割上都体现出良好的性能,但它们不适用于水下复杂场景(Chiang和Chen,2012)。现有基于区域的模型主要通过计算区域的对比度来分割目标,但水下的强散射效应使得图像过于平滑,导致区域对比度降低,因此基于区域的模型分割效果并不理想。基于边缘的模型计算点之间的偏差,并将具有较大偏差值的像素点作为边缘点,通过连接这些大偏差值像素点去拟合目标边缘轮廓以完成分割,但水下的目标常出现弱边缘问题,这使得边缘处的像素点偏差较小,导致最后模型错误地提取边缘。此外,基于边缘的模型易受噪声影响,噪声点的像素点差值较大会被误判为边缘,干扰模型的判断,使其陷入局部极小。

基于深度学习的方法因其出色的性能在图像分割中十分流行。然而,基于深度学习的分割方法依赖于大量的数据集,并且需花费大量时间训练网络和学习。目前水下图像数据集在数量规模上难以与陆地图像数据集相比,而数据集匮乏会导致神经网络学习不充分,出现过拟合,从而导致最后的分割误差。因此基于深度学习的方法在无大量数据集支持下难以用于水下图像分割。

针对上述问题,所提方法采用无监督的分割方法,在不依赖于学习的情况下探索一种新的基于水平集的水下图像分割方法。考虑到水下环境的散射效应,引入显著性检测以区分开目标和背景。此外,考虑到水下高噪声、强衰减的环境使得图像目标边缘过于平滑,所提方法利用暗通道理论对水下场景进行分析并计算得到场景深度信息,在此基础上提取目标边缘。显著性有助于区分目标与背景,深度信息有助于准确提取边缘轮廓。通过融合区域、边缘两种特征,所提出的区域—边缘水平集模型能较为出色地实现对水下图像的准确分割。

2 水平集模型及其特征提取

所提方法以显著性和深度信息构成区域和边缘特征项融入水平集模型。本节介绍了所提方法的水平集模型公式和特征提取的具体过程。

2.1 水平集模型

在水平集模型中,水下目标轮廓被表示为水平集函数的零水平集。$\phi$表示域$\mathit{\pmb{Ω}}$上的水平集函数。$\phi$的能量函数可表示为

$ {E_{{\rm{sum}}}}\left( \phi \right) = {e_1}\left( {\phi ,g} \right) + {e_2}\left( {\phi ,g} \right) $ (1)

式中,$e_1(\phi, g)$是约束项,表示被图像特征所驱动的外部能量项,$e_2(\phi, g)$是正则项,表示内部能量项,用于规范水平集函数,可以防止水平集函数在初始化或者演化函数时轮廓出现奇点。$g$代表边缘权重。其中正则项被定义为

$ \begin{array}{*{20}{c}} {{e_2}\left( {\phi ,g} \right) = \eta \int\limits_\mathit{\boldsymbol{ \boldsymbol{\varOmega} }} {{g_{\rm{d}}}\left| {\nabla \phi } \right|\delta \left( \phi \right){\rm{d}}x{\rm{d}}y} + }\\ {\int\limits_\mathit{\boldsymbol{ \boldsymbol{\varOmega} }} {{{\left( {\left| {\nabla \phi } \right| - 1} \right)}^2}{\rm{d}}x{\rm{d}}y} } \end{array} $ (2)

式中,$η$是正则项调节参数,$\nabla $是梯度运算,$δ$是狄拉克函数。

所提模型的创新之处在于集成了区域和边缘级别的新特征。约束项$e_1(\phi, g)$由显著性特征驱动,基于深度信息得到的边缘特征作为权重表示在函数内,表达式定义为

$ {e_1}\left( {\phi ,g} \right) = \sum\limits_{i = 1}^2 {{\omega _i}\int\limits_\mathit{\boldsymbol{ \boldsymbol{\varOmega} }} {{g_{\rm{d}}}{{\left( {{\mathit{\boldsymbol{S}}_{{\rm{map}}}} - s{a_i}} \right)}^2}{D_i}\left( \phi \right){\rm{d}}x{\rm{d}}y} } $ (3)

式中,$ω_i$是调节参数,$g_\rm{d}$用来表示在深度信息基础上提取的边缘权重。$D_i(\phi)$表示赫维赛德函数,其中,$D_1(\phi)=H(\phi)$$D_2(\phi)=1-H(\phi)$,分别代表了轮廓的内外区域。($\mathit{\boldsymbol{S}}_{\rm{map}}-sa_i$)是区域约束项,$\mathit{\boldsymbol{S}}_\rm{map}$是从水下图像中提取的显著性值,$sa_i$是轮廓内外的显著性平均值

$ \left\{ {\begin{array}{*{20}{l}} {s{a_1} = \frac{{\int {{\mathit{\boldsymbol{S}}_{{\rm{map}}}}} {D_1}(\phi ){\rm{d}}x{\rm{d}}y}}{{\int {{D_1}} (\phi ){\rm{d}}x{\rm{d}}y}}}\\ {s{a_2} = \frac{{\int {{\mathit{\boldsymbol{S}}_{{\rm{map}}}}} {D_2}(\phi ){\rm{d}}x{\rm{d}}y}}{{\int {{D_2}} (\phi ){\rm{d}}x{\rm{d}}y}}} \end{array}} \right. $ (4)

因此,所提出的区域—边缘水平集模型可以表示为

$ \begin{array}{*{20}{c}} {{E_{{\rm{sum}}}}\left( \phi \right) = {\omega _1}\int\limits_\mathit{\boldsymbol{ \boldsymbol{\varOmega} }} {{g_{\rm{d}}}{{\left( {{\mathit{\boldsymbol{S}}_{{\rm{map}}}} - s{a_1}} \right)}^2}H\left( \phi \right){\rm{d}}x{\rm{d}}y} + }\\ {{\omega _2}\int\limits_\mathit{\boldsymbol{ \boldsymbol{\varOmega} }} {{g_{\rm{d}}}{{\left( {{\mathit{\boldsymbol{S}}_{{\rm{map}}}} - s{a_2}} \right)}^2}\left( {1 - H\left( \phi \right)} \right){\rm{d}}x{\rm{d}}y} }\\ {\eta \int\limits_\mathit{\boldsymbol{ \boldsymbol{\varOmega} }} {{g_{\rm{d}}}\left| {\nabla \phi } \right|\delta \left( \phi \right){\rm{d}}x{\rm{d}}y} + \int\limits_\mathit{\boldsymbol{ \boldsymbol{\varOmega} }} {{{\left( {\left| {\nabla \phi } \right| - 1} \right)}^2}{\rm{d}}x{\rm{d}}y} } \end{array} $ (5)

水平集模型的求解需满足欧拉—拉格朗日方程$\partial E/\partial \phi=0$,使用梯度下降法对其求解

$ \frac{{\partial \phi }}{{\partial t}} = - \frac{{\partial E}}{{\partial \phi }} $ (6)

式中,$\partial E/\partial \phi$是能量函数$E$相对于$\phi$的导数。它是函数$\phi$的演化方程,且与时间变量$t$相关。$e_1$对于$\phi$的导数为

$ \begin{array}{*{20}{c}} {\frac{{\partial {e_1}\left( {\phi ,g} \right)}}{{\partial \phi }} = }\\ {{{\left. {{{\left. {{\omega _1}{g_{\rm{d}}}\left( {{\mathit{\boldsymbol{S}}_{{\rm{map}}}} - s{a_1}} \right)} \right)}^2} - {\omega _2}{g_{\rm{d}}}\left( {{\mathit{\boldsymbol{S}}_{{\rm{map}}}} - s{a_2}} \right)} \right)}^2}} \end{array} $ (7)

正则项$e_2$对于$\phi$的导数为

$ \frac{{\partial {e_2}\left( {\phi ,g} \right)}}{{\partial \phi }} = - \eta \delta \left( \phi \right){\rm{div}}\left( {{g_{\rm{d}}}\frac{{\nabla \phi }}{{\left| {\nabla \phi } \right|}}} \right) - \Delta \phi $ (8)

式中,Δ表示拉普拉斯算子。

那么可以得到最终水平集演化方程,水下目标分割公式为

$ \begin{array}{*{20}{c}} {{{\left. {{{\left. {\frac{{\partial E}}{{\partial \phi }} = {\omega _1}{g_{\rm{d}}}\left( {{\mathit{\boldsymbol{S}}_{{\rm{map}}}} - s{a_1}} \right)} \right)}^2} - {\omega _2}{g_{\rm{d}}}\left( {{\mathit{\boldsymbol{S}}_{{\rm{map}}}} - s{a_2}} \right)} \right)}^2} - }\\ {\eta \delta \left( \phi \right){\rm{div}}\left( {{g_{\rm{d}}}\frac{{\nabla \phi }}{{\left| {\nabla \phi } \right|}}} \right) - \Delta \phi } \end{array} $ (9)

2.2 显著性特征提取

区域特征在分割中可以帮助定位目标的位置,并使其突出显示。所提方法中,频率调谐(frequency-tuned salient region detection,FT)的显著性检测方法被引入。FT(Achanta等,2009)使用频率调谐来估计中心环绕对比度,生成的显著图有均匀突出的显著区域和较好的边缘,具有良好的性能。显著图计算为

$ {\mathit{\boldsymbol{S}}_{{\rm{map}}}} = \left| {{\mathit{\boldsymbol{I}}_{\rm{p}}} - {\mathit{\boldsymbol{I}}_{\rm{G}}}} \right| $ (10)

式中,$\mathit{\boldsymbol{I}}_\rm{P}$是输入图像,即水下原图像。$\mathit{\boldsymbol{I}}_\rm{G}$代表用高斯滤波器处理后的的图像,定义为

$ {\mathit{\boldsymbol{I}}_{\rm{G}}} = {\mathit{\boldsymbol{\kappa }}_\zeta } * {\mathit{\boldsymbol{I}}_{\rm{p}}} $ (11)

式中,$\mathit{\pmb{κ}}_ζ$是具有标准偏差$ζ$的高斯核。高斯滤波在此处用来使图像平滑模糊以去除部分纹理和背景的噪声。

2.3 深度特征提取

水下的散射效应使得水下图像过于平滑,增加了分割的难度,但同时提供了其他有益线索。例如,可以通过这种散射效应测得图像中目标的视距,不同物体的视距是不同的,这种视距信息称为深度信息,深度信息的提取便于将目标与背景分离。所提方法选用暗通道(He等,2009)方法对这种深度信息进行提取。

暗通道理论认为在清晰图像的目标前景区域中,某个通道中的像素点光强很弱,这样的通道称为“暗通道”。根据暗通道理论对水下环境进行分析,建立水下光照成像模型

$ {I_c}\left( x \right) = {Q_c}\left( x \right) \cdot {t_c}\left( x \right) + \left( {1 - {t_c}\left( x \right)} \right) \cdot {W_c} $ (12)

式中,$c$代表颜色通道且$c∈{\rm\{R, G, B\}}$$I_c(x)$是成像后图像中像素点$x$处的光强,$Q_c(x)$是目标反射光强或未衰减的真实光强,$t_c(x)$$x$处的透射率即深度,$W_c$是水下背景光。

邻域大小会对结果产生影响,本文考虑到需提取目标的边缘细节,故选择$5×5$像素的邻域大小。那么对于一幅清晰图像$\mathit{\boldsymbol{Q}}_c$,根据暗通道先验理论,对于场景中以像素点$x$为中心的邻域,可定义场景中反射光线的暗通道为

$ {Q_{\rm{d}}}\left( x \right) = \mathop {\min }\limits_{c \in \left\{ {{\rm{R}},{\rm{G}},{\rm{B}}} \right\}} \left( {\mathop {\min }\limits_{y \in \mathit{\boldsymbol{ \boldsymbol{\varOmega} }}\left( x \right)} \left( {{Q_c}\left( y \right)} \right)} \right) $ (13)

式中,$Q_{\rm{d}}(x)$为水下图像中光强值较低的暗通道,$y$表示以像素点$x$为中心的邻域$\mathit{\pmb{Ω}}(x)$内的像素点。由暗通道先验理论可知,当图像中某像素点处于非背景区域,其暗通道的值将会很小,那么有$Q_{\rm{d}}(x)≈0$。对一幅水下图像在某区域上取最小值为

$ \begin{array}{*{20}{c}} {\mathop {\min }\limits_{y \in \mathit{\boldsymbol{ \boldsymbol{\varOmega} }}\left( x \right)} \left( {{I_c}\left( y \right)} \right) = \mathop {\min }\limits_{y \in \mathit{\boldsymbol{ \boldsymbol{\varOmega} }}\left( x \right)} \left( {{Q_c}\left( y \right) \cdot {t_c}\left( y \right) + } \right.}\\ {\left. {\left( {1 - {t_c}\left( y \right)} \right) \cdot {W_c}} \right)} \end{array} $ (14)

式中,$Q_c(y)$表示真实反射光强,即清晰图像,此处假设背景光$W_c$同态均匀,以便进一步得出图像的透射率函数。根据暗通道先验理论,在清晰图像中的前景区域中,会存在某通道内的一些像素点处的光强很弱,那么对其在3通道上取最小值为

$ \begin{array}{*{20}{c}} {\mathop {\min }\limits_{y \in \mathit{\boldsymbol{ \boldsymbol{\varOmega} }}\left( x \right)} \left( {\min \left( {\frac{{{I_c}\left( y \right)}}{{{W_c}}}} \right)} \right) = }\\ {\mathop {\min }\limits_{y \in \mathit{\boldsymbol{ \boldsymbol{\varOmega} }}\left( x \right)} \left( {\min \left( {\frac{{{Q_c}\left( y \right)}}{{{W_c}}}} \right)} \right) \cdot {t_c}\left( y \right) + 1 - {t_c}\left( y \right)} \end{array} $ (15)

由于暗通道满足$\mathop {\min }\limits_{c \in \{ r, g, b\} } \left({\mathop {\min }\limits_{y \in \mathit{\boldsymbol{ \boldsymbol{\varOmega} }}(x)} \left({{Q_c}(y)} \right)} \right) \approx 0$,所以,由式(15)可得

$ {t_c}\left( y \right) = 1 - \mathop {\min }\limits_{c \in \left\{ {{\rm{R}},{\rm{G}},{\rm{B}}} \right\}} \left( {\min \left( {\frac{{{I_c}\left( y \right)}}{{{W_c}}}} \right)} \right) $ (16)

不考虑背景光照偏移,认为$W_c$是同态均匀的水下背景光,可用暗通道中最亮的像素值表示为

$ {W_c} = \max \left( {\mathop {\min }\limits_{y \in \mathit{\boldsymbol{ \boldsymbol{\varOmega} }}\left( x \right)} \left( {{I_c}\left( y \right)} \right)} \right) $ (17)

根据式(16)和式(17),可以得到最后的透射率函数即深度为

$ {t_{\rm{c}}}\left( y \right) = 1 - \mathop {\min }\limits_{c \in \left\{ {{\rm{R}},{\rm{G}},{\rm{B}}} \right\}} \left( {\min \left( {\frac{{{I_c}\left( y \right)}}{{\max \left( {\mathop {\min }\limits_{y \in \mathit{\boldsymbol{ \boldsymbol{\varOmega} }}\left( x \right)} \left( {{I_c}\left( y \right)} \right)} \right)}}} \right)} \right) $ (18)

最后,在根据式(18)求得的深度信息$t$的基础上计算水下目标的边缘信息

$ {g_{\rm{d}}} = \frac{1}{{1 + {{\left| {\nabla {\mathit{\boldsymbol{G}}_\sigma } * \mathit{\boldsymbol{t}}} \right|}^2}}} $ (19)

式中,$\mathit{\boldsymbol{G}}_σ$是具有标准差$σ$的高斯核,$\nabla $为梯度运算。

3 实验结果

3.1 实验设置

为了表明所提方法的优越性,与几种先进的水平集方法和显著性检测方法进行综合对比。水平集方法包括C-V(Chan和Vese,2001)模型、Li等人(2010)模型、Zhang等人(2016)模型、LOGACM(Ding等,2017)模型和LPF(Ding等,2018)模型。和这几种最新水平集方法比较可以表明所提方法针对水下环境对水平集模型做出的创新是有效的。显著性检测方法包括基于图的视觉显着性(graph-based visual saliency,GBVS)(Harel等,2007)、基于尺度空间分析的视觉显着性(visual saliency based on scale-space analysis, HFT)(Li等,2013)、基于双层稀疏图的显著性检测(salient region detection using diffusion process on a two-layer sparse graph, DPG)(Zhou等,2017)和分层的图像共显著性检测(hierarchical co-salient object detection via color names, HCN)(Lou等,2017)模型。由于所提模型中引入了显著性特征,所以和显著性方法的结果对比是必要的。

量化PASCAL(pattern analysis statistical modelling and computational learning)(Everingham等,2015)标准用于评价所提方法的分割结果和真值之间的重叠度

$ C = \frac{{\mathit{\boldsymbol{P'}} \cap \mathit{\boldsymbol{P}}}}{{\mathit{\boldsymbol{P'}} \cup \mathit{\boldsymbol{P}}}} $ (20)

式中,$\mathit{\boldsymbol{P}}$′代表分割的结果; $\mathit{\boldsymbol{P}}$代表人工标注的真值; $C$代表重叠的程度。$C$的值越大代表算法越优越。此外,所提方法的性能以下面6个标准(Smeulders等,2014)来衡量:精准率($Pr$),相似度($Sim$),真正类率即召回率($TPR$),F-score($Fs$),假正类率即虚警率($FPR$)和错误率($PWC$),计算为

$ \begin{array}{*{20}{c}} {Pr = \frac{{tp}}{{tp + fp}}}\\ {Sim = \frac{{tp}}{{tp + fp + fn}}}\\ {TPR = \frac{{tp}}{{tp + fn}}}\\ {Fs = 2 \times \frac{{Pr \times TPR}}{{Pr + TPR}}}\\ {FPR = \frac{{fp}}{{fp + tn}}}\\ {PWC = 100 \times \frac{{fn + fp}}{{tp + tn + fp + fn}}} \end{array} $ (21)

式中,$tp$ (true positive),$tn$ (true negative),$fp$ (false positive)和$fn$ (false negative)作为衡量指标使用。对于每个量化标准,选取100幅水下图像样本的平均值来衡量水下图像资源来自Youtube和Bubblevision网站,这些样本数据均未进行预处理,且都包含明确的水下目标,涵盖多类型水体和背景,通过样本多样性来验证算法的有效性。且这些数据大多由海洋与海洋生物学家、游客和自动水下运载工具(autonomous underwater vehicle,AUV)收集。

3.2 水下目标分割实现过程

所提水平集模型的实验参数如表 1所示。对于同一项参数,在6幅图像上选取的值基本相同,这说明了这种参数方案的鲁棒性和准确性。

表 1 水平集模型参数选取
Table 1 Selection of parameters for level set model

下载CSV
序号 $ω_1$ $ω_2$ $η$ Δ$t$
1 0.1 0.1 2 1
2 0.1 0.1 2 1
3 0.1 0.1 2 1
4 0.1 0.1 3 1
5 0.1 0.1 2 1
6 0.1 0.1 2 1

图 1显示了所提水平集方法执行水下图像分割任务的过程。对于图 1,结合深度图(图 1(b))和边缘图(图 1(c))可以看出,基于暗通道的深度信息有效地提取了水下目标边缘,而显著性方法结果(图 1(d))因水下光衰减和高散射的影响未能完整提取目标区域。对于图 1中的第4幅图(图 1(4)),从其对应的显著图(图 1(d))中可以看出显著性方法成功地区分目标与背景且完整辨识出目标区域。

图 1 水下图像分割过程
Fig. 1 Process of underwater image segmentation ((a) original underwater images; (b) depth maps; (c) edge detection maps; (d) saliency maps; (e) initial level set function; (f) final level set function; (g) final zero level contour)

本次实验选取的水下样本图像主要包括两类干扰因素:其一是高散射、强衰减所导致的图像能见度低。典型样本见图 1前两行、图 2前三行,该类图像细节较为模糊且存在空间像素间的互扰动,难以提取边缘纹理特征,易导致分割结果中边缘的背离,通常表现为目标边缘轮廓畸形或缺失。其二是大量背景噪声叠加在图像信息上,对目标获取形成强干扰。典型样本见图 1第3—4行、图 2第4—6行,该类图像含有的背景干扰目标如沉船、海底植物、山体等会严重干扰模型的判断,易导致模型优化后收敛结果的偏离,使得分割结果中含有大量背景区域,无法准确提取目标区域。对于前者,提出的基于深度信息的边缘提取方法可以准确地得到目标的边缘,弥补显著性特征的不足。而对于后者,引入显著性特征以分离目标和背景。总而言之,模型的优势之处在于显著性特征与深度特征的配合运用,以显著性特征辨识目标位置并提取目标区域,以深度特征提取水下目标边缘,这使得所提方法足以应对水下图像分割的挑战。从图 1的结果可以反映出所提方法的良好性能。

图 2 与水平集方法的水下图像分割结果对比
Fig. 2 Comparison of underwater image segmentation results with level set methods ((a) original underwater images; (b) C-V; (c) Li et al.(2010); (d) Zhang et al.(2016); (e) LOGACM; (f) LPF; (g) ours)

图 1(e)显示的是水平集模型的初始函数,表达式为${\phi _{{\rm{in}}}} = \cos \left({{r_1}x} \right)\cos \left({{r_2}y} \right)$。该函数在图像上呈现全局网格的初始形状,其中,$r_1$为图像高度与π的积,而$r_2$为图像宽度与π的积。图 1(f)显示了收敛后的最终水平集函数。图 1(g)是分割后的最终轮廓。

3.3 与水平集分割方法的比较

图 2显示了所提方法与其他经典水平集方法对比结果,图 3显示了零水平集经二值化分割后的结果。图 2图 3均从定性角度呈现对比结果,表 2从定量角度呈现对比结果。从图 2图 3中可以看出,所提方法明显优于其他水平集方法,仅所提方法正确分割了目标区域和提取目标边缘轮廓。

图 3 与水平集方法的水下图像分割结果对比
Fig. 3 Comparison of underwater image segmentation results with level set methods ((a) original underwater images; (b) ground truth; (c) C-V; (d) Li et al.(2010); (e) Zhang et al.(2016); (f) LOGACM; (g) LPF; (h) ours)

表 2 不同方法的平均性能比较
Table 2 Average performance comparison of different methods

下载CSV
方法 性能标准
$Pr$ $TPR$ $Fs$ $Sim$ $FPR$ $PWC$ $C$
C-V 0.223 4 0.727 6 0.284 8 0.179 1 0.257 8 26.883 4 0.193 5
Li等人(2010) 0.586 3 0.416 2 0.359 4 0.239 2 0.065 2 10.722 1 0.257 4
Zhang等人(2016) 0.728 9 0.470 7 0.488 2 0.336 7 0.025 5 8.061 9 0.379 4
LOGACM 0.605 3 0.442 2 0.478 7 0.299 4 0.052 3 9.118 9 0.378 0
LPF 0.726 0 0.443 7 0.532 3 0.367 7 0.022 7 7.666 5 0.526 2
GBVS+OTSU 0.537 4 0.810 2 0.650 3 0.489 0 0.078 2 8.321 3 0.535 0
HFT+OTSU 0.738 6 0.631 5 0.657 9 0.496 9 0.022 7 5.849 0 0.540 9
DPG+OTSU 0.765 3 0.727 0 0.682 9 0.560 7 0.031 5 6.609 8 0.608 8
HCN+OTSU 0.769 2 0.802 5 0.744 5 0.622 5 0.022 5 4.363 4 0.719 7
本文 0.824 3 0.794 3 0.806 5 0.671 3 0.019 3 3.828 7 0.738 5
注:加粗字体为每行最优值。

其中C-V模型、Zhang等人(2016)、LOGACM、LPF模型是基于区域的模型。C-V模型主要考虑全局对比度。Zhang等人(2016)模型、LOGACM模型、LPF模型则是局部拟合模型。Zhang等人(2016)模型将聚类方差思想融入模型。LOGACM模型引入高斯能量优化拉普拉斯函数以均匀突出区域。LPF利用预拟合能量项实现快速分割。LOGACM模型、LPF模型不同于一般局部拟合模型,它们对初始水平集的选择和部分噪声较为鲁棒,但基于区域的模型中曲线演化主要靠区域间的对比度驱动,当用于水下低对比度环境时,它们仍难以准确分割目标的边缘(如图 3第1—3行)。当分割强背景噪声图像时,结果中也会包含许多背景区域(如图 3第4—6行),无法完全提取目标区域。Li等人(2010)模型对噪声敏感,尽管基于边缘的模型对目标边缘的拟合效果优于基于区域的模型,但水下散射效应产生的高噪声干扰使其严重退化,分割过程陷入局部极小值,无法分割目标。

所选对比算法均选取最优参数,以保证所对应的水平集模型取得最优分割结果。在保证最优结果的前提下,将对比算法与所提方法在6幅图像上的平均迭代次数进行比较。C-V模型的迭代次数为200次,Li等人(2010)模型为160次,Zhang等人(2016)模型为300次,LOGACM模型为270次,LPF模型为90次,而所提方法的迭代次数为30次,明显优于对比算法,综合迭代次数和定性结果,可以证明所提方法的优异性能。最后,从表 2中可以看出所提方法与几种水平集方法的比较结果,证明了所提方法对水下低对比度和强背景噪声的鲁棒性。

3.4 与显著性检测方法的比较

考虑到所提方法使用显著性特征构成区域特征融入水平集框架,与几种显著性检测方法进行对比。由于显著性检测结果显示的是灰度图,故使用最大类间差OTSU阈值法对显著性检测结果进行分割得到二值化结果,以便和水平集分割结果对比。

图 4(c)(f)显示了GBVS、HFT、DPG、HCN这4种显著性检测方法经过OTSU阈值分割后的结果。从图 4的定性评价结果中可以看出这4种显著性方法的结果并不理想,它们不能准确提取目标轮廓。但是显著性检测可以准确定位目标的区域位置,这也是所提方法引入显著性特征的原因之一。从表 2的定量结果可以看到,7种评分标准中所提方法在6项中拿到了第1,只有1项排在第3,且与前两种方法得分差距不大。在$TPR$指标上,GBVS和HCN的得分高于所提方法。$TPR$表达式见式(21),所提方法在分割过程中丢失的少量目标区域将使$fn$值增加、$tp$值降低,最终使得$TPR$值降低。而显著性检测方法GBVS和HCN的分割结果中包含较完整的目标区域,故这两种方法$TPR$值较高。但背景区域的分割准确率也是重要的量化评价标准,GBVS和HCN的分割结果中同样含有被错误分割的背景区域,而所提方法错误分割的背景区域较少(从$FPR$指标中可以看出),$TPR$仅考虑对目标分割的准确率,未考虑对背景分割的准确率,因此需要综合指标$Fs$来判断。从表 2来看所提方法的$Fs$分数明显优于其他方法,即所提方法的综合性能优于其他方法。结合图 4的定性结果来看,所提方法的分割结果明显优于这4种显著性方法,所提方法可以准确分割出目标区域并准确得到目标轮廓。

图 4 与显著性方法的水下图像分割结果对比
Fig. 4 Comparison of underwater image segmentation results with saliency detection methods
((a) original underwater images; (b) ground truth; (c) GBVS; (d) HFT; (e) DPG; (f) HCN; (g) ours)

表 3展示了几种方法的运行时间对比,所提方法快于LOGACM和Zhang等人(2016)模型,但慢于其他几种水平集方法和显著性检测方法,这是因为所提方法需要生成显著图和深度图,基于暗通道获取深度信息大幅增加了计算成本,但是从图 3图 4的定性结果中,可以得出所提方法在分割精度上明显优于这几种算法。综上,所提方法展现了较好的性能优势。

表 3 不同方法对图 2的平均计算时间
Table 3 Average computing time of different methods on images in Fig. 2 

下载CSV
/s
算法 均值
C-V 3.180 8
Li等人(2010) 9.781 7
Zhang等人(2016) 20.198 1
LOGACM 11.993 0
LPF 6.785 8
GBVS 1.203 6
HFT 3.370 7
DPG 2.021 2
HCN 3.775 6
本文 10.270 6

4 结论

针对现有水下图像分割研究中的难点,提出一种新的区域—边缘水平集模型,综合应用图像的区域特征及边缘特征对水下图像进行分割。其中,对于区域特征,引入水下图像显著性特征,进而提取目标区域以构建区域约束项;对于边缘特征,创新性地提出了一种基于深度信息的边缘特征提取方法,拟合目标边缘以构建边缘约束项。所提出方法在融合区域级和边缘级特征的基础上,引入距离正则项对水平集函数进行规范,以增强水平集函数演化的稳定性。

实验结果表明,所提模型适用于水下复杂场景中所采集的图像数据,能够有效区分目标与背景区域,并且准确拟合目标的轮廓。同时,量化评测结果也表明,与传统水平集方法相比,所提方法具有更好的图像分割能力。

实验发现文中方法也存在一些不足,例如难以分割复杂纹理的目标,这将是后续研究工作的重点。

参考文献

  • Achanta R, Hemami S, Estrada F and Susstrunk S. 2009. Frequency-tuned salient region detection//Proceedings of 2009 IEEE Conference on Computer Vision and Pattern Recognition. Miami, USA: IEEE: 1597-1604[DOI:10.1109/CVPR.2009.5206596]
  • Al-Amri S S, Kalyankar N V. 2010. Image segmentation by using threshold techniques. Journal of Computing, 2(5): 83-86
  • Caselles V, Kimmel R, Sapiro G. 1997. Geodesic active contours. International Journal of Computer Vision, 22(1): 61-79 [DOI:10.1023/A:1007979827043]
  • Chan T F, Vese L A. 2001. Active contours without edges. IEEE Transactions on Image Processing, 10(2): 266-277 [DOI:10.1109/83.902291]
  • Chen Z, Zhang Z, Dai F Z, Bu Y, Wang H B. 2017. Monocular vision-based underwater object detection. Sensors, 17(8): 1784-1796 [DOI:10.3390/s17081784]
  • Chiang J Y, Chen Y C. 2012. Underwater image enhancement by wavelength compensation and dehazing. IEEE Transactions on Image Processing, 21(4): 1756-1769 [DOI:10.1109/TIP.2011.2179666]
  • Chopp D L. 1993. Computing minimal surfaces via level set curvature flow. Journal of Computational Physics, 106(1): 77-91 [DOI:10.1006/jcph.1993.1092]
  • Ding K Y, Xiao L F, Weng G R. 2017. Active contours driven by region-scalable fitting and optimized Laplacian of Gaussian energy for image segmentation. Signal Processing, 134: 224-233 [DOI:10.1016/j.sigpro.2016.12.021]
  • Ding K Y, Xiao L F, Weng G R. 2018. Active contours driven by local pre-fitting energy for fast image segmentation. Pattern Recognition Letters, 104: 29-36 [DOI:10.1016/j.patrec.2018.01.019]
  • Everingham M, Eslami S M A, van Gool L, Williams C K I, Winn J, Zisserman A. 2015. The Pascal visual object classes challenge:a retrospective. International Journal of Computer Vision, 111(1): 98-136 [DOI:10.1007/s11263-014-0733-5]
  • Harel J, Koch C and Perona P. 2007. Graph-based visual saliency//Proceedings of the 19th International Conference on Neural Information Processing Systems. Vancouver, Canada: MIT Press: 545-552
  • He K M, Sun J S and Tang X O. 2009. Single image haze removal using dark channel prior//Proceedings of 2009 IEEE Conference on Computer Vision and Pattern Recognition. Miami, USA: IEEE: 1956-1963[DOI:10.1109/CVPR.2009.5206515]
  • Li C M, Kao C Y, Gore J C and Ding Z H. 2007. Implicit active contours driven by local binary fitting energy//Proceedings of 2007 IEEE Conference on Computer Vision and Pattern Recognition. Minneapolis, USA: IEEE: 1-7[DOI:10.1109/CVPR.2007.383014]
  • Li C M, Kao C Y, Gore J C, Ding Z H. 2008. Minimization of region-scalable fitting energy for image segmentation. IEEE Transactions on Image Processing, 17(10): 1940-1949 [DOI:10.1109/TIP.2008.2002304]
  • Li C M, Xu C Y, Gui C F, Fox M D. 2010. Distance regularized level set evolution and its application to image segmentation. IEEE Transactions on Image Processing, 19(12): 3243-3254 [DOI:10.1109/TIP.2010.2069690]
  • Li J, Levine M D, An X J, Xu X, He H G. 2013. Visual saliency based on scale-space analysis in the frequency domain. IEEE Transactions on Pattern Analysis and Machine Intelligence, 35(4): 996-1010 [DOI:10.1109/tpami.2012.147]
  • Lou J, Xu F L, Xia Q Y, Yang W K and Ren M W. 2017. Hierarchical co-salient object detection via color names//Proceedings of the 2017 Asian Conference on Pattern Recognition. Nanjing, China: IEEE: 718-724[DOI:10.1109/ACPR.2017.91]
  • Malladi R, Sethian J A, Vemuri B C. 1995. Shape modeling with front propagation:A level set approach. IEEE Transactions on Pattern Analysis and Machine Intelligence, 17(2): 158-175 [DOI:10.1109/34.368173]
  • McInerney T and Terzopoulos D. 1995. Topologically adaptable snakes//Proceedings of 1995 IEEE International Conference on Computer Vision. Cambridge, USA: IEEE: 840-845[DOI:10.1109/ICCV.1995.466850]
  • Mumford D and Shah J. 1985. Boundary detection by minimizing functionals//Proceedings of 1985 IEEE Computer Vision and Pattern Recognition Conference. San Francisco, USA: IEEE: 22-26
  • Osher S, Sethian A. 1988. Fronts propagating with curvature-dependent speed:algorithms based on Hamilton-Jacobi formulations. Journal of Computational Physics, 79(1): 12-49 [DOI:10.1016/0021-9991(88)90002-2]
  • Smeulders A W M, Chu D M, Cucchiara R, Calderara S, Dehghan A, Shah M. 2014. Visual tracking:an experimental survey. IEEE Transactions on Pattern Analysis and Machine Intelligence, 36(7): 1442-1468 [DOI:10.1109/TPAMI.2013.230]
  • Wang L F, Wu H Y, Pan C H. 2013. Region-based image segmentation with local signed difference energy. Pattern Recognition Letters, 34(6): 637-645 [DOI:10.1016/j.patrec.2012.12.022]
  • Wang B, Li J, Gao X B. 2012. An edge-and region-based level set method with shape priors for image segmentation. Chinese Journal of Computers, 35(5): 1067-1072 (王斌, 李洁, 高新波. 2012. 一种基于边缘与区域信息的先验水平集图像分割方法. 计算机学报, 35(5): 1067-1072)
  • Zhang K H, Song H H, Zhang L. 2010. Active contours driven by local image fitting energy. Pattern Recognition, 43(4): 1199-1206 [DOI:10.1016/j.patcog.2009.10.010]
  • Zhang K H, Zhang L, Lam K M, Zhang D. 2016. A level set approach to image segmentation with intensity inhomogeneity. IEEE Transactions on Cybernetics, 46(2): 546-557 [DOI:10.1109/TCYB.2015.2409119]
  • Zhang Y J. 2006. Advances in Image and Video Segmentation. Hershey, PA: IRM Press
  • Zhou L, Yang Z H, Zhou Z T, Hu D W. 2017. Salient region detection using diffusion process on a 2-layer sparse graph. IEEE Transactions on Image Processing, 26(12): 5882-5894 [DOI:10.1109/tip.2017.2738839]
  • Zhou S P, Wang J J, Zhang S, Liang Y D, Gong Y H. 2016. Active contour model based on local and global intensity information for medical image segmentation. Neurocomputing, 186: 107-118 [DOI:10.1016/j.neucom.2015.12.073]