Print

发布时间: 2017-03-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.20170305
2017 | Volume 22 | Number 3




    图像分析和识别    




  <<上一篇 




  下一篇>> 





中心矩形构图先验的显著目标检测
expand article info 宋腾飞, 刘政怡
安徽大学计算机科学与技术学院, 合肥 230601

摘要

目的 许多显著目标检测算法侧重从背景角度进行显著性检测,而从前景角度和空间角度进行显著性检测的算法较少,为了解决这个问题,提出了一种基于中心矩形构图先验的显著目标检测算法。 方法 假定目标分布在中心矩形构图线附近。首先,对图像进行超像素分割并构造闭环图;其次,提取中心矩形构图线上的超像素特征,并进行流形排序,获取初始显著值;然后,通过基于中心矩形构图线获取的初始显著值确定中心矩形构图交点显著值和紧凑性关系显著值;最后,融合三者获得最终的中心矩形构图先验显著图。 结果 通过MSRA-1000,CSSD,ECSSD,THUS-10000数据集对比验证了中心矩形构图先验算法有较高的准确度和最高的F-measure值,整体效果上优于目前先进的几种算法。且处理单幅图像的平均时间为0.673 s,相比与其他算法也有较大优势。 结论 从前景角度和空间角度考虑的中心矩形构图先验的显著目标检测算法相比于传统的算法更加具有鲁棒性,无论图像是复杂的还是简单的,都取得很好的检测效果,充分说明算法的有效性。

关键词

显著目标检测; 中心矩形构图先验; 流形排序; 中心矩形构图线; 中心矩形构图交点; 紧凑性关系

Saliency detection based on center rectangle composition prior
expand article info Song Tengfei, Liu Zhengyi
College of Computer Science and Technology, Anhui University, Hefei 230601, China
Supported by: National Key Technology Research and Development Program of the Ministry of Science and Technology of China (2015BAK24B00)

Abstract

Objective The saliency detection of RGB images has gained popularity in recent years. Saliency detection aims to quickly and accurately find salient objects in an image. Existing saliency detection methods utilize center prior, boundary prior, and color contrast methods. The center prior method is based on the assumption that salient objects are in the center of the image. The boundary prior method is based on the assumption that the image boundary is in the background instead of the foreground. The color contrast method is based on the principle that objects and their surroundings have varying contrast. Diffusion-based compactness method on the basis of the principle that salient objects typically have compact spatial distributions, whereas background regions have a wider distribution over the entire image. Fusion is required given that each method has its own advantages and weaknesses. In photography, important objects are placed at photographic composition intersections or arranged along photographic composition lines. Inspired by this photographic composition rule, we proposed saliency detection method based on the center rectangle composition prior, which assumes that the salient object is near the central rectangular composition lines. To supplement the weakness caused by assumptions-for example, the salient object is not near the center rectangular composition lines-we fuse compactness method to correct its result from spatial distribution. The compactness method calculates the spatial variance of each superpixel, as well as computes the spatial distance of the superpixels from the photographic composition intersection or the center of image. The choice of photographic composition intersection lies on cover range of the four intersections in initial saliency map. Methods First, the image was converted into superpixels and a graph model was described. Then, we set the superpixels in the central rectangle composition lines as query nodes, extracted their color feature to rank with all the other regions by manifold ranking, and then generated the center rectangle composition lines saliency map. Third, we computed the spatial variance of each superpixel to generate compactness relation distribution saliency map. Fourth, we found all the photographic composition as intersections, which are salient in a center rectangle composition lines saliency map. Finally, we calculated and combined the spatial distance of superpixels from them to generate photographic composition intersection saliency map. If no singular data are found, the center point of image was selected. Finally, the final saliency map was obtained by fusing the center rectangle composition lines saliency map, center rectangle composition intersection saliency map, and compactness relationship distribution saliency map. Results Experiments were performed to compare the performances of nine different methods using MSRA-1000, CSSD, ECSSD, and THUS-10000 databases. Results showed that our final saliency maps were closer to the ground truth and our method had better precision-recall curve and higher F-measure value. Our method had an average running time of 0.673 s for one image, thus achieving the real-time requirement. Moreover, experiments showed that although Monica can produce the original saliency results generated by other methods, all of them were greatly improved to a similar accuracy level after optimization by center rectangle composition prior calculation. Conclusion Our proposed method outperforms state-of-the-art methods given its effectiveness, robustness, and real-time application regardless of the complexity of the image or size of the salient object. These advantages are conferred by center rectangle composition prior and fusion of center rectangle composition lines prior, center rectangle composition intersection prior, and the compactness relationship.

Key words

salient object detection; center rectangle composition prior; manifold ranking; center rectangle composition lines; center rectangle composition intersection; compactness relationship distribution

0 引言

计算机视觉中的显著性检测近年越来越吸引人们的关注。显著性检测多用在图像分割、目标识别、视频跟踪、图像分类、图像压缩等工作中。准确而又快速地提取显著目标区域成为人们对图像处理的追求。计算机视觉源于人类视觉的独特性、不可预测性。近年来,研究人员提出了很多有关显著性处理的方法。

目前,常用的两种显著性检测方法分别为自底向上的检测方法和自顶向下的检测方法。基于图像属性特征驱动的自底向上[1]的检测方法需要人工标注的真值图进行显著目标检测,而基于高层知识的自顶而下方法[2]需要任务驱动进行显著目标检测。基于自底向上和自顶向下的思想,人们提出大量的延伸算法。因此,中心-周围模型应运而生。Ma等人[3]通过对复杂背景上的每一个像素进行中心-周围颜色的对比,然后采用模糊增长模型扩展显著性,得到显著图。Achanta等人[4]通过滑动矩形窗口的内部和外部的子区域,计算中心-周围的平均特征向量,获取显著图。

近年来许多算法[5-6]从前景角度进行显著目标检测,其中矩形框的算法,较为常见。Liu等人[5]以一个滑动的窗口计算窗口的各种尺寸和长宽比的中心环绕直方图,然后联合不同的特征,训练一个条件随机场进行显著目标检测。Liu等人[6]提出了一个弹性边缘框的方法,通过整合窗口得分、分组策略以及颜色和深度线索,锁定显著目标的大致范围。虽然这样并不能够比较完整地突出显著目标,但可以获取显著目标的大概位置,缩小显著目标检测的范围。

有些算法[7-9]从空间分布进行显著性检测。因为,空间分布上显著目标关系通常较为紧凑性,而背景较为稀松。Gopalakrishnan等人[7]提出基于图像颜色和方向分布的鲁棒性显著性检测框架,然后使用更精细的假设,去选择一个更小的空间差异显著图。Cheng等人[8]提出空间的紧凑性分布是另一个重要的显著性指标,并且也是一个重要的互补线索的对比。通过使用外观相似性和图像像素的空间分布,进行显著区域检测。Zhou等人[9]基于空间分布,发现Compactness和局部对比有很强的互补性,提高了显著性检测的结果。事实上,根据空间分布关系在显著目标检测中往往能获得不错的检测效果。

有些算法认为[10-12]显著目标检测中图像边界多为背景。因此,Li等人[10]采用边界背景先验方式提高显著区域的评估值,然后结合Objectness对显著目标进行补充。Jiang等人[11]使用图像边界的超像素作为虚拟背景的吸收节点,通过可吸收的马尔可夫链基于图模型进行显著性检测。Yang等人[12]把图像边界作为背景,将显著性检测转换成图的排序问题,通过图像元素与一个稀疏的连通图的背景线索的相似性进行排序,描绘出显著目标与背景的总体差异性。事实上,如果简单地把图像边界作为背景,必然会造成显著目标在图像边界条件下的误检,影响最终的检测结果。

另外,Jiang等人[13]通过融合Uniqueness、Focusness和Objectness的方法获取显著图。Xiang等人[14]融合几何学线索、背景线索、边界线索等获取显著性偏移目标,然后通过融合颜色、纹理、布局方式等进行显著性扩散,得到最终的显著图。显然,在显著目标检测中增加更多的互补性线索,就能够有效的提高显著性检测的效果。

综上所述,本文提出了中心矩形构图先验的显著目标检测方法。假设图像的中心及其周围为显著目标,构造一个中心矩形框,用中心矩形框覆盖图像中可能为显著目标的区域,并对矩形框上的显著值进行排序,获取显著目标。主要有以下3点贡献:

1) 提出了一种构图模型,即中心矩形构图先验模型;

2) 中心矩形构图先验算法较目前先进的几种算法有一定优势,能够有效提高显著目标的精准度;

3) 中心矩形构图先验算法能够有效地提高其他算法的性能,并可以把显著值提高到相似水平。

1 中心矩形构图先验

在实际生活中,显著性图像的前景和背景存在较明显的差异。通过对视觉特点的研究发现,人们第一眼会先看图像的中心或者其周围区域。正是基于这样的原理,通常会把显著目标放到图像的中心及周围区域,而边界通常设成背景。

因此,一幅生成图像也会遵循对应的构图法则,使用最普遍的构图法则是三分构图法,即“井”式构图法,又称“九宫格”。所谓“井”式构图法,就是把图像的长与宽进行三等分,形成“井”字结构。四条线的交接点称为“趣味中心”。由文献[12]得知图像的边界多为背景,图像的中心及其周围多为显著目标,所以本文只保留由4个“趣味中心”相连所围成的矩形,剔除与边界相连的可能为背景的线段,并将其命名为中心矩形构图线,如图 1中线段p1p2p2p3p3p4p4p1所围成的矩形。4个“趣味中心”命名为中心矩形构图交点,如图 1中交点p1p2p3p4。根据先验知识,显著目标多分布于中心矩形构图线附近和中心矩形构图交点附近,如图 1所示。

图 1 中心矩形构图先验模型
Fig. 1 The model of center rectangle composition prior

2 本文方法

主要从图像中心矩形构图线、中心矩形构图交点以及空间紧凑性关系3个角度出发进行显著性检测。中心矩形构图线角度就是根据先验知识显著目标通常位于中心矩形构图线附近,把中心矩形构图线附近的超像素设为查询节点,然后使用流形排序算法对查询节点进行相似性排序,得到基于中心矩形构图线的初始显著图。中心矩形构图交点角度根据先验知识显著目标通常位于中心矩形构图交点附近,基于中心矩形构图线获取的初始显著图判断构图交点的哪些点位于该初始显著图上,并对存在的点进行中心先验,得到基于中心矩形构图交点的显著图。空间紧凑性关系角度就是分析显著目标在空间的紧凑性分布,进而获取紧凑性关系分布图。最后整合三者,成为最终显著图。称该显著图为中心矩形构图先验显著图,整个过程使用的方法称为中心矩形构图先验算法。本文算法具体流程如图 2所示。

图 2 算法流程图
Fig. 2 Algorithm flow chart

2.1 基于中心矩形构图线的显著性计算

2.1.1 构造闭环图

使用SLIC (simple linear iterative clustering) 模型[15]把输入图像抽象为均匀密度的区域。之后,构造闭环图G=(V, E)。每一个节点是由SLIC算法分割产生的超像素。由于相邻节点具有相似显著值,因此设置每个节点不仅与邻居节点相连,还与有共边界的节点相连,这样构造的图称为k-正则图。把中心矩形构图线的四条边视作连接的,四条边上的每一对节点也视作毗邻的。

G节点总数为N,即$\{ {v_1}, {v_2}, {v_3}, \cdots, {v_i}, \cdots, {v_N}\} $。通过关联矩阵$ \mathit{\boldsymbol{W}} = {\left[{{w_{ij}}} \right]_{N \times N}} $获得边集E的权重。节点$ {v_i} $表示$ i $节点,$ 1 \le i, j \le N $$ {\mathit{\boldsymbol{E}}_{ij}} $表示连接两个顶点$ {v_i} $$ {v_j} $的边。令$ \mathit{\boldsymbol{y}} = {\left[{{y_1}, {y_2}, \cdots, {y_N}} \right]^{\rm{T}}} $作为指示向量,又称显著性种子。$ {y_i} $=1表示$ {v_i} $为查询节点,$ {y_i} = 0 $反之。构造图通过已经定义的关联矩阵进行种子传播。最终,得到一个目标显著图$ \mathit{\boldsymbol{f}} = {\left[{{f_1}, {\rm{ }}{f_2}, \cdots, {\rm{ }}{f_n}} \right]^{\rm{T}}} $。图G的度$ \mathit{\boldsymbol{D}} = {\rm{diag}}\{ {d_{11}}, \cdots, {d_{nn}}\} $,其中$ {d_{ii}} = {\sum _j}{w_{ij}} $,其中${w_{ij}} $定义为

$ {w_{ij}} = \left\{ \begin{array}{l} {a_{ij}}\;\;\;j \in \mathit{\boldsymbol{N}}{\mathit{\boldsymbol{H}}_i}\\ 0\;\;\;\;\;其他 \end{array} \right. $ (1)

$ {a_{ij}} = {{\rm{e}}^{ - \frac{{\left\| {{c_i} - {c_j}} \right\|}}{{{\sigma ^2}}}}} $ (2)

式中,$ {c_i} $$ {c_j} $是超像素的平均值。σ是一个常数。$ \mathit{\boldsymbol{N}}{\mathit{\boldsymbol{H}}_i} $表示节点$ {v_i} $邻居节点的集合。因此,关联矩阵W相应产生。

2.1.2 流形排序算法

文献[9, 12, 16]都提出了流形排序算法来寻找数据固有的结构信息。根据固有的结构信息构造图的关联矩阵W,并为每个节点分配一个排序值,即显著性种子。然后,在图中通过种子与其周围邻居的关系进行显著性扩散。反复扩散至图中的所有节点,直至图像显著性保持基本的稳定。排序最优公式为

$ \begin{array}{l} \mathit{\boldsymbol{f}}_1^* = \arg \;\min \frac{1}{2}\left( {\sum\limits_{i,j = 1}^n {{w_{ij}}{{\left\| {{\mathit{\boldsymbol{f}}_i}/\sqrt {{d_{ii}}} - {\mathit{\boldsymbol{f}}_j}/\sqrt {{d_{jj}}} } \right\|}^2}} } \right. + \\ \;\;\;\;\;\;\left. {\mu \sum\limits_{i = 1}^n {{{\left\| {{\mathit{\boldsymbol{f}}_i} - {\mathit{\boldsymbol{y}}_i}} \right\|}^2}} } \right) \end{array} $ (3)

式中,$ {w_{ij}} $表示超像素间的欧氏距离。${d_{ii}} $$ {d_{jj}} $表示超像素之间的度。参数$ \mu $控制平滑限制和拟合约束平衡。就是说一个好的排序算法,使邻居节点间的相关性变化较小,较为平滑。通过将上述函数的导数设置为零,求得最小解。

那么使用一个非归一化的拉普拉斯矩阵得到排序函数

$ \mathit{\boldsymbol{f}}_1^* = {\left( {\mathit{\boldsymbol{D}} - \alpha \mathit{\boldsymbol{W}}} \right)^{ - 1}}\mathit{\boldsymbol{y}} $ (4)

式中,α表示一个阈值常数。

2.1.3 显著值计算

依次把中心矩形4条构图线上的节点作为查询节点,把每个节点的信息转换到Lab空间,并计算相关颜色特征。定义查询节点的4个边线集合分别为左边线$ {\mathit{\boldsymbol{E}}_l} $、右边线$ {\mathit{\boldsymbol{E}}_r} $、上边线${\mathit{\boldsymbol{E}}_t} $和下边线$ {\mathit{\boldsymbol{E}}_d} $。具体定义为

$ {\mathit{\boldsymbol{E}}_l} = \left( {\left[ {\frac{w}{3}} \right],\left[ {\frac{h}{3}, \cdots ,\frac{{2 \times h}}{3}} \right]} \right) $ (5)

$ {\mathit{\boldsymbol{E}}_r} = \left( {\left[ {\frac{{2 \times w}}{3}} \right],\left[ {\frac{h}{3}, \cdots ,\frac{{2 \times h}}{3}} \right]} \right) $ (6)

$ {\mathit{\boldsymbol{E}}_t} = \left( {\left[ {\frac{w}{3}, \cdots ,\frac{{2 \times w}}{3}} \right],\left[ {\frac{h}{3}} \right]} \right) $ (7)

$ {\mathit{\boldsymbol{E}}_d} = \left( {\left[ {\frac{w}{3}, \cdots ,\frac{{2 \times w}}{3}} \right],\left[ {\frac{{2 \times h}}{3}} \right]} \right) $ (8)

$ {\mathit{\boldsymbol{E}}_{{\rm{all}}}} = Unique\left( {{\mathit{\boldsymbol{E}}_l} + {\mathit{\boldsymbol{E}}_r} + \mathit{\boldsymbol{E}}_t^{\rm{T}} + \mathit{\boldsymbol{E}}_d^{\rm{T}}} \right) $ (9)

式中,$ h $$ w $分别表示图像的高和宽,“[]”表示取整,“…”表示对应边线上所有超像素取值,比如$ {\mathit{\boldsymbol{E}}_l} $中,当$x $$ \frac{w}{3} $时,$y $取位于$ \frac{h}{3} $$ \frac{{2 \times h}}{3} $距离上的超像素,$ Unique(x) $函数表示取$x $中不重复的数据。

当指示向量$ \mathit{\boldsymbol{y}} = {\mathit{\boldsymbol{E}}_{{\rm{all}}}} $固定后,其他数据节点根据流形排序式(4) 排序,$\mathit{\boldsymbol{f}}_1^{^*} $是一个N维向量。然后,对向量$\mathit{\boldsymbol{f}}_1^{^*} $进行归一化处理,得到$ \mathit{\boldsymbol{\bar f}}_1^{^*} $因此,经过流形排序后得到基于中心矩形构图线的初试显著图,标记为

$ {S_f} = \mathit{\boldsymbol{\bar f}}_1^*\left( i \right),i = 1,2, \cdots ,N $ (10)

式中,$ i $表示图中超像素节点。如图 3(b)所示,就是融合中心矩形构图线的结果。然后,把式(10) 得到的显著目标二值化处理后作为新的查询节点,再次使用流形排序算法,对新的查询节点与其他节点进行相关性排序,得到更精确的显著图,称为中心矩形构图线显著图细化,标记为So,结果如图 3(c)所示。

图 3 中心矩形构图线显著图
Fig. 3 The saliency map of center rectangle composition lines ((a) input images; (b) center rectangle composition lines saliency maps; (c) correction of center rectangle composition lines saliency maps; (d) ground truth)

2.2 基于中心矩形构图交点的显著性计算

根据先验知识,显著目标多分布于中心矩形构图交点附近。因此,进行基于中心矩形构图交点的显著值计算。

为了更精确地描述超像素间的相似性,通过构造图,使用流形排序的方法传播相似性

$ \mathit{\boldsymbol{F}}_2^{*{\rm{T}}} = {\left( {\mathit{\boldsymbol{D}} - \alpha \mathit{\boldsymbol{W}}} \right)^{ - 1}}\mathit{\boldsymbol{A}} $ (11)

式中,矩阵$ \mathit{\boldsymbol{A}} = {\left[{{a_{ij}}} \right]_{N \times N}} $,扩散后的相似矩阵$ \mathit{\boldsymbol{F}}_2^{^*} = {\left[{f{{_2^{^*}}_{ij}}} \right]_{N \times N}} $

图 1所示,定义中心矩形构图交点的4个趣味中心分别是p1p2p3p4。用集合I表示这4个点可能在中心矩形构图线获取的初始显著图$ {S_f} $的显著目标上的集合。p0表示中心矩形的中心空间坐标。

如果集合I存在非空集,那么整幅图像以该集合中存在的点分别为中心进行空间距离关系的显著性计算,然后进行或操作。如果集合I为空集,那么整幅图像以p0为中心进行空间距离的显著性计算。使用$ \mathit{\boldsymbol{Sd}}(i) $表示计算结果,计算公式为

$ \mathit{\boldsymbol{Sd}}\left( i \right) = \left\{ \begin{array}{l} \sum\limits_{{p_k} \in I}^I {\frac{{\sum\limits_{j = 1}^R {f_{2ij}^* \cdot {n_j} \cdot \left\| {{\mathit{\boldsymbol{b}}_j} - {\mathit{\boldsymbol{p}}_k}} \right\|} }}{{\sum\limits_{j = 1}^R {f_{2ij}^* \cdot {n_j}} }}\;\;{\mathit{\boldsymbol{p}}_k} \in \mathit{\boldsymbol{I}}} \\ \frac{{\sum\limits_{j = 1}^R {f_{2ij}^* \cdot {n_j} \cdot \left\| {{\mathit{\boldsymbol{b}}_j} - {\mathit{\boldsymbol{p}}_0}} \right\|} }}{{\sum\limits_{j = 1}^R {f_{2ij}^* \cdot {n_j}} }}\;\;{\mathit{\boldsymbol{p}}_k} \notin \mathit{\boldsymbol{I}} \end{array} \right. $ (12)

式中,$ {\mathit{\boldsymbol{p}}_k} = \left[{{p_{xk}}, {p_{yk}}} \right], k = 1, 2, 3, 4, {\mathit{\boldsymbol{p}}_0} = \left[{{p_{x0}}, {p_{y0}}} \right], {\mathit{\boldsymbol{p}}_k} $表示图像4个中心矩形构图交点的空间坐标。R表示整个图像区域内超像素个数。$ {\mathit{\boldsymbol{b}}_j} = [b_{_j}^{^x}, b_{_j}^{^y}] $表示超像素$ {v_j} $的质心。$ {n_j} $表示超像素$ {v_j} $中像素的个数。如图 4(c)所示,$ \mathit{\boldsymbol{sd}}(i) $为中心矩形构图交点获取的显著图。

图 4 中心矩形构图线显著图、中心矩形构图交点显著图与空间紧凑性关系显著图融合过程
Fig. 4 The fusion process of center rectangle composition lines saliency map, center rectangle composition intersection saliency map and the compactness relationship distribution saliency map ((a) input images; (b) saliency maps of center rectangle composition lines; (c) saliency maps of center rectangle composition intersection; (d) saliency maps of the compactness relationship distribution; (e) saliency maps of center rectangle composition prior; (f) ground truth

2.3 基于空间紧凑性关系的显著性计算

文献[9]认为通常显著目标在图像空间分布上具有紧凑性,而背景在图像空间分布上则具有松散性。启发于此,通过计算超像素在图像的空间分布来获取显著目标。定义超像素$ {v_i} $的空间紧凑性关系显著值为

$ \mathit{\boldsymbol{Sv}}\left( i \right) = \frac{{\sum\limits_{j = 1}^R {f_{2ij}^* \cdot {n_j} \cdot \left\| {{\mathit{\boldsymbol{b}}_j} - {\mathit{\boldsymbol{\mu }}_i}} \right\|} }}{{\sum\limits_{j = 1}^R {f_{2ij}^* \cdot {n_j}} }} $ (13)

式中,空间均值为$ {\boldsymbol{\mu }_i} = [\mu _{_i}^{^x}, \mu _{_i}^{^y}] $,其中$ \mu _{_i}^{^x} $$ \mu _{_i}^{^y} $被定义为

$ \mu _i^x = \frac{{\sum\limits_{j = 1}^R {f_{2ij}^* \cdot {n_j} \cdot b_j^x} }}{{\sum\nolimits_{j = 1}^R {f_{2ij}^* \cdot {n_j}} }} $ (14)

$ \mu _i^y = \frac{{\sum\limits_{j = 1}^R {f_{2ij}^* \cdot {n_j} \cdot b_j^y} }}{{\sum\limits_{j = 1}^R {f_{2ij}^* \cdot {n_j}} }} $ (15)

图 4 (d) 所示,$ \mathit{\boldsymbol{Sv}}(i) $为空间紧凑性关系图。

2.4 基于中心矩形构图先验的显著性计算

中心矩形构图交点方法和空间紧凑性关系方法是建立在图像背景相比于显著目标具有更加松散的空间分布特性基础上,将两者进行或操作可以提高其成为背景的可能性,经取反操作后可以更加突出显著目标的亮度,最后与中心矩形构图线方法进行与操作,取出共同部分,可以提高显著检测的准确性。因此,三者之间形成有效的互补关系。所以,将显著值So$ {\boldsymbol{Sd}}(i) $$ {\boldsymbol{Sv}}(i) $进行融合,得到融合图S,即中心矩形构图先验显著图。融合公式为

$ \mathit{\boldsymbol{S = }}Norm\left( {{S_o} \times \exp \left( {1 - Norm\left( {\mathit{\boldsymbol{Sv}}\left( i \right) + \mathit{\boldsymbol{Sd}}\left( i \right)} \right)} \right)} \right) $ (16)

式中,$ Norm{\rm{(}}x{\rm{)}} $函数表示对$x $归一化为0到1之间。如图 4(e)所示,S为中心矩形构图先验显著图。

2.5 优化现有算法

通过显著目标的连通性关系,对中心矩形构图线进行流形排序并计算显著值,即可在图像中获取基于中心矩形构图线的显著目标。不仅如此,本文发现:即使基于某种方式获取的显著图的效果很差,使用中心矩形构图线进行显著目标检测方法仍然可以准确地判断显著图中的前景和背景信息。如图 5所示,使用几种经典的算法作为基础显著图,使用中心矩形构图线方式提高经典算法最终的显著值。从图 5中发现,即使原来的显著图的效果并不好,但是融合中心矩形构图线后,所有的结果可以提到一个更高的相似准确度。这充分说明本文所提模型的有效性,并且可以优化现有算法。

图 5 优化其他算法图
Fig. 5 Optimize other algorithms ((a) original images; (b) ground truths; (c) AMC; (d) BSCA; (e) GS; (f) HS; (g) LPS; (h) MR; (i) PCA; (j) SF; (k) wCtr)

2.6 算法分析

基于流形排序的中心矩形构图先验显著值的算法步骤为:

输入:1幅RGB图像,对应的参数。

1) 根据参数将输入图片分割成超像素。将超像素作为节点构造闭环图,计算度数矩阵D,以及关联矩阵W。并计算(D-αW)-1

2) 使用指示向量$\boldsymbol{y} $,根据式(4)-式(8) 来计算基于每条构图线的显著图,然后根据式(10) 计算$ {S_f} $

3) 自适应阈值方法对$ {S_f} $进行二值分割,大于阈值的节点被标记为目标询问节点构造指示向量$\boldsymbol{y} $,使用式(4)(10) 计算中心矩形构图线显著图So

4) 根据式(2) 计算超像素之间的相似性,并通过式(11) 进行相似性传播。根据式(12) 计算中心矩形构图交点显著图$ \mathit{\boldsymbol{Sd}}(i)$

5) 根据式(13)-式(15)计算空间的空间紧凑性关系显著图 $ \mathit{\boldsymbol{Sv}}(i) $

6) 式(16)对步骤3)4)5)分别得到的So$ \mathit{\boldsymbol{Sd}}(i) $$ \mathit{\boldsymbol{Sv}}(i) $进行显著值进行融合,得到中心矩形构图先验显著图S

输出:中心矩形构图先验显著图S,代表每个像素点的显著值。

3 实验结果

3.1 实验设置

实验在4个公共数据集上评估本文算法,这4个数据集分别为:MSRA-1000,CSSD,ECSSD,THUS-10000。MSRA-1000包含1 000幅图像,是比较常用的数据集。CSSD包含200幅不同图案的前景和背景,较接近自然图像。ECSSD包含1 000幅不同尺度的多目标图像,最能代表自然图像。它包括许多语义上有意义,但结构复杂的图像。THUS-10000包含10 000幅单目标图像,其中MSRA-1000就取自该数据集的部分数据。这4个数据集都有人工标注的真值图像,有利于进行客观评价。

使用目前公开代码中先进的9种算法进行对比,这些算法代码分别由各自作者提供。这些算法分别为:使用可吸收的马尔科夫链进行显著性检测(AMC)[11],基于图的Manifold Ranking方法(MR)[12],使用背景先验的测地线显著性(GS)[17],分层的显著性检测(HS)[18],什么使patch不同(PCA)[19],显著性滤波器:基于对比度滤波的显著性检测(SF)[20],标签内部和标签间传播:自然环境下的显著性检测(LPS)[10],通过元胞自动机的显著性检测(BSCA)[21],从鲁棒性背景检测的显著性优化(wCtr)[22]

实验平台:所有程序都是在Pentium(R) Dual-Core(E5500) 2.80 GHz内存4 GB的PC上实现。MATLAB版本为2015a。

3.2 参数设置

文中N表示分割成超像素的个数,设置为200。式(2)中σ是一个控制相似性力度的参数,设置σ2为0.1。式(4)和式(11)中α表示平衡算法的平滑度和拟合约束,同设置为0.99。

3.3 评估标准

查准率表示正确检测的显著目标与完全显著目标的百分比。查全率是指正确检测显著目标的完整度与完全显著目标完整度的百分比。当Precision和Recall两者值同时越大,表明算法的效果越好。但两者之间存在制约关系,Precision大时,Recall通常较小,反之亦然。因此,采用F-measure权衡两者之间的关系,如式(19)所示。通过将阈值 $ {T_f} $设定为[0, 225]之间,进而计算256个Precision和Recall。然后以Recall为横轴,Precision为纵轴,绘制Precision随Recall变化的PR曲线。曲线越高,说明检查效果越好。

$ P = \sum\limits_x {{g_x}{a_x}} /\sum\limits_x {{a_x}} $ (17)

式中,$ \sum\limits_x {{g_x}} $为基准二值图。$ \sum\limits_x {{a_x}} $为检测结果二值图。Recall计算公式为

$ R = \sum\limits_x {{g_x}{a_x}} /\sum\limits_x {{g_x}} $ (18)

F-measure计算公式为

$ {F_\beta } = \frac{{\left( {1 + {\beta ^2}} \right)P \times R}}{{{\beta ^2}P + R}} $ (19)

式中,β为常数,用来控制查准率和查全率的权值,设置β2为0.3。

3.4 实验结果及分析

3.4.1 评估本文算法

图 6所示,基于MSRA-1000数据集,分别从中心矩形构图先验角度,空间紧凑性关系角度以及融合后的角度进行评估本文算法的效果。图 6中显示中心矩形构图先验获取的显著图融合空间紧凑性关系图的PR曲线,可以显著地提高目标的PR曲线。

图 6 评估本文算法
Fig. 6 Evaluation of our method

3.4.2 性能对比

本文方法与当前先进的9个算法在4个数据集上(MSRA-1000,CSSD,ECSSD,THUS-10000) 进行比较。使用查全率,查准率和F-measure作为评价指标。

1) MSRA-1000数据集上的比较。图 7(a) (b) 分别为PR曲线和评估直方图。图 7(a)PR曲线显示,虽然本文算法查全率低于算法wCtr,但查准率高于该算法,并整体优于其他8种算法。图 7(b)所示为基于查全率,查准率和F-Measure的3个指标的评估结果。评估直方图表明,本文算法在查准率上达到了92.2%的精度,与算法MR,LPS相当。但本文算法的F-Measure值达到90%,高于所有对比算法的F-Measure值。

图 7 不同算法在MSRA-1000数据集上的对比结果
Fig. 7 The experimental results of different algorithms on MSRA-1000 database ((a) average precision-recall curves for different algorithms; (b) average precision, recall and F-Measure using different algorithms)

2) CSSD数据集上的比较。图 8(a) (b) 分别为PR曲线和评估直方图。图 8(a)所示为PR曲线上的对比结果,反映本文算法整体优势比较明显。查准率和算法HS类似,但高于其他8种对比算法,达到了86.5%的精度值。图 8(b)评估直方图显示,本文算法的F-Measure值为79.2%,高于所有对比算法。

图 8 不同算法在CSSD数据集上的对比结果
Fig. 8 The experimental results of different algorithms on CSSD database ((a) average precision-recall curves for different algorithms; (b) average precision, recall and F-Measure using different algorithms)

3) ECSSD数据集上的比较。图 9(a)(b) 所示本文算法在ECSSD数据集的对比实验结果。从图 9(a) PR曲线结果上看,本文PR曲线和算法BSCA类似,远高于其他8种算法。从图 9(a) 评估直方图结果看,在查准率和F-Measure值上高于所有对比算法,分别为:74.6%,66.9%。

图 9 不同算法在ECSSD数据集上的对比结果
Fig. 9 The experimental results of different algorithms on ECSSD database ((a) average precision-recall curves for different algorithms; (b) average precision, recall and F-Measure using different algorithms)

4) THUS-10000数据集上的比较。图 10(a) (b) 所示本文算法在THUS-10000数据集上的对比实验结果。从图 10(a)的PR曲线中看出,本文算法整体上优于本文算法。从图 10(b)评估指标直方图的结果上看,本文的查准率和MR,HS,LPS类似,但事实上本文的查准率达到90%以上的精度值,高于所有对比算法的查准率。另外,本文也有最高的F-Measure值,达到了85%。

图 10 不同算法在THUS-10000数据集上的对比结果
Fig. 10 The experimental results of different algorithms on THUS-10000 database ((a) average precision-recall curves for different algorithms; (b) average precision, recall and F-Measure using different algorithms)

3.4.3 质量对比

图 11为本文算法与其他算法的质量对比实验。第1、2行图像来自MSRA-1000数据集,第35行图像来自CSSD数据集,第68行图像来自ECSSD数据集。相对于先进的9种算法,本文算法能够均匀、完整地突出显著目标及显著目标边界,并且拥有能够完美处理复杂背景图像的能力,突出显著目标。如图 11第1、2、3、5、6、8行所示不仅突出显著目标及其边界,而且能够去掉复杂的背景使其更接近于真值图。说明从前景角度和空间角度进行显著性检测相比于传统的算法更加具有鲁棒性,无论图像是复杂的还是简单的,都能取得很好的检测效果,充分说明算法的有效性和普适性。

图 11 质量对比
Fig. 11 Quality contrast ((a) input images; (b) AMC saliency maps; (c) MR saliency maps; (d) GS saliency maps; (e) HS saliency maps; (f) PCA saliency maps; (g) SF saliency maps; (h) LPS saliency maps; (i) BSCA saliency maps; (j) wCtr saliency maps; (k) saliency maps of our method; (l) ground truth)

3.4.4 运行时间对比

将本文算法分别与AMC,MR,GS,HS,PCA,SF,LPS,BSCA,wCtr算法在MSRA数据集上进行运行时间的对比结果如表 1所示。本文使用中心矩形构图先验的方法运行每幅图片的平均时间仅为0.673 s,比MR,HS,PCA,LPS,BSCA算法的运行时间要短,说明本文算法实时性较好。

表 1 平均运行时间对比
Table 1 Comparison of average run time

下载CSV
AMC MR GS HS PCA SF LPS BSCA wCtr 本文算法
时间/(s/幅) 0.213 0.925 0.404 1.205 4.061 0.377 1.866 2.953 0.405 0.673
代码 Matlab Matlab Matlab C/C++ C & & Matlab C/C++ Matlab Matlab Matlab Matlab

3.5 优化现有算法的结果

文献[23]表明对已有的一些特征融合起来一方面可能能够增强显著目标检测的准确性,但另一方面简单的特征融合并不能保证显著检测的准确性,相反,甚至是相互排斥的。图 12是使用本文的中心矩形构图线方式得到的显著图$ {S_f} $对9种对比方法进行矫正的结果。从矫正结果上发现中心矩形对9种算法的PR曲线都有较大幅度提高。说明中心矩形构图先验方案是完全可行的,并且也是有效的,能够提高其他算法对显著目标检测的准确度。

图 12 中心矩形构图先验矫正对比算法
Fig. 12 A correction contrast algorithm for center rectangle composition prior mapping ((a) PR curve of correction AMC algorithm; (b) PR curve of correction MR algorithm; (c) PR curve of correction GS algorithm; (d) PR curve of correction HS algorithm; (e) PR curve of correction PCA algorithm; (f) PR curve of correction SF algorithm; (g) PR curve of correction LPS algorithm; (h) PR curve of correction BSCA algorithm; (i) PR curve of correction wCtr algorithm)

4 结论

从图像构图的角度出发,根据中心矩形构图法则,进行显著目标的显著性检测,并提出了中心矩形构图先验的显著目标检测方法。通过在MSRA-1000,CSSD,ECSSD,THUS-10000数据集上的评估,无论图像是复杂的还是简单的,大目标还是小目标,都取得很好的检测效果,充分说明算法的有效性和普适性。

在接下来的研究中可以考虑对构图线的优化,因为当构图线上并不是显著目标的时候,文中所做的假设是存在偏差的,因此通过中心矩形构图交点显著值计算和空间紧凑性关系显著值计算来加以纠正,以避免检测误差。今后,还可以采用去掉构图线上不是显著目标的部分信息的方法,提高显著目标检测的准确率;其次,采用构图方式构建的权值关联矩阵,然后使用流形排序的方式进行显著目标检测,在未来的研究中可以通过计算概率的方式,用概率关联矩阵替换权值关联矩阵,然后使用传播的方式进行显著目标检测。

参考文献

  • [1] Koch C, Ullman S. Shifts in selective visual attention:towards the underlying neural circuitry[J]. Human Neurobiology, 1985, 4(4): 219–227. [DOI:10.1007/978-94-009-3833-5_5]
  • [2] Kanan C, Tong M H, Zhang L Y, et al. SUN:Top-down saliency using natural statistics[J]. Visual Cognition, 2009, 17(6-7): 979–1003. [DOI:10.1080/13506280902771138]
  • [3] Ma Y F, Zhang H J. Contrast-based image attention analysis by using fuzzy growing[C]//Proceedings of the 11th ACM International Conference on Multimedia. Berkeley, CA, USA:ACM, 2003:374-381.[DOI:10.1145/957013.957094]
  • [4] Achanta R, Estrada F, Wils P, et al. Salient region detection and segmentation[C]//Proceedings of the 6th International Conference on Computer Vision Systems. Berlin Heidelberg:Springer, 2008:66-75.[DOI:10.1007/978-3-540-79547-6_7]
  • [5] Liu T, Yuan Z J, Sun J, et al. Learning to detect a salient object[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(2): 353–367. [DOI:10.1109/TPAMI.2010.70]
  • [6] Liu J, Ren T W, Bei J. Elastic edge boxes for object proposal on RGB-D images[C]//Proceedings of the 22nd International Conference on MultiMedia Modeling. 2016:199-211.[DOI:10.1007/978-3-319-27671-7_17]
  • [7] Gopalakrishnan V, Hu Y Q, Rajan D. Salient region detection by modeling distributions of color and orientation[J]. IEEE Transactions on Multimedia, 2009, 11(5): 892–905. [DOI:10.1109/TMM.2009.2021726]
  • [8] Cheng M M, Warrell J, Lin W Y, et al. Efficient salient region detection with soft image abstraction[C]//Proceedings of 2013 IEEE International Conference on Computer Vision. Sydney, VIC:IEEE, 2013:1529-1536.[DOI:10.1109/ICCV.2013.193]
  • [9] Zhou L, Yang Z H, Yuan Q, et al. Salient region detection via integrating diffusion-based compactness and Local Contrast[J]. IEEE Transactions on Image Processing, 2015, 24(11): 3308–3320. [DOI:10.1109/TIP.2015.2438546]
  • [10] Li H Y, Lu H C, Lin Z, et al. Inner and inter label propagation:salient object detection in the wild[J]. IEEE Transactions on Image Processing, 2015, 24(10): 3176–3186. [DOI:10.1109/TIP.2015.2440174]
  • [11] Jiang B W, Zhang L H, Lu H C, et al. Saliency detection via absorbing Markov chain[C]//Proceedings of 2013 IEEE International Conference on Computer Vision. Sydney, NSW:IEEE, 2013:1665-1672.[DOI:10.1109/ICCV.2013.209]
  • [12] Yang C, Zhang L H, Lu H C, et al. Saliency detection via graph-based manifold ranking[C]//Proceedings of 2013 IEEE Conference on Computer Vision and Pattern Recognition. Portland, OR, USA:IEEE, 2013:3166-3173.[DOI:10.1109/CVPR.2013.407]
  • [13] Jiang P, Ling H B, Yu J Y, et al. Salient region detection by UFO:uniqueness, focusness and objectness[C]//Proceedings of 2013 IEEE International Conference on Computer Vision. Sydney, NSW:IEEE, 2013:1976-1983.[DOI:10.1109/ICCV.2013.248]
  • [14] Xiang D, Wang Z L. Salient object detection via saliency bias and diffusion[J]. Multimedia Tools and Applications, 2016: 1–20. [DOI:10.1007/s11042-016-3310-9](inPress)]
  • [15] Achanta R, Shaji A, Smith K, et al. SLIC superpixels compared to state-of-the-art superpixel methods[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(11): 2274–2282. [DOI:10.1109/TPAMI.2012.120]
  • [16] Zhou D Y, Weston J, Gretton A, et al. Ranking on data manifolds[C]//Proceedings of the 16th International Conference on Neural Information Processing Systems. Cambridge, MA, USA:MIT Press, 2004:169-176.
  • [17] Wei Y C, Wen F, Zhu W J, et al. Geodesic saliency using background priors[C]//Proceedings of the 12th European Conference on Computer Vision. Berlin Heidelberg:Springer, 2012:29-42.[DOI:10.1007/978-3-642-33712-3_3]
  • [18] Yan Q, Xu L, Shi J P, et al. Hierarchical saliency detection[C]//Proceedings of 2013 IEEE Conference on Computer Vision and Pattern Recognition. Portland, OR:IEEE, 2013:1155-1162.[DOI:10.1109/CVPR.2013.153]
  • [19] Margolin R, Tal A, Zelnik-Manor L. What makes a patch distinct?[C]//Proceedings of 2013 IEEE Conference on Computer Vision and Pattern Recognition. Portland, OR:IEEE, 2013:1139-1146.[DOI:10.1109/CVPR.2013.151]
  • [20] Perazzi F, Krähenbühl P, Pritch Y, et al. Saliency filters:contrast based filtering for salient region detection[C]//Proceedings of 2012 IEEE Conference on Computer Vision and Pattern Recognition. Providence, RI, USA:IEEE, 2012:733-740.[DOI:10.1109/CVPR.2012.6247743]
  • [21] Qin Y, Lu H C, Xu Y Q, et al. Saliency detection via cellular automata[C]//Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA, USA:IEEE, 2015:110-119.[DOI:10.1109/CVPR.2015.7298606]
  • [22] Zhu W J, Liang S, Wei Y C, et al. Saliency optimization from robust background detection[C]//Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus, OH, USA:IEEE, 2014:2814-2821.[DOI:10.1109/CVPR.2014.360]
  • [23] Borji A, Cheng M M, Jiang H Z, et al. Salient object detection:a benchmark[J]. IEEE Transactions on Image Processing, 2015, 24(12): 5706–5722. [DOI:10.1109/TIP.2015.2487833]