Print

发布时间: 2016-10-25
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.20161014
2016 | Volumn 21 | Number 10




    图像理解和计算机视觉    




  <<上一篇 




  下一篇>> 





特征融合与S-D概率矫正的RGB-D显著检测
expand article info 黄子超, 刘政怡
安徽大学计算机科学与技术学院, 合肥 230601

摘要

目的 许多先前的显著目标检测工作都是集中在2D的图像上,并不能适用于RGB-D图像的显著性检测。本文同时提取颜色特征以及深度特征,提出了一种基于特征融合和S-D概率矫正的RGB-D显著性检测方法,使得颜色特征和深度特征相互补充。 方法 首先,以RGB图像的4个边界为背景询问节点,使用特征融合的Manifold Ranking输出RGB图像的显著图;其次,依据RGB图像的显著图和深度特征计算S-D矫正概率;再次,计算深度图的显著图并依据S-D矫正概率对该显著图进行S-D概率矫正;最后,对矫正后的显著图提取前景询问节点再次使用特征融合的Manifold Ranking方法进行显著优化,得到最终的显著图。 结果 利用本文RGB-D显著性检测方法对RGBD数据集上的1 000幅图像进行了显著性检测,并与6种不同的方法进行对比,本文方法的显著性检测结果更接近人工标定结果。Precision-Recall曲线(PR曲线)显示在相同召回率下本文方法的准确率较其中5种方法高,且处理单幅图像的时间为2.150 s,与其他算法相比也有一定优势。 结论 本文方法能较准确地对RGB-D图像进行显著性检测。

关键词

显著目标检测; S-D概率矫正; 特征融合; Manifold Ranking; RGB-D; 颜色特征; 深度特征

Feature integration and S-D probability correction based RGB-D saliency detection
expand article info Huang Zichao, Liu Zhengyi
College of Computer Science and Technology, Anhui University, Hefei 230601, China
Supported by: National Key Technology Research and Development Program of the Ministry of Science and Technology of China (2015BAK24B01)

Abstract

Objective Saliency detection is a fundamental part of computer vision applications. Its goal is to obtain a high-quality saliency map that can detect important pixels or regions in an image, which attracts human visual attention the most. Recently, saliency detection approaches in RGB-D images have become increasingly popular, and depth information is proven as a fundamental element of human vision. Most existing saliency detection methods are concentrated on detecting salient objects in 2D images, but they can not be used in detecting salient objects in RGB-D images. In this paper, however, a new RGB-D saliency detection approach based on feature integration and saliency-depth(S-D) probability correction method, is proposed. The proposed method considers image features both at the 2D and RGB-D levels, and extracts color and depth features to complement each other. Method First, the method extracts color and depth features, and sets four boundaries as background seeds to compute the initial saliency map by manifold-ranking algorithm. Second, according to RGB image saliency and depth maps, the method computes S-D correction probability. Third, the method computes another saliency depth map and uses the S-D correction probability to correct the result. After correction, the proposed method finally selects foreground seeds through image threshold processing. Then, a final saliency map is optimized by using the manifold-ranking algorithm again. Result In our experiments, we evaluate the saliency detection ability of our method and six state-of-the-art methods on a large and prevalent RGB-D image dataset, which contains 1,000 images. Experimental results indicate that saliency detection results from our proposed method are much closer to the ground truth than other methods. We also plot a precision-recall curve to show the advantages of the proposed method. From the precision-recall curve, we can conclude that the proposed method has better performance than the other five methods when recall is the same. In addition, we evaluate the time complexity of our algorithm. Our method can process a single image in 2.150 seconds, which is faster than the speed of most of the other methods. Conclusion In this paper, we propose a novel RGB-D saliency detection approach that combines color features from the RGB image and depth features from the depth image. The depth features are extracted to guide RGB image saliency ranking. The RGB saliency detection results are utilized for saliency detection alignment results of depth images. Experiment results demonstrate that the manifold-ranking approach with feature integration can fuse depth and color features effectively, and enable those two components to complement each other. With the help of S-D probability correction, RGB saliency detection results can effectively guide depth saliency detection.

Key words

saliency detection; S-D probability correction; feature integration; Manifold Ranking; RGB-D; color feature; depth feature

0 引 言

最近,致力于找到图像中最重要部分的显著性检测已经在计算机视觉领域越来越普及[1]。正确提取这些重要目标区域可以大大提高图像处理与分析的效率和正确性。显著性检测可以被应用在许多视觉工作,如图像分割[2]、目标识别[3]、视频跟踪[4]、图像分类[5]等。

在过去的几年里,许多的显著性检测方法被提了出来。这些方法中分别利用了图像的颜色特征、纹理特征、位置信息、以及多种先验知识。颜色特征主要包括CIELab颜色特征和RGB颜色特征。这些特征被许多基于对比度的方法[6-7]利用,因为人类的视觉感知系统对于颜色是极其敏感的;位置信息,特别是中心先验,也被广泛地使用[8]。因为,当人类在拍摄图片时习惯将显著目标置于图片的中心处;背景先验被广泛地用于显著性检测中。其中,有的假定与图像边界接触的图像块都是背景[9];有的将与图像边界的对比度作为学习的特征[10];有的将图片4条边界设为背景[11];有的通过计算边界连通性来确定背景[12]。近年来,随着RGB-D图像的出现,深度特征也成为了显著性检测中的有效的特征[13]。但是,分散的使用这些特征和先验知识往往存在许多的误检。因此,有必要对这些特征和先验知识进行有效的融合以提高显著性检测的准确性。

早期方法中有的将图片的4条边界作为背景,使用Manifold Ranking进行显著目标检测[11]。但是,这其中只考虑了CIELab颜色特征,并未考虑深度特征。所以,不能适用于RGB-D图片的显著性检测;有的通过全局对比的框架,融合颜色、深度、位置等特征信息[14];但是,这些特征只是独立被处理再融合,并没有被综合地考虑其互补性。

本文同时提取RGB图像的CIELab颜色特征和深度图的深度特征,对特征进行相互融合,相互补充。提出了特征融合的Manifold Ranking方法用于对RGB图像进行显著性检测,使得深度特征能有效地指导RGB图像的显著检测。从而提升RGB图像的显著检测结果。同时,依据RGB图像的显著检测结果以及深度图的深度特征信息之间的关系创新性地提出了S-D概率矫正方法,用以对深度图的显著检测结果进行矫正。采用这种矫正方法使得RGB图像的信息可以指导深度图的显著检测,从而提升深度图的显著检测结果。与传统方法将颜色特征或者深度特征单独处理不同,本文在对RGB图像进行显著检测时补充了深度图的深度特征;在对深度图进行显著检测后使用了S-D概率矫正方法,使得RGB图片显著检测结果对其进行了矫正指导。

1 特征融合的Manifold Ranking

流行性排序算法[11]中利用数据(或图像)的内在流行结构获得类别标签。根据这种分类的思想,可以对图像内容进行分类,分别标记为背景、目标。给定一个数据集X={x1,…xl,xl+1,…,xn}∈Rm×n,其中一些数据点标记为询问节点,其余根据它们和询问节点的相关性排序。令f:X→Rn表示排序函数,给xi分配一个排序值fif可以看做一个向量f=[f1,…,fn]T,令y=[y1,y2,…,yn]T为指示向量,yi=1表示xi是询问节点,yi=0反之。随后构建一个图G=(V,E),节点V代表集合X,边E由一个关联矩阵W=[wij]n×n加权,给定G,次数矩阵即为$D = diag\{ {d_{11}}, \ldots ,{d_{nn}}\} ,{d_{ii}} = {\sum _j}{w_{ij}}$

询问的最优排序为

${f^*} = arg\mathop {min}\limits_f {1 \over 2}(\sum\limits_{i,j = 1}^n {{w_{ij}}||{f_i}/\sqrt {{d_{ii}}} - } {f_j}/\sqrt {{d_{jj}}} |{|^2} + \mu \sum\limits_{i = 1}^n {||{f_i} - {y_i}|{|^2}} )$ (1)

式中,μ控制平滑限制和拟合约束的平衡,也就是说一个好的排序算法,要使邻近的点之间相关性变化不大。可以使用一个非归一化拉普拉斯矩阵得到排序函数

${f^*} = {(D - \alpha W)^{ - 1}}y$ (2)

式中,α=1/(1+μ)。传统的Manifold Ranking算法在进行显著目标检测时仅提取了RGB图片的CIELab颜色特征,以度量不同超像素间的相似性。然而,深度特征在RGB-D显著目标检测中具有重要的作用,可以有效地保证显著目标检测结果的完整性[15]。所以,本文不仅从深度图中提取深度特征。而且,同时从RGB图片中提取CIELab颜色特征。两种特征相互补充,相互融合,以度量不同超像素间的相似性。特征融合的Manifold Ranking公式为

${f^*} = {(D - \alpha {W_{DC}})^{ - 1}}y$ (3)

式中,WDC表示同时考虑RGB图像的颜色特征和深度图的深度特征所构建的关联矩阵。

2 本文方法

本文方法的主要框架如图 1所示。首先,对RGB图片和深度图构建图模型,提取深度信息和CIELab颜色信息,并对RGB图片采用特征融合的Manifold Ranking方法进行显著目标检测并将检测所得的显著图用于计算S-D矫正概率;其次,计算深度图(预处理后的深度图)的显著图;再次,计算S-D矫正概率,并对深度图的显著检测结果进行S-D概率矫正;最后,对矫正后的显著图再使用特征融合的Manifold Ranking进行优化,得到最终的显著检测结果。

图 1 基于特征融合与S-D概率矫正的RGB-D显著检测
Fig. 1 Feature integration and S-D probability correction based RGB-D saliency detection

2.1 深度图的预处理

受限于深度探测器自身,导致Kinect上所获得深度图存在着一些缺陷。首先,由于Kinect上的颜色相机和红外深度相机在水平方向差距几厘米[13],导致拍摄所得的彩色图片和深度图具有不一致性。对此,采用Microsoft Kinect SDK提供的矫正工具箱对深度图和彩色图片进行矫正,获得更加精确匹配的结果;其次,由于红外激光投影仪的缺陷导致对齐后的深度图某些区域丢失深度信息(空洞)。对此,采用染色机制[16]修复深度图,如图 2所示。

图 2 深度图预处理
Fig. 2 Depth map pre-processing ((a)RGB image; (b)raw depth; (c)smoothed depth)

2.2 构建图

依据Harel[9]的方法构造无向图G(V,E)V是顶点集,包含经过SLIC[17]分割后所获得的超像素的集合。E为关联矩阵Wdc=[wdcij]N×N加权的边集。图中任意的两个顶点Vi,Vj 在CIELab色彩空间中的特征分别表示为ci,cj,其欧氏距离为

${c_{ij}} = ||{\kern 1pt} {\kern 1pt} {\kern 1pt} {c_i} - {c_j}||{\kern 1pt} {\kern 1pt} $ (4)

式中,cij表示顶点Vi,Vj的CIELab颜色特征的欧氏距离。顶点Vi,Vj的深度特征表示为di,dj,其欧氏距离定为

${d_{ij}} = ||{\kern 1pt} {\kern 1pt} {\kern 1pt} {d_i} - {d_j}||$ (5)

式中,dij表示顶点Vi,Vj深度特征的欧氏距离。距离矩阵D=[dij]N×NC=[cij]N×N中的每一项都归一化在[0-1]之间。与传统的计算关联矩阵的方法不同,本文同时考虑了RGB图像的CIELAB颜色特征和深度图的深度特征。则两个顶点Vi,Vj间新的权重为

${W_{d{c_{ij}}}} = \left\{ {\matrix{ {\exp ( - {{{c_{ij}} + {d_{ij}}} \over {2\sigma _w^2}}){\kern 1pt} } & {j \in {N_i}} \cr 0 & {其他} \cr } {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} } \right.$ (6)

式中,σw 是平衡权重值,Ni 表示与节点i相连的顶点集,Wdcij表示顶点Vi,Vi间新的权重值。此时式(3) 可表示为

${f^ * } = {(D - \alpha {W_{dc}})^{ - 1}}y$ (7)

式中,Wdc表示同时考虑RGB图像的颜色特征和深度图的深度特征所构建的新的关联矩阵,D为次数矩阵,α=1/(1+μ)y为指示向量。

2.3 RGB图片显著目标检测

基于视觉显著中的注意理论[16],本文将RGB图片的4条边界上的节点作为背景询问节点。通过特征融合的Manifold Ranking方法对图中节点与所选定的询问节点进行相关性比较,根据相关性比较得到4个关于显著目标与背景的分布图,然后再将4个图整合,得到对RGB图片显著检测的结果。并将显著检测的结果用于S-D矫正概率的计算。

以图像的上边界为例,把这条边界上的节点作为背景询问节点,其他节点为数据节点,此时指示向量y固定,其他所有节点根据式(7) 排序,f*是一个N维向量(N表示图中所有节点的个数,即超像素的个数)。向量中每个元素表示该节点和询问节点的相关性,然后对向量进行归一化处理,使向量中的值在0到1之间,即f*,得到以该边界上节点为询问节点计算出的显著图,即

${S_{Bt}}(i) = 1 - {\overline f ^ * }(i),\left( {i = 1,2, \ldots ,N,} \right)$ (8)

式中,i表示图中的超像素节点,SBt表示考虑RGB图片上边界为查询节点计算得到的显著图。类似地得到其他3个显著图,使用把它们融合,得到RGB图片显著检测结果,标记为SB,即

${S_B}(i) = {S_{Bt}}(i) \times {S_{Bb}}(i) \times {S_{Bl}}(i) \times {S_{Br}}(i)$ (9)

式中,SBtSBbSBlSBr分别表示考虑RGB图片上边界、下边界、左边界、右边界为查询节点计算得到的显著图。

2.4 深度图显著目标检测

无论从视觉感知,还是认知心理的角度来看,深度特征都有重要的作用[18]。一般认为距离观察者越近的物体,会吸引更多的注意力,也就越有可能成为显著目标[14]。对深度图进行显著目标检测的计算公式为

${S_D}(i) = {1 \over {2\pi \delta _d^2}} \times \exp \left( {{{1 - d(i)} \over {2\delta _d^2}}} \right)$ (10)

式中,d(i)∈[0-1]表示经过超像素分割后的节点i的深度特征值,δd是归一化参数,SD(i)表示深度图中节点i的显著值。考虑到当图片中的场景有不同的景深[19]时显著目标可能分布在不同的位置,为了减小景深的影响,将整幅图片的深度值置于[0-1]之间。

图 3 本文算法显著检测结果
Fig. 3 Saliency detection results of the proposed method ((a)RGB image; (b)smoothed depth; (c)RGB output; (d)depth output; (e)depth output with correction; (f)final saliency map; (g)ground truth)

2.5 S-D矫正概率

通过观察可以发现使用式(10) 对深度图进行显著检测效果往往不佳。考虑到对RGB图像的显著检测结果可以作为先验图来指导深度图的显著检测结果,提出了一种显著检测结果矫正方法。首先,采用RGB图像对应的显著图SB作为先验图;其次,提取对应深度图的深度特征信息D;最后,依据RGB图像的显著图SB和深度图的深度特征D计算S-D矫正概率,如式(11) 所示:

${P_{s - d}}{\rm{(}}i{\rm{) = }}{{{S_B}(i)} \over {D(i)}}{\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} ({\kern 1pt} i \in (D(i) \ne 0){\kern 1pt} {\kern 1pt} ){\kern 1pt} $ (11)

式中,Ps-d(i)表示超像素i对应的矫正概率,SB(i)表示RGB图中超像素i对应的显著值,D(i)表示深度图中超像素i对应的深度值。由于深度图中深度值越小的部分越有可能成为显著目标,对应的RGB图片中相同位置的显著值也就越大,所以Ps-d(i)的值就越大。反之,则越小。实验表明该矫正方法能有效地矫正深度图的显著检测结果,并且能更好地使得颜色特征和深度特征间相互融合,相互补充。

2.6 S-D矫正

对式(10) 得到的深度图的显著检测结果SD,使用矫正概率Ps-d进行S-D概率矫正,即

${S_{DF}}(i) = {S_D}(i) \times {P_{s - d}}(i)$ (12)

式中,SD(i)表示深度图中超像素i矫正前的显著值,Ps-d(i)表示超像素i对应的矫正概率,SDF(i)表示深度图中超像素i矫正后的显著值。

2.7 前景角度优化

将矫正后的显著图,采用自适应阈值的方法进行二值分割[20],分为前景显著目标和背景。并以前景显著目标节点作为前景询问节点,其他节点为数据节点,通过特征融合的Manifold Ranking算法对图中节点与前景询问节点进行相关性比较。根据相关性比较得到优化后的显著图,最终的显著图为

${S_F}(i) = {\overline f ^ * }(i), i = 1,2, \ldots ,N,$ (13)

式中,i表示图中的超像素节点。SF为最终显著图。

2.8 算法分析

基于特征融合和S-D概率矫正的RGB-D显著计算的算法步骤为:

输入:1幅RGB图像,对应的深度图像和参数。

1) 根据参数将输入的RGB图片和深度图分割成超像素集合。

2) 将超像素作为节点构造闭环无向图。首先根据深度特征和CIELab颜色特征构造新型关联矩阵Wdc。计算(D-αWdc)-1,其中α设置为0.99,此即特征融合的Manifold Ranking方法。

3) 计算RGB图片的显著图。使用特征融合的Manifold Ranking方法根据式(8) 来计算每条边界的显著图。然后,根据式(9) 计算RGB图片对应的显著图SB

4) 计算深度图(预处理后的深度图)对应的显著图。首先,根据式(10) 来计算基于深度特征的显著图SD;其次,根据式(11) 计算S-D矫正概率;最后,根据式(12) 对显著图SD进行S-D概率矫正,得到矫正后的显著图SDF

5) 从前景角度出发,采用自适应阈值方法对SDF进行二值化分割,大于阈值的节点被标记为前景询问节点构造指示向量y,再次使用特征融合的Manifold Ranking进行优化,从而得到最终的显著图SF

输出:显著图SF

3 实 验

3.1 实验数据和环境

在RGBD[13]数据集上评估本文算法。RGBD数据集中包含了1 000幅由Microsoft Kinect分别在室内室外所拍摄的自然图片,并配有标注好的真值图。

在实验中同时与6种当下流行的显著性检测方法进行对比。其中有2种方法是传统的2D图片的显著性检测,而另外的4种方法是应用在RGB-D图片的显著性检测。4种RGB-D图片显著性检测方法分别如下:通过区域对比的框架融合了深度先验和图片的全局上下文方向先验(DOC)[21];同时从低层、中层、高层3个阶段进行显著检测(LMH)[13];基于图片中各向异性的中心-周边差距(ACSD)[22];基于颜色特征,深度特征和位置信息的对比度的方法(CDS)[23]。剩下的两种2D的显著性检测方法分别是基于图的Manifold Ranking方法(MR)[11]和基于背景优化的方法(WCTR)[12]。本文算法在实验中标记为OURS。

实验环境为Intel(R) Core(TM) i5-2320CPU 3.0 GHz内存4 GB的PC。本文算法使用MATLAB(R2013a),对比算法来自各作者提供的公开代码或检测结果。

3.2 评价标准

实验采用了Precision(准确率)和Recall(召回率)来对不同算法的性能进行评估,并且绘制了Precision-Recall曲线(PR曲线)。通过将阈值设定为[0,255]之间,即将每幅图像分割为256个二值图,进而计算得到256个Precision和Recall。然后以Precision为纵轴,Recall为横轴,得到Precision随Recall变化的曲线,即PR曲线。曲线越高,说明算法检测的效果越好。

$P = \sum\nolimits_x {{g_x}{a_x}} /\sum\nolimits_x {{a_x}} $ (14)

$R = \sum\nolimits_x {{g_x}{a_x}} /\sum\nolimits_x {{g_x}} $ (15)

式中,P表示正确分配到提取区域中显著像素的比例,R表示定义为显著像素关于模板数量的比例,gx为基准二值图中的像素,ax为检测结果二值图中的像素,$\sum\limits_x {{g_x}} $为基准二值图;$\sum\limits_x {{a_x}} $为检测结果二值图。

3.3 实验结果

首先评估了传统的Manifold Ranking和特征融合的Manifold Ranking方法对RGB图片进行显著检测的结果。分别标记为C-MR ,CD-MR。检测结果的PR曲线如图 4(a)所示。通过对比发现,基于特征融合的Manifold Ranking方法比传统的Manifold Rankin方法效果更好。说明深度特征能够有效指导RGB图像的显著检测,同时也说明了颜色特征和深度特征在RGB图像显著检测中能够互补提升显著检测的结果。

其次,实验中还评估了对深度图显著检测结果进行S-D概率矫正和不矫正的结果,分别标记为SD-R,SD。检测结果的PR曲线如图 4(b)所示,通过对比发现,深度图显著检测结果经矫正后效果有很大提升。说明了RGB图片的显著检测结果能够有效指导深度图的显著检测,同时也说明了S-D概率矫正是一种有效的矫正算法。

再次,本次实验中还评估了对经过S-D概率矫正后的显著图再进行一次基于特征融合的 M-anifold Ranking优化和不经过优化的结果,分别标记为SD-R-CDMR,SD-R。检测结果的PR曲线如图 4(c)所示,通过对比发现,优化后的显著性效果更好。同时,也说明了所提出的基于特征融合的Manifold Ranking方法能够对显著检测结果进行有效优化。

最后,为了说明本文算法的优点,实验中分别与RGBD显著检测方法DOC[21]、LMH[13]、ACSD[22]、CDS[23]进行对比。同时,为了对比公平,将2D显著检测方法MR[11]、WCTR[12]用于RGB图像显著检测,将检测的结果与本文矫正前的深度图显著检测结果进行融合。分别标记为MRD、WCTRD。检测结果的PR曲线如图 4(d)所示。通过对比发现,本文算法比RGBD显著检测方法LMH、ACSD、CDS更优越,与DOC方法相比本文方法在Recall值较高处精度值较好,在Recall值较低处精度值较差。通过对比本文算法与MRD、WCTRD方法发现:本文算法能使得深度特征和颜色特征更好的融合、互补。

图 4 不同算法的实验结果
Fig. 4 The experimental results of different methods in this paper ((a) saliency detection results of feature integrated MR and traditional MR; (b) comparative results of before and after S-D probability correction; (c) comparative results of before and after refinement of feature integrated MR;(d) results of comparative experiments)

3.4 运行时间比较

将本文算法与MR,WCTR,LMH,ACSD,CDS算法在RGBD数据集上进行了运行时间的比较,结果如表 1所示。本文算法的时间效率较高。

表 1 不同算法平均运行时间对比
Table 1 Comparison of average run time of different methods

下载CSV
/(s/幅)
方法MRDWCTRDLMHACSDCDS本文方法
时间3.5961.9845.8920.10217.4842.150
代码MatlabMatlabMatlabC++MatlabMatlab

3.5 质量比较

图 5所示是本文算法和其他算法的显著检测结果。相对其他算法而言,本文算法能凸显出显著目标的完整边界,并且能够有效抑制图片中的复杂背景部分。如图 5第2行和第3行背景物体与显著目标的颜色十分相近,而第4行第5行中则有多种复杂背景,而本文算法仍然能取得较好的效果。

4 讨 论

在实验中,同样发现本文算法具有局限性。例如图 6中的第1行和第2行,通过观察发现当RGB图片的边界有多处与显著目标具有相似的颜色特征时RGB图片的显著检测效果往往不佳,导致当对深度图的显著图进行S-D矫正时往往会影响深度图显著检测的结果,从而影响最终的显著检测结果。观察图 6的第3行发现,在对深度图做显著检测时如果显著目标和背景物体的深度特征相似则会出现误检的情况。

图 5 不同算法结果对比
Fig. 5 Comparative results of different methods ((a)RGB image; (b)smoothed depth; (c)LMH; (d)ACSD; (e)CSD; (f)MR; (g)DOC; (h)OUR; (i)ground truth)
图 6 本文算法显著检测失败例子
Fig. 6 Failure examples of saliency detection results of the proposed method ((a)RGB image; (b)RGB output; (c)depth output; (d)depth output with correction; (e)final saliency map; (f)ground truth)

5 结 论

本文同时考虑深度特征和CIELab颜色特征提出了特征融合的Manifold Ranking方法,有效提升了RGB图片显著检测结果,并结合深度图的深度特征提出了S-D概率矫正方法,更好地提升了深度图的显著检测结果。最终使用特征融合的Manifold Ranking进行显著优化。实验结果显示本文方法超越现有的方法或者持平。

在未来的研究中可以考虑自顶向下的显著检测方法,并同时考虑图像的一些其他的特征,更好的融合,提升RGBD显著检测结果。

参考文献

  • [1] Goferman S, Zelnik-Manor L, Tal A. Context-aware saliency detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence , 2012, 34 (10) : 1915–1926. DOI:10.1109/TPAMI.2011.272]
  • [2] Rother C, Kolmogorov V, Blake A. "GrabCut": interactive foreground extraction using iterated graph cuts[J]. ACM Transactions on Graphics , 2004, 23 (3) : 309–314. DOI:10.1145/1186562.1015720]
  • [3] Ding Y Y, Xiao J, Yu J Y. Importance filtering for image retargeting[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Providence, RI, USA: IEEE, 2011: 89-96.[DOI: 10.1109/CVPR.2011.5995445
  • [4] Mahadevan V, Vasconcelos N. Saliency-based discriminant tracking[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Miami, Florida, USA: IEEE, 2009: 1007-1013.[DOI: 10.1109/CVPRW.2009.5206573
  • [5] Siagian C, Itti L. Rapid biologically-inspired scene classification using features shared with visual attention[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence , 2007, 29 (2) : 300–312. DOI:10.1109/TPAMI.2007.40]
  • [6] Perazzi F, Krähenbühl P, Pritch Y, et al. Saliency filters: contrast based filtering for salient region detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Providence, RI, USA: IEEE, 2012: 733-740.[DOI: 10.1109/CVPR.2012.6247743
  • [7] Cheng M M, Mitra N J, Huang X L, et al. Global contrast based salient region detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence , 2015, 37 (3) : 569–582. DOI:10.1109/TPAMI.2014.2345401]
  • [8] Klein D, Frintrop S. Center-surround divergence of feature statistics for salient object detection[C]//Proceedings of the IEEE International Conference on Computer Vision. Barcelona, Spain: IEEE, 2011: 2214-2219.[DOI: 10.1109/ICCV.2011.6126499
  • [9] Harel J, Koch C, Perona P. Graph-based visual saliency[C]//Proceedings of the Twentieth Annual Conference on Neural Information Processing Systems. Vancouver, British Columbia, Canada: MIT Press, 2006: 545-552.
  • [10] Wei Y C, Wen F, Zhu W J, et al. Geodesic saliency using background priors[C]//Proceedings of the 12th European Conference on Computer Vision. Berlin Heidelberg: Springer, 2012: 29-42.[DOI: 10.1007/978-3-642-33712-3_3
  • [11] Yang C, Zhang L H, Lu H C, et al. Saliency detection via graph-based manifold ranking[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Portland, OR, USA: IEEE, 2013: 3166-3173.[DOI: 10.1109/CVPR.2013.407
  • [12] Zhu W J, Liang S, Wei Y C, et al. Saliency optimization from robust background detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Columbus, OH, USA: IEEE, 2014: 2814-2821.[DOI: 10.1109/CVPR.2014.360
  • [13] Peng H W, Li B, Xiong W H, et al. RGBD salient object detection: a benchmark and algorithms[C]//Proceedings of the 13th European Conference on Computer Vision-ECCV 2014. Switzerland: Springer, 2014, 8691: 92-109.[DOI: 10.1007/978-3-319-10578-9_7
  • [14] Guo J F, Ren T W, Bei J, et al. Salient object detection in RGB-D image based on saliency fusion and propagation[C]//Proceedings of the 7th International Conference on Internet Multimedia Computing and Service. Hunan, China: ACM, 2015: #59.[DOI: 10.1145/2808492.2808551
  • [15] Xue H Y, Gu Y, Li Y J, et al. RGB-D saliency detection via mutual guided manifold ranking[C]//Proceedings of the IEEE International Conference on Image Processing. Quebec City, QC, Canada: IEEE, 2015: 666-670.[DOI: 10.1109/ICIP.2015.7350882]
  • [16] Levin A, Lischinski D, Weiss Y. Colorization using optimization[J]. ACM Transactions on Graphics , 2004, 23 (3) : 689–694. DOI:10.1145/1015706.1015780]
  • [17] Itti L, Koch C, Niebur E. A model of saliency-based visual attention for rapid scene analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence , 1998, 20 (11) : 1254–1259. DOI:10.1109/34730558]
  • [18] Achanta R, Shaji A, Smith K, et al. SLIC superpixels (2010)[R]. EPFL Technical Report 149300.
  • [19] Lang C Y, Nguyen T V, Katti H, et al. Depth matters: influence of depth cues on visual saliency[C]//Proceedings of the 12th European Computer Vision. Berlin Heidelberg: Springer, 2012: 101-115.[DOI: 10.1007/978-3-642-33709-3_8
  • [20] Ohtsu N. A threshold selection method from gray-level histograms[J]. IEEE Transactions on Systems, Man, and Cybernetics , 1979, 9 (1) : 62–66. DOI:10.1109/TSMC.1979.4310076]
  • [21] Ren J Q, Gong X J, Yu L, et al. Exploiting global priors for RGB-D saliency detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops. Boston, MA, USA: IEEE, 2015: 25-32.[DOI: 10.1109/CVPRW.2015.7301391
  • [22] Ju R, Liu Y, Ren T W, et al. Depth-aware salient object detection using anisotropic center-surround difference[J]. Signal Processing: Image Communication , 2015, 38 : 115–126. DOI:10.1016/j.image.2015.07.002]
  • [23] Cheng Y P, Fu H Z, Wei X X, et al. Depth enhanced saliency detection method[C]//Proceedings of the International Conference on Internet Multimedia Computing and Service. Xiamen, China: ACM, 2014: 23.[DOI: 10.1145/2632856.2632866