|
|
|
发布时间: 2018-04-16 |
GDC 2017会议专栏 |
|
|
|
崔玲玲1, 许金兰1, 徐岗1,2, 吴卿1,2 |
收稿日期: 2017-07-11; 修回日期: 2017-09-05
基金项目: 国家自然科学基金项目（61602138，61472111）；浙江省自然科学基金项目（LQ16F020005）；浙江省杰出青年自然科学基金项目（LR16F020003）；浙江大学CAD&CG国家重点实验室开放课题基金项目（A1703）
第一作者简介:
崔玲玲(1992-), 女, 现为杭州电子科技大学计算机学院计算机科学与技术专业硕士研究生, 主要研究方向为图形图像处理。E-mail:cuilingh@163.com.
中图法分类号: TP751.1
文献标识码: A
文章编号: 1006-8961(2018)04-0583-12
|
摘要
目的 图像的显著性检测是将图像中最重要的、包含丰富信息的区域标记出来，并应用到图像分割、图像压缩、图像检索、目标识别等重要领域。针对现有研究方法显著性目标检测结果不完整以及单一依靠颜色差异检测方法的局限性，提出一种综合图像底层颜色对比特征图和图像颜色空间分布特征图的显著性检测方法，能够有效而完整地检测出图像中的显著性区域。方法 本文方法结合了SLIC超像素分割和K-means聚类算法进行图像特征的提取。首先，对图像进行SLIC（simple linear iterative clustering）分割，根据像素块之间的颜色差异求取颜色对比特征图；其次，按照颜色特征对图像进行K-means聚类，依据空间分布紧凑性和颜色分布统一性计算每个类的初步颜色空间分布特征。由于聚类结果中不包含空间信息，本文将聚类后的结果映射到超像素分割的像素块上，进一步优化颜色空间分布图；最后，通过融合颜色对比显著图和图像颜色空间分布特征图得到最终的显著图。结果 针对公开的图像测试数据库MSRA-1000，本文方法与当前几种流行的显著性检测算法进行了对比实验，实验结果表明，本文方法得到的显著性区域更准确、更完整。结论 本文提出了一种简单有效的显著性检测方法，结合颜色对比特征图和图像颜色空间分布特征图可以准确的检测出显著性区域。该结果可用于目标检测等实际问题，但该方法存在一定的不足，对于背景色彩过于丰富且与特征区域有近似颜色的图像，该方法得到的结果有待改进。今后对此算法的优化更加侧重于通用性。
关键词
显著性检测; 简单线性迭代聚类(SLIC); 超像素分割; K-means聚类; 颜色对比度; 空间分布性
Cui Lingling1, Xu Jinlan1, Xu Gang1,2, Wu Qing1,2 Abstract
Objective Saliency detection of images aims to predict areas that are most important and contain abundant information in an image. It has been applied to image segmentation, image compression, and object recognition, etc.. Numerous algorithms can be used to compute the saliency of an image, but the resulting saliency map may be incomplete and limited for methods that use color information of images only. A new saliency detection method that combines the color contrast with the color space distribution of images is proposed. Method Simple linear iterative clustering (SLIC) super-pixel segmentation algorithm and K-means clustering algorithm are used to obtain relevant features to reduce time complexity. We utilize a smoothing filter that can remove the noise of images to acquire a smooth image. We divide our algorithm into three steps. First, the image is preprocessed by using the SLIC algorithm, and a color contrast map is obtained according to the color difference among pixel blocks. Pixel is a basic unit of an image. The difference between a pixel and its surroundings in color can partly determine if the pixel is contained in the salient area. According to this rule, we use pixel block instead of pixel to compute the color difference among pixel blocks and combine the distance among pixel blocks to obtain a color contrast map. Second, K-means clustering of the image according to color feature is performed. The filtered image is classified into M classes according to the features in LAB space, and the initial color space distribution of each class is computed on the basis of the compactness of spatial distribution and the uniformity of color distribution. The spatial color distribution of each class is mapped to super-pixel blocks, and the color space distribution map is further optimized to avoid the lack of spatial information in the clustering results. Third, the color contrast map is combined with the feature map of the image color spatial distribution to obtain the final saliency map. Result Our method is compared with several popular detection algorithms on a public image test database called MSRA-1000. Experimental results demonstrate that the saliency map obtained in this study is accurate and complete, which illustrates the effectiveness of the proposed method. The resulting precision-recall and receiver operating characteristic curves show that the proposed method has high accuracy under the same recall rate or the same false positive rate. Conclusion The proposed algorithm combines SLIC super-pixel segmentation and K-means clustering, which optimizes the advantages of the two methods and reduces time complexity. However, the proposed method still has some shortcomings. For example, the color space distribution of images with a complex color distribution may not be good enough, which will result in an incomplete final saliency map. Improvement of the proposed algorithm will concentrate on general applications.
Key words
saliency detection; simple linear iterative clustering (SLIC); super-pixel segmentation; K-means clustering; image color contrast; space distribution
0 引言
图像的显著性检测是将图像中最重要的、包含丰富信息的区域标记出来。显著性检测在图像分割、图像压缩、图像检索、目标识别等领域具有重要应用，对于图像的理解及处理有着重要的应用价值。同时，信息技术的快速发展也使得大量图像作为信息载体，面对如此庞大的图像资源，如何快速准确地从中检索到人们想要关注的信息是一个极其重要的课题。研究发现[1-2]，人类的视觉系统具有视觉选择性能力，当面对一个复杂场景时，人类能够自动地对感兴趣区域进行处理而选择性地忽略其他区域。人类的视觉注意机制主要分为两种，即自底向上策略注意机制和自顶向下策略注意机制。针对前者的算法利用图像的颜色、亮度、边缘等特征表示，通过目标区域和它周围像素的特征表示之间的差异来提取图像中的显著区域，计算速度比较快；而基于后者的算法主要针对图像的特定特征来计算图像的显著性区域，通常有任务驱动，但计算速度较慢。
图像的显著性检测算法已有大量研究成果，目前所检测的显著性大多是不确定的、无目标的区域，因此大多数的算法均为自底向上模型。其中，最早由Itti[3]提出的著名的生物启发模型，根据视觉系统的行为和神经网络结构，提取图像的亮度、颜色以及方向特征，利用中心—周边差来得到图像在不同尺度下的特征图，并对特征图作线性融合计算得到最终的显著图。Jonathan等人[4]提出了在ITTI模型的基础上进行的基于图论的GBVS算法，该算法采用ITTI的特征提取方法，把像素点(或者图像块)作为节点并计算节点间的差异得到一个带权无向图，最后利用Markov链计算最终的显著图。Achanta等人[5]提出的AC算法中，显著性被定义为图像区域相对于其在多尺度下的邻域的局部对比度，是一种全分辨算法，可得到清晰的边界信息。文献[6]提出的LC算法，通过计算每个像素与其余像素灰度信息的差异来得到显著图，但缺少色彩信息。Hou等人[7]从频域角度提出了频谱差法SR，利用图像的傅里叶频谱与平均频谱之差做反傅里叶变换得到显著图。若显著目标尺寸较小，检测效果会比较好，但显著图没有清晰边界。Achanta等人[8]提出一种基于DOG算子的频域调制算法FT，该算法利用图像在LAB色彩空间中每个通道与色彩均值之差，可得到全局对比度的显著图。Cheng等人[9]提出了基于全局对比度的检测方法。该方法对量化后的图像建立颜色直方图，通过计算每种颜色与其他颜色之间的差异度来获取直方图对比度(HC)。利用上述直方图把图像分割为不同的颜色块，再组合空间关系来计算每个区域的显著值(RC)，最后得到基于区域对比度的显著图。郭迎春等人[10]将图像分成多个子块，在多个尺度下计算每个子块的局部特征和区域特征，利用这些特征进行自然图像的显著性检测。陈昶安[11]，扈婧乔等人[12]分别考虑了3维浮雕模型的视觉显著性和动态视频的显著性检测，是图像显著性问题的推广应用。林晓[13]提出改进已有的贝叶斯模型的显著性检测算法，解决目前显著性检测算法的准确性问题，提高了显著度图的视觉效果。
随着深度学习近几年的快速发展，出现了一些将深度学习应用到图像显著性检测上的方法[14-16]，这些方法若想得到较好的显著性结果需要在大量数据集上进行较长时间的训练。大部分自底向上的图像显著性检测算法都是基于像素，利用像素间的颜色等属性差异计算显著度。FT算法[8]在像素组成的矩阵中进行简单的加减，运算时间复杂度为O(
本文针对现有的图像显著性检测算法存在的不足，例如：显著目标检测结果不完整，无法检测出与背景颜色相似的部分目标区域等问题，提出了一种新的图像显著性检测算法，根据图像的颜色对比度和颜色空间分布，设计了一种基于超像素分割与聚类相结合的图像显著性检测方法。本文方法具有O(
1 预备知识
本文方法中使用了图像的滤波算法、K-means聚类算法及SLIC超像素分割来进行图像显著性的检测，这一节中对算法涉及的这些相关知识进行简要介绍。
1.1 平滑滤波
平滑滤波是将低频增强的一种空间域滤波技术，空间域的平滑滤波一般采用简单的平均，在图像处理中就是求邻近像素点的平均颜色值。邻域的大小与平滑的效果直接相关，邻域越大平滑效果越好，但邻域过大，平滑会使边缘信息损失的越多，从而使输出的图像变得模糊，因此需合理选择邻域的大小。图像中或多或少存在着对计算造成影响的噪声，因此，本文方法需借助平滑滤波为图像进行去噪处理。图 2(b)是使用大小为3×3的高斯低通滤波器进行滤波的效果。
1.2 K-means聚类算法
聚类算法可以把图像分成几个在某一个或者某几个特征上相似的类，以便对数据进行高效处理。聚类分析的基本原理很简单，即在无先验知识的情况下，将一个数据集划分成多个类，使得同一个类中数据对象的特征较为相似，而不同类之间的数据对象特征差异较大。K-means聚类算法是众多聚类算法中应用最为广泛的算法之一，因其算法原理简单、易于实现、聚类收敛性较好。K-means聚类算法把数据划分成
| $ J\left( {{c_k}} \right) = \sum\limits_{{x_i} \in {c_k}} {{{\left\| {{x_i} - {\mu _k}} \right\|}^2}} $ | (1) |
式中，
使用图像的颜色特征进行聚类，颜色特征即指CIE LAB颜色空间中的l、a、b这3个分量。图 2(c)是使用K-means聚类算法聚类的效果图。从图 2中可以看出，每个类中的像素点都是最近似的，从一定程度上为图像做了简单的有效分割，为图像分布性的计算做了良好的分割基础。
1.3 SLIC超像素分割
超像素以相对简单的格式表示图像并能减少图像的冗余，同时每个超像素块具有相同的性质，因此在显著性检测中，超像素网格比像素点网格更有用。在本文方法中超像素图像分割作为基础的预处理，将图像分成不同大小的像素块，继而计算像素块的显著度和生成最终图像像素点的显著图，本文采用的是SLIC超像素生成方法。
SLIC指简单线性迭代分割算法，该算法基于K-means聚类的设计，但K-means的搜索空间是整个图像，而SLIC中的搜索空间被限制到与超像素尺寸成比例的区域，而这也使得它的聚类速度比K-means更快。该算法根据图像的CIE LAB颜色空间和2维坐标(
| $ {d_{\rm{c}}} = \sqrt {{{\left( {{l_j} - {l_i}} \right)}^2} + {{\left( {{a_j} - {a_i}} \right)}^2} + {{\left( {{b_j} - {b_i}} \right)}^2}} $ | (2) |
| $ {d_{\rm{s}}} = \sqrt {{{\left( {{x_j} - {x_i}} \right)}^2} + {{\left( {{y_j} - {y_i}} \right)}^2}} $ | (3) |
| $ D' = \sqrt {{{\left( {\frac{{{d_{\rm{c}}}}}{{{N_{\rm{c}}}}}} \right)}^2} + {{\left( {\frac{{{d_{\rm{s}}}}}{{{N_{\rm{s}}}}}} \right)}^2}} $ | (4) |
式中，
SLIC算法可以有效地将图像分割为大小和形状不同但又近似均匀的超级像素块，图 2(d)是使用SLIC算法分割的效果图。从图 2中可以看出，超像素块的边界很大程度上贴近了原图像中的物体边界，每个超像素块不仅包含底层的颜色、方向、亮度信息，而且还包含整个图像的结构信息。使用超像素块作为基本单位来进行显著性检测可保证物体边界计算的准确性。
2 显著性检测方法
本文所提出的显著性检测方法主要包括3个步骤：颜色对比度计算、颜色空间分布性计算和显著图的融合。对于待检测的图像，首先采用2.1节中的平滑滤波技术进行平滑处理，然后计算平滑后图像的显著图，详细步骤图如图 3，图 4所示。算法流程图见图 5。值得注意的是，本文方法与文献[21]都对图像进行了超像素分割的预处理，但不同的是，文献[21]采用基于区域协方差的超像素生成方法，并利用区域之间的协方差矩阵作为特征，结合像素块和像素点求取最终的显著图，但最终得到的显著图细节上有不完整的现象。
2.1 颜色对比度计算
像素是图像的基本单位，一个像素点是否位于显著性区域内取决于像素点与其周围环境的差异，差异越大就越有可能是一个显著点，已有的大量工作都是利用此对比进行显著性检测。基于对比度的算法有全局对比度和局部对比度两类，本文基于局部对比度。在颜色对比度的基础上，通过考虑像素点之间的欧氏距离来调节权重，在文献[22]中，作者采用像素点到图像中心的空间距离，得到了较为准确的检测结果。在本文方法中利用超像素块作为基本元素来进行计算，以提高计算效率。
假设图像被划分为
| $ {R_i} = \sum\limits_{j = 1}^N {\left\| {{\mathit{\boldsymbol{c}}_i} - {\mathit{\boldsymbol{c}}_j}} \right\| \cdot P\left( {{p_i},{p_j}} \right)} $ | (5) |
| $ \left\| {{\mathit{\boldsymbol{c}}_i} - {\mathit{\boldsymbol{c}}_j}} \right\| = {\rm{sqrt}}\left( \begin{array}{l} {\left( {{l_i} - {l_j}} \right)^2} + \\ {\left( {{a_i} - {a_j}} \right)^2} + \\ {\left( {{b_i} - {b_j}} \right)^2} \end{array} \right) $ | (6) |
| $ P\left( {{p_i},{p_j}} \right) = \frac{1}{{{Z_i}}}\exp \left( { - \frac{1}{{2\sigma _P^2}}\left\| {{p_i} - {p_j}} \right\|} \right) $ | (7) |
| $ \left\| {{p_i} - {p_j}} \right\| = {\rm{sqrt}}\left( {{{\left( {{x_i} - {x_j}} \right)}^2} + {{\left( {{y_i} - {y_j}} \right)}^2}} \right) $ | (8) |
式中，
2.2 颜色空间分布的计算
图像的背景通常分布于整个图像，具有相似性、重复性和占比大等特点，而图像的显著性区域是异于周围环境的一个或多个独立目标，相对比较紧凑，因此具有一定的稀疏性。颜色对比图显著的区域并不一定是显著区域(图 4)。所以，除了颜色对比度外还需定义第2个度量标准，即颜色空间分布。本文方法中使用K-means聚类算法，根据颜色特征把图像分成几个类，不同类之间特征差异较大，因此便于计算每个类的空间分布情况，即不同颜色的分布。根据像素的空间分布特征来分析独立的目标区域，图像颜色空间分布越广的类越可能是背景区域，图像颜色空间分布越窄的类是显著目标的可能性就越大。对于部分显著目标在图像中心，图像周围依然存在紧凑的目标，这种目标是次显著的或者是不显著的，对于这种情况可以在后期用中心原则去除。
由于K-means聚类时种子的随机性很大，为了增强鲁棒性，本文采用正六边形排版。种子个数影响着聚类的效果，本文种子个数取10，即把图像分成10个类或者说分成10种颜色分量，这样既能减少计算量又能保证足够的聚类精度。
2.2.1 初步颜色空间分布
颜色的空间分布情况是由此颜色在图像中的扩散程度而定，颜色的空间分布值越大该颜色区域越可能是背景，显著性越低。颜色的空间分布值越小该颜色区域是独立的目标的概率越大，显著性越高。聚类后图像按照颜色分成不同的类，每个类的颜色空间方差可表示该类中颜色的位置到该类中心位置的距离，因此可用类内空间方差表示类内颜色的扩散程度。同理，类与类之间的空间方差可以表示类内颜色所在位置对其他所有类中心位置的偏离程度。结合类内空间方差和类间空间方差可以双重抑制扩散程度最大的类，增强靠近图像中心的类的显著性，同时还能保持图像四周的显著性目标。此外，类内的颜色方差可表示类内颜色的相似性。一般情况下显著性目标的颜色比较集中，类内颜色的高相似性可以提高此类的显著性。结合上述3个特征可得到初步的颜色空间分布图，颜色分量
| $ {D_i} = {\left[ \begin{array}{l} \exp \left( { - V_i^{{\rm{in}}}} \right) \cdot \exp \left( { - V_i^{{\rm{out}}}} \right) + \\ \frac{{1 - \left( {\exp \left( { - V_i^{\rm{c}}} \right)} \right)}}{{2 \cdot \sigma _d^2}} \end{array} \right]^2} $ | (9) |
| $ V_i^{{\rm{in}}} = \frac{{\sum\limits_{{p_i} \in cl\left( i \right)} {{{\left\| {{p_i} - c_i^p} \right\|}^2}} }}{{n\left( i \right)}} $ | (10) |
| $ V_i^{{\rm{out}}} = \sum\limits_{j = 1}^M {\frac{{\sum\limits_{{p_i} \in cl\left( i \right)} {{{\left\| {{p_i} - c_i^p} \right\|}^2}} }}{{n\left( i \right)}}} $ | (11) |
| $ V_i^{\rm{c}} = \frac{{\sum\limits_{{p_i} \in cl\left( i \right)} {{{\left\| {{c_i} - c_i^c} \right\|}^2}} }}{{n\left( i \right)}} $ | (12) |
式中，
在计算过程中，相关因子均进行归一化处理。其中，类内空间方差和类间空间方差是与显著性成反比，所以借助指数函数归一化使得数值范围从[0, 1]变成[1, 0]，类内颜色方差与显著性成正比。这里采用高斯权值为类内颜色方差分配权重，本文实验中
2.2.2 颜色分布优化
由聚类得出每个类的颜色空间分布值之后，需要与超像素分割结果结合再一次进行优化。利用K-means聚类时，只考虑了分布在图像中的颜色簇，忽略了颜色之间的邻接关系。根据每个超像素的位置和初步的颜色空间分布图，每个超像素值为初步的颜色空间分布图上相应位置像素点的平均灰度值，下面统称为初步分布值，把值赋给一个超像素，得到和颜色对比度中预分割相同形状的基于超像素的颜色空间分布图。每个超像素的初步分布值
| $ {K_i} = \frac{{\sum\limits_{{p_i} \in sl\left( i \right)} {{c_i}} }}{{n\left( i \right)}} $ | (13) |
为了优化部分应属于颜色空间分布图的超像素块，需计算每个超像素块与其相邻超像素块的颜色差，差异越小说明两个超像素块越相似，应赋予相似的灰度值，再结合它们在初步颜色空间分布图中的初步分布值得到优化后的颜色空间分布图，定义区域
| $ {{D'}_i} = \left( {\sum\limits_{j = 1}^{{U_i}} {\exp \left( { - C\left( {{c_i},{c_j}} \right)} \right) \cdot {K_j}} } \right) \cdot {K_i} $ | (14) |
式中，
2.3 显著图的融合
SLIC超像素分割结果是相似均匀的区域，保证了每个区域内部像素点的空间分布。而K-means聚类只保证了类中的像素点颜色值的相似性，并没有考虑这些像素点的空间分布。颜色分布图的优化结果较好反映了图像的显著性，但对某些情形，颜色分布图无法较好的体现图像的显著性区域，与颜色对比度图的结合能更好地提取图像的显著性区域如图 4所示。本文方法结合了图像的空间分布和颜色分布性特征，将颜色对比度图和优化后的颜色空间分布图融合，得到最终的显著图。有效地提取了图像的显著性区域，并且降低了运算的时间复杂度。因此本文方法不仅放大了两者的优点也弥补各自的缺点，这是本文方法最大的优势。归一化上述两者的计算结果到[0, 1]区间。最终的显著图与颜色对比度图和颜色空间分布图成正比关系，因此区域
| $ {S_i} = {R_i} \cdot {{D'}_i} $ | (15) |
由于颜色空间分布值和颜色对比值都能够部分反映图像的显著性，颜色对比图和颜色空间分布图是两个灰度图，若某个特征图中像素点处的灰度值为零，从式(15)可得出，最后的显著图中相应的结果为零。融合两个特征图可以使得最后的结果得到互补。
3 实验分析
为验证本文方法的准确性和有效果性，实验的数据集为公开的图像数据库MSRA-1000，并带有人工精确标注的二值化显著图。实验的运行环境是windows 7(32 bit)下的普通PC机，处理器为XeonE3-1231 v3，32 GB内存DDR3 ECC，用MATLAB R2014a实现本文方法。本文方法得到实验效果并与经典的ITTI[3]、GBVS[4]、SR[7]、LC[6]、FT[8]、CA[23]以及RC[9]方法做了比较分析。图 6展示了不同方法的显著性检测结果。从图 6可以看出，本文方法相比于经典方法，其结果有了明显地提高。本文方法的适用性很广，不仅适用于较大的显著目标，还可检测位于图像边缘的显著目标(见图 4)，同时也可检测出复杂背景下的显著目标，特别对于与背景颜色相近的显著目标检测本文方法有很大优势。
为了更加客观地评价本文方法的有效性，计算了以上几种经典方法以及本文方法的ROC(receiver operating characteristic)曲线，
| $ TPR = \frac{{TP}}{{TP + FN}} $ | (16) |
| $ FPR = \frac{{FP}}{{FP + TN}} $ | (17) |
| $ P = \frac{{TP}}{{TP + FP}} $ | (18) |
| $ R = \frac{{TP}}{{TP + FN}} $ | (19) |
式中，
F-measure测量值是在准确率和召回率的基础上计算而得，可综合评价测试结果，其定义为
| $ F = \frac{{\left( {1 + {\beta ^2}} \right) \cdot P \cdot R}}{{{\beta ^2} \times P + R}} $ | (20) |
式中，
为了得到不同阈值下的Precision、Recall、TPR和FPR，设定阈值从0逐步增加到255(共20组)，计算了各方法在1 000幅图像上的Precision、Recall、TPR和FPR均值，图 7为PR曲线图，图 8为ROC曲线图。为计算在固定阈值下的F-measure，本文对每种显著性检测方法所得显著图计算其自适应阈值进行二值化分割，每个显著图的自适应阈值为自身灰度均值的2倍。在MSRA测试数据库里1 000幅图像上得出图像在各自阈值下二值图的Precision、召回率以及F-measure。图 9展示了各算法Precision、召回率、F-measure柱状图。
综合上述3种客观评价标准，可看出本文方法优于所比较的其他算法。由图 7可以看出，在相同召回率的情况下，本文方法的准确率更高。在相同假阳性率的情况下，本文方法的准确率同样比其他方法更高，如图 8所示。并且从图 9可以看出，RC方法的准确率与本文方法相差不大，但召回率较低，这是因为RC方法只能加强部分目标的显著性。与之相比，本文方法在保证较高准确率的情况下，也能保证较高的召回率。得到相比于其他算法更高的F-measure值。该实验表明，本文方法的总体效果最好，可准确地检测图像中的显著性目标。并且图 1的算例表明在背景与显著目标相似的图像上，本文方法检测结果明显优于其他方法。
图 10展示了本文方法与同样利用超像素分割的SF[24]方法以及基于深度学习的图像显著性检测方法[25]的比较，测试图的来源包含其他数据库。基于深度学习的显著性检测需要大量的数据集来学习，因此其显著性检测结果通常比基于对比度的结果更加准确，并且可以检测出复杂场景中的显著目标。而图 10中所示的本文方法得到了并不逊色的结果，由此也进一步说明了本文方法的有效性。
但是，本文方法也存在一定的不足和局限性。当部分显著性目标与背景颜色相同或相近时，颜色的空间分布的求取结果不够理想，部分显著区域会分类为背景。图像背景颜色跳跃度大，或部分背景区域颜色亮度比较高，会对最终的显著性结果产生影响。图 11展示了部分失败的算例。
4 结论
根据图像的颜色对比度和颜色空间分布性，提出一种基于超像素分割与聚类相结合的图像显著性检测方法。颜色对比度所检测出的非显著性区域，可利用颜色空间分布性进行纠正，从而得出准确的显著图。对于和背景颜色相近的显著目标也能得到较为理想的检测结果。在测试数据集MSRA 1000上与ITTI、GBVS、SR、LC、FT、CA以及RC等经典的显著性检测方法进行了对比实验分析，实验数据表明，本文方法的平均准确率，召回率，F-measure值均优于其他方法。但由于算法中反复使用超像素和聚类块进行计算，因此算法的运算速度偏低并且导致显著图不够光滑，将来的工作可以考虑利用频域进行计算速度的提高，并对显著图采样到点来得到分辨率较高的结果。除此之外，还将考虑把空间信息引入到聚类分割中，提高聚类分割结果的精确度。同时还将继续探索研究复杂目标的显著性检测算法以提高算法的鲁棒性。
参考文献
-
[1] Desimone R, Duncan J. Neural mechanisms of selective visual attention[J]. Annual Review of Neuroscience, 1995, 18: 193–222. [DOI:10.1146/annurev.ne.18.030195.001205]
-
[2] Mannan S K, Kennard C, Husain M. The role of visual salience in directing eye movements in visual object agnosia[J]. Current Biology, 2009, 19(6): R247–R248. [DOI:10.1016/j.cub.2009.02.020]
-
[3] Itti L, Koch C, Niebur E. A Model of saliency-based visual attention for rapid scene analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(11): 1254–1259. [DOI:10.1109/34.730558]
-
[4] Jonathan Harel, Christof Koch, Pietro Perona. Graph-based visual saliency[C]//Proceedings of 20th Advances in Neural Information Processing Systems. Vancouver, British Columbia, Canada: NIPS, 2006: 545-552.
-
[5] Achanta R, Estrada F, Wils P, et al. Salient region detection and segmentation[C]//Proceedings of the 6th International Conference on Computer Vision Systems. Santorini, Greece: Springer, 2008: 66-75. [DOI:10.1007/978-3-540-79547-6_7]
-
[6] Zhai Y, Shah M. Visual attention detection in video sequences using spatiotemporal cues[C]//Proceedings of the 14th ACM International Conference on Multimedia. Santa Barbara, CA, USA: ACM, 2006: 815-824. [DOI:10.1145/1180639.1180824]
-
[7] Hou X D, Zhang L Q. Saliency detection: a spectral residual approach[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Minneapolis, MN: IEEE, 2007: 1-8. [DOI:10.1109/CVPR.2007.383267]
-
[8] Achanta R, Hemami S, Estrada F, et al. Frequency-tuned salient region detection[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Miami, FL: IEEE, 2009: 1597-1604. [DOI:10.1109/CVPR.2009.5206596]
-
[9] Cheng M, Zhang G, Mitra N J, et al. Global contrast based salient region detection[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2011: 409-416.
-
[10] Guo Y C, Yuan H J, Wu P. Image saliency detection based on local and regional features[J]. Acta Automatica Sinica, 2013, 39(8): 1214–1224. [郭迎春, 袁浩杰, 吴鹏. 基于Local特征和Regional特征的图像显著性检测[J]. 自动化学报, 2013, 39(8): 1214–1224. ] [DOI:10.3724/SP.J.1004.2013.01214]
-
[11] Chen C A, Wu X F, Wang B, et al. Video saliency detection using dynamic fusion of spatial-temporal features in complex background with disturbance[J]. Journal of Computer-Aided Design & Computer Graphics, 2016, 28(5): 802–812. [陈昶安, 吴晓峰, 王斌, 等. 复杂扰动背景下时空特征动态融合的视频显著性检测[J]. 计算机辅助设计与图形学学报, 2016, 28(5): 802–812. ] [DOI:10.3969/j.issn.1003-9775.2016.05.013]
-
[12] Hu J Q, He S, Lyu L. Placement optimization for generating bas-reliefs based on visual saliency[J]. Journal of Computer-Aided Design & Computer Graphics, 2016, 28(12): 2128–2133. [扈婧乔, 何莎, 吕琳. 考虑视觉显著性的模型浅浮雕位置优化算法[J]. 计算机辅助设计与图形学学报, 2016, 28(12): 2128–2133. ] [DOI:10.3969/j.issn.1003-9775.2016.12.012]
-
[13] Lin X, Wang Y L, Zhu H L, et al. Saliency detection based on the Bayesian model of improved convex hull[J]. Journal of Computer-Aided Design & Computer Graphics, 2017, 29(2): 221–228. [林晓, 王燕玲, 朱恒亮, 等. 改进凸包的贝叶斯模型显著性检测算法[J]. 计算机辅助设计与图形学学报, 2017, 29(2): 221–228. ] [DOI:10.3969/j.issn.1003-9775.2017.02.002]
-
[14] Wang L J, Lu H C, Ruan X, et al. Deep networks for saliency detection via local estimation and global search[C]//Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA: IEEE, 2015: 3183-3192. [DOI:10.1109/CVPR.2015.7298938]
-
[15] Kruthiventi S S S, Gudisa V, Dholakiya J H, et al. Saliency unified: a deep architecture for simultaneous eye fixation prediction and salient object segmentation[C]//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV: IEEE, 2016: 5781-5790. [DOI:10.1109/CVPR.2016.623]
-
[16] Wang Q S, Zheng W, Piramuthu R. GraB: visual saliency via novel graph model and background priors[C]//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV: IEEE, 2016: 535-543. [DOI:10.1109/CVPR.2016.64]
-
[17] Ren Z X, Hu Y Q, Chia L T, et al. Improved saliency detection based on superpixel clustering and saliency propagation[C]//Proceedings of the 18th ACM International Conference on Multimedia. Firenze, Italy: ACM, 2010: 1099-1102.
-
[18] MacQueen J. Some methods for classification and analysis of multivariate observations[C]//The 5th Berkeley Symposium on Mathematical Statistics and Probability. Berkeley, California: University of California Press, 1967: 281-297.
-
[19] Achanta R, Shaji A, Smith K, et al. SLIC superpixels compared to state-of-the-art superpixel methods[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(11): 2274–2282. [DOI:10.1109/TPAMI.2012.120]
-
[20] Yang C, Zhang L H, Lu H C, et al. Saliency detection via graph-based manifold ranking[C]//Proceedings of 2013 IEEE Conference on Computer Vision and Pattern Recognition. Portland, OR: IEEE, 2013: 3166-3173.
-
[21] Zhang X D, Lyu Y Y, Miao Y W, et al. Image saliency detection using regional covariance analysis[J]. Journal of Image and Graphics, 2016, 21(5): 605–615. [张旭东, 吕言言, 缪永伟, 等. 结合区域协方差分析的图像显著性检测[J]. 中国图象图形学报, 2016, 21(5): 605–615. ] [DOI:10.11834/jig.20160508]
-
[22] Duan L J, Wu C P, Miao J, et al. Visual saliency detection by spatially weighted dissimilarity[C]//Proceedings of 2011 IEEE Conference on Computer Vision and Pattern Recognition. Providence, RI: IEEE, 2011: 473-480. [DOI:10.1109/CVPR.2011.5995676]
-
[23] Goferman S, Zelnik-Manor L, Tal A. Context-aware saliency detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(10): 1915–1926. [DOI:10.1109/TPAMI.2011.272]
-
[24] Perazzi F, Krahenbuhl P, Pritch Y, et al. Saliency filters: contrast based filtering for salient region detection[C]//Proceedings of 2012 IEEE Conference on Computer Vision and Pattern Recognition. Providence, RI: IEEE, 2012: 733-740. [DOI:10.1109/CVPR.2012.6247743]
-
[25] Tu W C, He S F, Yang Q X, et al. Real-time salient object detection with a minimum spanning tree[C]//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV: IEEE, 2016: 2334-2342.
