0 引言

1 基于深度特征和多核学习的算法

本文算法的总体流程如图 1所示：1)对输入图像进行多尺度超像素分割；2)根据流形排序算法进行显著性扩散，构建弱显著性图；3)通过卷积神经网络进行多尺度图像的深度特征提取；4)根据弱显著性图得到正负训练样本集合，采用多核增强学习得到一个强分类器；5)将此强分类器作用在每个尺度图像的所有测试样本集合上；6)将得到的多尺度显著性图线性加权融合得到强显著性图；7)对超像素级的强显著性图进行像素级的显著性更新，得到最终的显著性图。

图 1 基于深度特征和多核增强学习的算法整体流程图

Fig. 1 Overall pipeline of our proposed algorithm based on deep features and multiple kernel boosting learning

1.1 多尺度超像素分割

1.2 弱显著性检测模型

1.3 强显著性检测模型

1.3.1 深度特征提取

1.3.2 训练数据集获取

1.3.3 多核SVM增强学习优化

1.4 强显著性图的像素级更新

强显著性图${\mathit{\boldsymbol{S}}_{\rm{S}}}$是超像素级的，即同一超像素内的所有像素具有相同的显著度值。为了提高像素间的空间联系，本文算法使用全连接的条件随机场(CRF)^[30]模型执行像素级的显著性更新。根据像素间的颜色差异和位置距离，确定每一个像素的最终显著值。全连接的CRF模型将显著性图的像素级更新问题转化为二值标签问题

$ E(L) = - \sum\limits_i {\lg } P\left( {{l_i}} \right) + \sum\limits_{i, j} {{\theta _{ij}}} \left( {{l_i}, {l_j}} \right) $

(8)

式中，$L$表示每个像素的二值标签，$P(l_{i})$表示像素$x_{i}$被赋予标签$l_{i}$的概率，即像素$x_{i}$的显著性概率。初始化计算时，$P(1)=Sal_{i}$，$P(0)=1-Sal_{i}$，$Sal_{i}$是像素$x_{i}$在强显著性图${\mathit{\boldsymbol{S}}_{\rm{S}}}$中的显著值。$θ_{ij}(l_{i}, l_{j})$定义为

$ \begin{array}{l} {\theta _{ij}} = \mu \left( {{l_i}, {l_j}} \right)\left[ {{\omega _1}\exp \left( { - \frac{{{{\left\| {{p_i} - {p_j}} \right\|}^2}}}{{2\sigma _\alpha ^2}} - \frac{{{{\left\| {{I_i} - {I_j}} \right\|}^2}}}{{2\sigma _\beta ^2}}} \right) + } \right.\\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\left. {{\omega _2}\exp \left( { - \frac{{{{\left\| {{p_i} - {p_j}} \right\|}^2}}}{{2\sigma _\gamma ^2}}} \right)} \right] \end{array} $

(9)

式中，$l_{i}≠l_{j}$时，$μ(l_{i}, l_{j})=1$，$p_{i}$表示像素$x_{i}$的位置，$I_{i}$表示像素$x_{i}$的颜色。参数$σ_{α}$和$σ_{β}$控制算法对空间距离和颜色相似度的敏感度。式(8)的第1个指数项使得颜色差和空间距离较为接近的像素具有相似的显著度值，第2个指数项用于去除孤立的小区域，参数$σ_{γ}$用于控制高斯核的尺度。本文实验中，各个参数取值为：$w$1=3，$w$2=5，$σ_{α}$=3，$σ_{β}$=50，$σ_{γ}$=3。

图 2是本文算法各个阶段生成的显著性图的比较，弱显著性图(图 2(c))粗糙地确定了图像的显著目标与背景区域的大概位置；强显著性图(图 2(d))则利用弱显著性图得到的显著目标和背景信息进行学习，进一步凸显前景目标并抑制背景信息；强显著性图以超像素为基本单元进行显著性分配，在均匀高亮目标方面存在不足，因此采用基于像素级的更新方法得到的最终显著性图(图 2(e))性能更好。

图 2 显著性检测过程示意图

Fig. 2 Saliency detection process diagram

((a) input image; (b) ground truth; (c) weak saliency map; (d) strong saliency map; (e) refined pixel-level saliency map)

2 实验结果与分析

2.1 算法检测性能的客观定量评估

所提算法与近年来具有代表性的11种算法分别在3个数据集上进行测试评估。图 3是12种算法分别在3个数据集上的F-measure值、wF-measure值和覆盖率OR值的比较结果。图 4是12种算法分别在3个数据集上的MAE值比较图。图 5是12种算法分别在3个数据集上的PR曲线比较图。

图 3 不同算法在3个数据集上的F-measure、加权F-measure和OR值比较

Fig. 3 Quantitative comparison of saliency maps on three datasets in terms of F-measure, wF-measure and OR

((a) ECSSD; (b) MSRA5K; (c) SOD)

图 4 不同算法在MSRA5K、ECSSD和SOD数据集上的MAE值比较

Fig. 4 Quantitative comparison of saliency maps on MSRA5K, ECSSD and SOD in terms of MAE scores

图 5 不同算法在不同数据集上的PR曲线比较

Fig. 5 Quantitative comparison of saliency maps on three datasets in terms of PR curves ((a) ECSSD; (b) MSRA5K; (c) SOD)

由图 3—图 5可知，本文算法在PR曲线、F-measure值，wF-measure值、OR值和MAE值上较传统的基于手工特征的显著性检测算法有较大的性能提升，这主要是由于本文在强显著性图的计算中，利用现有的CNN网络引入了深度特征，更好地描述了图像的语义信息。而本文算法较近两年具有代表性的基于CNN训练的检测算法存在不足，主要原因在于：1)考虑到计算时间，使用了结构简单的AlexNet提取特征。可使用更深更宽的CNN替代AlexNet提取特征以进一步提升性能，如VGGNet和ResNet等；2)所提模型未针对显著性检测任务训练新的CNN，仅利用AlexNet进行深度特征提取，AlexNet是用于物体识别的CNN，而ELD和NLDF均在现有的CNN网络基础上，针对显著性检测任务，设计了新的网络结构并进行训练学习。在今后的工作中，将研究设计全新网络以提升检测性能。

2.2 算法的主观视觉比较

将本文算法与MR、PCA、MSS、RBD、BL、LPS、RR、BSCA和SMD算法进行直观的视觉检测效果比较，结果如图 6所示。相对于其他算法而言，对于纹理背景(图 6第4行)或背景较为杂乱(图 6第2和第3行)的图像，本文算法能有效抑制背景信息且较完整突出显著目标；对于显著目标尺寸较大(图 6第1行)或者多显著目标(图 6第5行)图像，本文算法也具有较好的检测能力；而在处理前景背景对比度较低的图像(图 6第6行)时，本文算法亦能保持健壮性。

图 6 不同算法检测效果的直观视觉比较

Fig. 6 Visual comparisons of saliency maps produced by different approaches ((a) input images; (b) ground truth; (c) MR; (d) PCA; (e) MSS; (f) RBD; (g) BL; (h) LPS; (i) RR; (j) BSCA; (k) SMD; (l) ours)

2.3 算法各组成模块分析

图 7是所提算法生成的弱显著性图、超像素级的强显著性图和更新后的像素级的显著性图在3个数据集上的PR曲线。从图 7可以看出，弱显著性图PR性能较差，更新后的显著性图PR性能最优，表明本文利用已训练的深度神经网络提取深度特征、结合多个核函数训练SVM以及基于像素级的显著性更新步骤的有效性。

图 7 本文算法各个步骤在各数据集上的PR曲线比较

Fig. 7 Quantitative comparison of different component of proposed algorithm on different datasets in terms of PR curves

((a) ECSSD; (b) MSRA5K; (c) SOD)

2.4 运行时间分析

表 1是10种算法的平均检测时间比较。本文算法直接从图像中获取测试样本，且利用已训练的CNN获取深度特征，因而省去了离线训练和繁琐的数据集人工标注过程。在一幅300×400像素的图像上，大约需要5.6 s处理时间。由于在强显著性图生成步骤中采用了多尺度计算，因而采用更有效的编程语言进行并行计算将降低计算时间，使之更具实用性。综合上述的量化评价指标和主观视觉效果，本文算法具有优势。

表 1 算法的运行时间比较
Table 1 Comparisons of running time

下载CSV

算法	时间/s	计算机语言
MR	0.94	MATLAB
PCA	3.03	C
MSS	1.01	MATLAB
RBD	0.23	MATLAB
BL	16.94	MATLAB
LPS	1.47	MATLAB
RR	2.73	MATLAB
BSCA	1.02	MATLAB
SMD	0.74	MATLAB+C
本文	5.6	MATLAB+C

3 结论

参考文献

[1] Zhao R, Ouyang W, Wang X G. Person re-identification by saliency learning[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(2): 356–370. [DOI:10.1109/TPAMI.2016.2544310]
[2] Zhang F, Du B, Zhang L P. Saliency-guided unsupervised feature learning for scene classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2015, 53(4): 2175–2184. [DOI:10.1109/TGRS.2014.2357078]
[3] Yang X Y, Qian X M, Xue Y. Scalable mobile image retrieval by exploring contextual saliency[J]. IEEE Transactions on Image Processing, 2015, 24(6): 1709–1721. [DOI:10.1109/TIP.2015.2411433]
[4] Sun M, Farhadi A, Taskar B, et al. Salient montages from unconstrained videos[C]//Proceedings of the 13th European Conference on Computer Vision. Zurich, Switzerland: Springer, 2014: 472-488.[DOI:10.1007/978-3-319-10584-0_31]
[5] Cheng M M, Mitra N J, Huang X L, et al. Global contrast based salient region detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(3): 569–582. [DOI:10.1109/TPAMI.2014.2345401]
[6] Li C Y, Yuan Y C, Cai W D, et al. Robust saliency detection via regularized random walks ranking[C]//Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA, USA: IEEE, 2015: 2710-2717.[DOI:10.1109/CVPR.2015.7298887]
[7] Tong N, Lu H C, Ruan X, et al. Salient object detection via bootstrap learning[C]//Proceedings of 2005 IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA, USA: IEEE, 2015: 1884-1892.[DOI:10.1109/CVPR.2015.7298798]
[8] Zhou X F, Liu Z, Sun G L, et al. Improving saliency detection via multiple kernel boosting and adaptive fusion[J]. IEEE Signal Processing Letters, 2016, 23(4): 517–521. [DOI:10.1109/LSP.2016.2536743]
[9] Yan Q, Xu L, Shi J P, et al. Hierarchical saliency detection[C]//Proceedings of 2013 IEEE Conference on Computer Vision and Pattern Recognition. Portland, OR, USA: IEEE, 2013: 1155-1162.[DOI:10.1109/CVPR.2013.153]
[10] Tong N, Lu H C, Zhang L H, et al. Saliency detection with multi-scale superpixels[J]. IEEE Signal Processing Letters, 2014, 21(9): 1035–1039. [DOI:10.1109/LSP.2014.2323407]
[11] Zhang Q, Lin J J, Tao Y Y, et al. Salient object detection via color and texture cues[J]. Neurocomputing, 2017, 243: 35–48. [DOI:10.1016/j.neucom.2017.02.064]
[12] Zhu W J, Liang S, Wei Y C, et al. Saliency optimization from robust background detection[C]//Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus, OH, USA: IEEE, 2014: 2814-2821.[DOI:10.1109/CVPR.2014.360]
[13] Li H Y, Lu H C, Lin Z, et al. Inner and inter label propagation:salient object detection in the wild[J]. IEEE Transactions on Image Processing, 2015, 24(10): 3176–3186. [DOI:10.1109/TIP.2015.2440174]
[14] Peng H W, Li B, Ling H B, et al. Salient object detection via structured matrix decomposition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(4): 818–832. [DOI:10.1109/TPAMI.2016.2562626]
[15] Yan X Y, Wang Y H, Song Q, et al. Salient object detection via boosting object-level distinctiveness and saliency refinement[J]. Journal of Visual Communication and Image Representation, 2017, 48: 224–237. [DOI:10.1016/j.jvcir.2017.06.013]
[16] Yang C, Zhang L H, Lu H C, et al. Saliency detection via graph-based manifold ranking[C]//Proceedings of 2013 IEEE Conference on Computer Vision and Pattern Recognition. Portland, OR, USA: IEEE, 2013: 3166-3173.[DOI:10.1109/CVPR.2013.407]
[17] Zhang Q, Luo D S, Li W J, et al. Two-stage absorbing Markov chain for salient object detection[C]//Proceedings of 2017 IEEE International Conference on Image Processing. Beijing: IEEE, 2017: 895-899.[DOI:10.1109/ICIP.2017.8296410]
[18] Qin Y, Lu H C, Xu Y Q, et al. Saliency detection via cellular automata[C]//Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA, USA: IEEE, 2015: 110-119.[DOI:10.1109/CVPR.2015.7298606]
[19] Kuen J, Wang Z H, Wang G. Recurrent attentional network for saliency detection[C]//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA: IEEE, 2016: 3668-3677.[DOI:10.1109/CVPR.2016.78]
[20] Luo Z M, Mishra A, Achkar A, et al. Non-local deep features for salient object detection[C]//Proceedings of 2017 IEEE International Conference on Computer Vision and Pattern Recognition. Honolulu, HI, USA: IEEE, 2017: 6593-6601.[DOI:10.1109/CVPR.2017.698]
[21] Wang L J, Lu H C, Ruan X, et al. Deep networks for saliency detection via local estimation and global search[C]//Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA, USA: IEEE, 2015: 3183-3192.[DOI:10.1109/CVPR.2015.7298938]
[22] Li G B, Yu Y Z. Visual saliency based on multiscale deep features[C]//Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA, USA: IEEE, 2015: 5455-5463.[DOI:10.1109/CVPR.2015.7299184]
[23] Lee G, Tai Y W, Kim J. Deep saliency with encoded low level distance map and high level features[C]//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA: IEEE, 2016: 660-668.[DOI:10.1109/CVPR.2016.78]
[24] Liu N, Han J W. DHSNet: deep hierarchical saliency network for salient object detection[C]//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA: IEEE, 2016: 678-686.[DOI:10.1109/CVPR.2016.80]
[25] Li X, Zhao L M, Wei L N, et al. DeepSaliency:multi-task deep neural network model for salient object detection[J]. IEEE Transactions on Image Processing, 2016, 25(8): 3919–3930. [DOI:10.1109/TIP.2016.2579306]
[26] Wang L Z, Wang L J, Lu H C, et al. Saliency detection with recurrent fully convolutional networks[C]//Proceedings of the 14th European Conference on Computer Vision. Amsterdam, The Netherlands: Springer, 2016: 825-841.[DOI:10.1007/978-3-319-46493-0_50]
[27] Achanta R, Shaji A, Smith K, et al. SLIC superpixels compared to state-of-the-art superpixel methods[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(11): 2274–2282. [DOI:10.1109/TPAMI.2012.120]
[28] Margolin R, Tal A, Zelnik-Manor L, et al. What makes a patch distinct?[C]//Proceedings of 2013 IEEE Conference on Computer Vision and Pattern Recognition. Portland, OR, USA: IEEE, 2013: 1139-1146.[DOI:10.1109/CVPR.2013.151]
[29] Girshick R, Donahue J, Darrell T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Proceedings of 2014 IEEE International Conference on Computer Vision and Pattern Recognition. Columbus, OH, USA: IEEE, 2014: 580-587.[DOI:10.1109/CVPR.2014.81]
[30] Krähenbuhl P, Koltun V. Efficient inference in fully connected CRFs with Gaussian edge potentials[C]//Proceedings of the 24th International Conference on Neural Information Processing Systems. Granada, Spain: Curran Associates Inc., 2011: 109-117.
[31] Margolin R, Zelnik-Manor L, Tal A. How to evaluate foreground maps[C]//Proceedings of 2014 IEEE International Conference on Computer Vision and Pattern Recognition. Columbus, OH, USA: IEEE, 2014: 248-255.[DOI:10.1109/CVPR.2014.39]