0 引言

1 相关工作

2 热红外行人目标检测算法

本文提出的热红外监控场景下行人检测算法流程如图 1所示, 主要包含以下步骤:

图 1 热红外监控场景下行人检测算法流程

Fig. 1 Process of pedestrian detection in thermal infrared surveillance

1) 对原始热红外图像进行显著性检测, 本文采用的是基于图像频域相位谱的显著性检测算法(PFT);

2) 将显著图作为掩膜, 由原始热红外图像生成ROI图;

3) 构建全卷积网络, 将感兴趣区域图作为网络输入, 网络输出为行人目标概率图;

4) 由行人目标概率图生成热红外图像中行人目标的标记框, 完成热红外图像中行人目标检测。

2.1 感兴趣区域图生成

2.2 全卷积网络模型

深度卷积神经网络在计算机视觉各个子领域中均表现出优良性能, 促使更多样的卷积网络结构的开发设计。其中的全卷积网络结构模型得益于其图形式的网络输出, 在图像语义分割^[18-19]以及图像风格转换^[20-21]等方面被广泛应用。

本文构建的全卷积网络模型主要分成两个部分, 如图 2所示。第1部分主要参考AlexNet网络结构^[22]与VGG网络结构^[23], 5层卷积层(AlexNet中为5层, VGG中为7层)与3层池化层相间排列, 可视为特征提取模块; 第2部分为概率生成模块, 由3层步长为2以及1层步长为1的反卷积层(卷积核均为3×3)构成。网络的最后一层采用sigmoid函数生成概率图, 其余各层均采用ReLU非线性函数作为激活函数。

图 2 全卷积网络结构

Fig. 2 Fully convolutional network architecture

在训练阶段, 与传统方法中训练针对若干ROI子块的分类器不同, 本文将整幅感兴趣区域图作为网络输入, 以行人区域${\mathit{\boldsymbol{ \boldsymbol{\varOmega} }}_\mathit{p}}$概率为1的真值图$M_p^{{\rm{gt}}}\left( {x, y} \right)$作为标签, 以二值交叉熵代价函数$L$作为损失函数, 对卷积网络进行训练, 即

$ M_p^{{\rm{gt}}}\left( {x, y} \right) = \left\{ \begin{array}{l} 1\;\;\left( {x, y} \right) \in {\mathit{\boldsymbol{ \boldsymbol{\varOmega} }}_\mathit{p}}\\ 0\;\;\; {其他} \end{array} \right. $

(4)

$ \begin{array}{l} L =-\frac{1}{N}\sum\limits_{x, y} {{\mathit{\boldsymbol{M}}_p}} {\rm{ln}}(\mathit{\boldsymbol{M}}_p^{{\rm{gt}}}) + \\ (1-{\mathit{\boldsymbol{M}}_p}){\rm{ln}}(1-\mathit{\boldsymbol{M}}_p^{{\rm{gt}}}) \end{array} $

(5)

式中, $\mathit{\boldsymbol{M}}_p^{{\rm{gt}}}$为概率真值图, ${\mathit{\boldsymbol{M}}_p}$为全卷积网络输出的行人目标概率图, $N$为概率图像素个数。

3 实验与分析

3.1 感兴趣区域图测试

在显著性区域检测算法中, 输入图像的尺寸对显著性区域影响较大, 如2.1节所述, 图像缩放系数$r$的选择要兼顾显著性区域面积以及区域对行人目标的覆盖率两方面因素。本文通过随机采样从数据库中抽取10幅图像, 计算不同缩放系数下显著性区域面积、显著性区域对行人目标的覆盖率, 其结果如图 3所示。

图 3 不同缩放系数下显著性区域对行人目标的覆盖率和显著性区域面积

Fig. 3 Coverage rates and areas of saliency regions depended on various scale rates((a)coverage rates of saliency regions depended on various scale rates; (b)areas of saliency regions depended on various scale rates)

随着缩放系数的增加, 即输入图像的尺寸增加, 显著图中显著性区域对行人目标的覆盖率。(图 3(a))与显著性区域的面积(图 3(b))均逐渐下降。为保证显著性区域对行人目标的全覆盖, 同时减少显著性区域面积, 本文设定图像缩放系数$r$为0.2。

不同缩放系数下感兴趣区域如图 4所示。可以看出, 更小的缩放系数(0.1)下感兴趣区域图也更复杂, 较大的缩放系数(0.7)无法保证行人目标区域的完整性, 甚至丢失部分目标区域, 而上文中确定的图像缩放系数(0.2)在确保显著性区域完全覆盖行人目标的同时能够最小化显著性区域面积, 从而实现保证算法准确率。

图 4 不同缩放系数下感兴趣区域图

Fig. 4 ROI maps depended on various scale rates

((a)original images; (b)0.1 scale rate; (c)0.2 scale rate; (d)0.7 scale rate)

为验证本文所采用的感兴趣区域图生成方法对灰度值反转问题的有效性, 采用不同方法所得到的感兴趣区域图对比如图 5所示。在以往算法系统中, 第一步操作多为截取感兴趣区块而非生成感兴趣区域图。为能够与本文算法相比较, 将不同算法生成的感兴趣区块显示于原图, 视做感兴趣区域图。

图 5 各种算法生成的感兴趣区域图比较

Fig. 5 ROI maps of different algorithms

((a)original images; (b)ROI maps in reference [9]; (c)ROI maps in reference [11]; (d) ours)

图 5(b)为文献[9]中Ostovar算法所采用的基于热红外图像像素灰度值, 通过向垂直方向和水平方向投影的感兴趣区域图生成方法。从结果图分析, 在行人目标灰度值高于背景的一般情况下, 该算法基本能够正常工作(如图 5(b)第1组所示), 但是当行人目标灰度值低于背景即发生灰度值反转情况时, 该算法无法正常工作(如图 5(b)第2组所示)。图 5(c)为Zhao算法^[11]所得感兴趣区域图, 算法首先生成轮廓图, 再采用最小外接矩形包围轮廓图的各个连通区域, 将最小外接矩形作为感兴趣区块。从结果图可以看出, 该算法在一般情况下同样能够正常工作, 相较于前一种算法, Zhao算法同样对灰度值反转情况有所应对, 但对一些轮廓较弱的行人目标存在丢失的情况(如图 5(c)中, 两幅图中左上角行人目标区域未被视为感兴趣区域, 第一组左下角与第2组中央部分对感兴趣区域均未能完整覆盖行人目标)。图 5(d)为本文算法所得感兴趣区域图, 可以看出其对全部行人目标均有完整覆盖, 对灰度反转情况具有较强的鲁棒性。

3.2 热红外场景行人检测性能测试

OSU热红外行人数据库中总计284帧热红外图像, 图像分辨率为360×240像素。从中随机抽取60%组成训练样本集, 并通过水平翻转在不影响行人目标的情况下扩大训练集的样本容量, 以提高训练效果。其余热红外图像组成测试样本集以测试行人目标检测算法性能。

本文将所提出算法与多种现有算法进行对比实验, 除了传统的未采用深度学习方法的热红外行人检测算法(文献[5-6, 10-11]), 基于深度学习的R-CNN目标检测算法^[14]同样作为对照算法。本文采用行人目标检测性能评价中常用的丢失率(miss rate)与假阳率(false positive)曲线作为各个算法性能对照依据。其中, 假阳率反映非行人目标被错判定为行人目标的情况, 一般来说, 假阳率越低代表对目标的检测越准, 但是会导致目标漏检情况即丢失率的增加。各种算法的性能曲线如图 6所示。

图 6 各热红外行人检测算法对比

Fig. 6 Evaluation of thermal pedestrian detection algorithms

几种热红外行人目标检测的结果如图 7所示。其中图 7(b)为文献[5]算法的结果, 图 7(c)为文献[11]算法的结果, 图 7(d)为本文提出的算法结果。

图 7 各热红外行人检测算法结果图

Fig. 7 Some examples of the comparison results((a)original images; (b)detection results in reference [5]; (c) detection results in reference [11]; (d) ours)

对比图的第1、2组为行人目标灰度值高于周围环境的一般情况, 算法结果对比相差不大。当行人目标头部与身体的灰度值相差很大时(第1组), 文献[5]算法与文献[11]算法由于过滤掉较小连通区域或者感兴趣区块无法覆盖整个行人目标, 导致最终检测失败或不完全。而本文算法的感兴趣区域图能够保证对行人目标的全覆盖, 因此能够正确检测出灰度差较大的行人目标。图 7第2组中的误检多由热红外图像中其他干扰性热源, 如路灯、车辆余温所引起。而在第3、4组中, 由于环境温度升高而产生灰度值反转问题, 导致部分行人目标灰度值较低。在对比算法中, 一些独立存在的行人目标由于其边缘保持完整, 因此较容易检出, 但当行人目标与环境相接时, 行人目标轮廓边缘无法保持完整, 导致感兴趣区块提取失败进而行人目标无法被检出。灰度值较高的独立目标更容易被误检为行人目标, 如路灯、树干、车辆的向阳面等。而在本文算法中, 感兴趣区域图可以完全包含所有疑似区域, 再借助全卷积网络对行人目标的描述与概率生成, 不仅可以有效移除不包含行人目标的区域, 同时能够检测出最完全的行人目标, 特别是针对复杂环境背景情况(发生灰度值反转)以及存在其他热源(汽车, 路灯)在环境中时。

4 结论

参考文献

[1] Ma Y L, Wu X K, Yu G Z, et al. Pedestrian detection and tracking from low-resolution unmanned aerial vehicle thermal imagery[J]. Sensors, 2016, 16(4): #446. [DOI:10.3390/s16040446]
[2] Lee J H, Choi J S, Jeon E S, et al. Robust pedestrian detection by combining visible and thermal infrared cameras[J]. Sensors, 2015, 15(5): 10580–10615. [DOI:10.3390/s150510580]
[3] Zhang L, Wu B, Nevatia R. Pedestrian detection in infrared images based on local shape features[C]//Proceeding of 2007 IEEE Conference on Computer Vision and Pattern Recognition. Minneapolis, MN, USA: IEEE, 2007: 1-8.[DOI: 10.1109/CVPR.2007.383452]
[4] Biswas S K, Milanfar P. Linear support tensor machine with LSK channels:pedestrian detection in thermal infrared images[J]. IEEE Transactions on Image Processing, 2017, 26(9): 4229–4242. [DOI:10.1109/TIP.2017.2705426]
[5] Li J F, Gong W G, Li W H, et al. Robust pedestrian detection in thermal infrared imagery using the wavelet transform[J]. Infrared Physics & Technology, 2010, 53(4): 267–273. [DOI:10.1016/j.infrared.2010.03.005]
[6] Qi B, John V, Liu Z, et al. Pedestrian detection from thermal images:a sparse representation based approach[J]. Infrared Physics & Technology, 2016, 76: 157–167. [DOI:10.1016/j.infrared.2016.02.004]
[7] Wang J T, Chen D B, Chen H Y, et al. On pedestrian detection and tracking in infrared videos[J]. Pattern Recognition Letters, 2012, 33(6): 775–785. [DOI:10.1016/j.patrec.2011.12.011]
[8] Lin C F, Chen C S, Hwang W J, et al. Novel outline features for pedestrian detection system with thermal images[J]. Pattern Recognition, 2015, 48(11): 3440–3450. [DOI:10.1016/j.patcog.2015.04.024]
[9] Ostovar A, Hellström T, Ringdahl O. Human detection based on infrared images in forestry environments[C]//Proceeding of the 13th International Conference on Image Analysis and Recognition. Póvoa de Varzim, Portugal: Springer, 2016.[DOI: 10.1007/978-3-319-41501-7_20]
[10] Lakshmi A, Faheema A G J, Deodhare D. Pedestrian detection in thermal images:an automated scale based region extraction with curvelet space validation[J]. Infrared Physics & Technology, 2016, 76: 421–438. [DOI:10.1016/j.infrared.2016.03.012]
[11] Zhao X Y, He Z X, Zhang S Y, et al. Robust pedestrian detection in thermal infrared imagery using a shape distribution histogram feature and modified sparse representation classification[J]. Pattern Recognition, 2015, 48(6): 1947–1960. [DOI:10.1016/j.patcog.2014.12.013]
[12] Budzan S. Human detection in low resolution thermal images based on combined HOG classifier[C]//Proceeding of the International Conference on Computer Vision and Graphics. Warsaw, Poland: Springer, 2016: 304-315.[DOI: 10.1007/978-3-319-46418-3_27]
[13] Cai Y F, Liu Z, Wang H, et al. Saliency-based pedestrian detection in far infrared images[J]. IEEE Access, 2017, 5: 5013–5019. [DOI:10.1109/ACCESS.2017.2695721]
[14] Girshick R, Donahue J, Darrell T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[J]. arXiv preprint arXiv: 1311.2524, 2013: 580-587.
[15] Girshick R. Fast R-CNN[C]//Proceeding of 2015 IEEE International Conference on Computer Vision. Santiago, Chile: IEEE, 2015: 1440-1448.[DOI: 0.1109/ICCV.2015.169]
[16] Hou X D, Zhang L Q. Saliency detection: a spectral residual approach[C]//Proceeding of 2007 IEEE Conference on Computer Vision and Pattern Recognition. Minneapolis, MN, USA: IEEE, 2007: 1-8.[DOI: 10.1109/CVPR.2007.383267]
[17] Guo C L, Ma Q, Zhang L M. Spatio-temporal saliency detection using phase spectrum of quaternion fourier transform[C]//Proceeding of 2008 IEEE Conference on Computer Vision and Pattern Recognition. Anchorage, AK, USA: IEEE, 2008: 1-8.[DOI: 10.1109/CVPR.2008.4587715]
[18] Johnson J, Karpathy A, Li F F. DenseCap: fully convolutional localization networks for dense captioning[C]//Proceeding of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA: IEEE, 2016: 4565-4574.[DOI: 10.1109/CVPR.2016.494]
[19] Long J, Shelhamer E, Darrell T. Fully convolutional networks for semantic segmentation[C]//Proceeding of 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA, USA: IEEE, 2015: 3431-3440.[DOI: 10.1109/CVPR.2015.7298965]
[20] Gatys L A, Ecker A S, Bethge M. Image style transfer using convolutional neural networks[C]//Proceeding of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA: IEEE, 2016: 2414-2423.[DOI: 10.1109/CVPR.2016.265]
[21] Johnson J, Alahi A, Li F F. Perceptual losses for real-time style transfer and super-resolution[C]//Proceeding of the 14th European Conference on Computer Vision. Amsterdam, The Netherlands: Springer, 2016: 694-711.[DOI: 10.1007/978-3-319-46475-6_43]
[22] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[C]//Proceedings of the 25th International Conference on Neural Information Processing Systems. Lake Tahoe, Nevada: Curran Associates Inc., 2012: 1097-1105.
[23] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[J]. arXiv preprint arXiv: 1409.1556, 2014.
[24] Davis J W, Keck M A. A two-stage template approach to person detection in thermal imagery[C]//Proceeding of the 7th IEEE Workshops on Applications of Computer Vision. Breckenridge, CO, USA: IEEE, 2005: 364-369.[DOI: 10.1109/ACVMOT.2005.14]