0 引言

黑烟车辆指高污染车辆，其排气管会排出清晰可见且含有各种化学污染物的黑烟(尾气)，如图 1所示。同时在很多大型城市，机动车尾气已成为大气中最主要的污染源(黄志辉等，2017)。

图 1 黑烟车辆照片

Fig. 1 Photo of smoky vehicles

目前已有许多检测黑烟车辆的方法，包括群众举报或者执法人员在道路上设卡检查。上述方法均属于人工监控，会消耗大量劳动力并且效率较低。还出现了给车辆安装尾气分析装置(Nakagawa和Watanabe，2015)或者在道路上设置烟雾传感器(Guenther等，1995；Ropkins等，2017)的检测方法，虽然识别效果较好，但是尾气分析装置与传感器都非常昂贵，很难在普通车辆或道路上广泛安装。开发新的黑烟车辆探测方法迫在眉睫。

随着数字图像处理技术的发展，视频黑烟车辆检测相对于其他方法的优势日益凸显，然而目前对视频黑烟车辆检测方法的研究较少。由于针对黑烟车辆和火灾烟雾的检测方法具有相似的特征表示与分类识别方案，同时Tao和Lu(2019)直接利用视频火灾烟雾检测算法来检测黑烟车辆时取得了不错效果，所以二者可以统一在同一套视频黑烟检测方法中。为了介绍汇总视频黑烟检测算法的基本处理方法，史劲亭等人(2018)对视频黑烟检测进行了综述，但是未能阐述清楚黑烟特征之间的联系，同时对最新检测算法的分析总结不足。夏雪等人(2019)重点针对黑烟检测、分割，从任务细粒度的角度对2017—2019年公开发表的文献进行了综述，但是没有关注深度方法的单步细节。本文将探讨以下3个问题：1)由于路面、车辆和光线等环境因素的影响，视频黑烟检测算法的误检率依然很高。2)基于深度学习的视频黑烟检测方法大多过于关注检测模型而忽视了与黑烟本身的联系，导致了可解释性差的问题。而且现有数据集也限制了算法的泛化性。3)检测黑烟浓度时，存在着标定困难等问题。

为了深入研究视频黑烟检测算法，本文总结了2016—2019年公开发表的国内外文献，对其进行全面的综述及梳理，发现大部分文献都采用了类似的检测框架，基于传统方法和基于深度学习的检测黑烟方法均可以融入其中，包括监控视频预处理、疑似黑烟区域提取、黑烟特征选取、黑烟分类识别与算法性能分析。本文将对以上内容进行分析总结，梳理其整体与细节之间的逻辑关系，并针对上述3个问题，展望视频黑烟检测方法的发展方向。

1 监控视频预处理

2 疑似黑烟区域提取

在大部分视频黑烟检测方法中，需要先将视频图像中的疑似黑烟提取出来，再进行特征提取与分类识别, 这样能提高特征提取的效率，降低特征冗余度。由于道路上运动目标非常多，路面颜色与黑烟相似，单纯应用背景差分法或帧间差分法等基于黑烟运动的方法很难准确提取疑似黑烟区域，所以本文不从黑烟本身特质的角度对疑似黑烟区域提取方法进行分类，而是从提取结果的精细度方面将其分为图像级提取、目标级提取、像素级提取和纯黑烟重构等4个层次，具体分析如表 1所示。

表 1 疑似黑烟区域提取方法的层次分析
Table 1 Hierarchical analysis of suspected smoke extraction methods

下载CSV

层次	方法名称	精细度	去除的干扰	所需计算量
1	图像级提取	最低	无黑烟帧	大
2	目标级提取	低	无黑烟区域	中
3	像素级提取	中	非黑烟像素	大
4	纯黑烟重构	高	非黑烟背景分量	最大
注：层次1—4是由低到高，1代表最低，4代表最高。

图像级提取是层次最低的疑似黑烟区域提取方法，要确定视频每一帧中是否可能存在黑烟，但是考虑到视频黑烟检测大多以帧为基本单位进行特征提取与分类识别，该方法只是去除了严格无黑烟帧的干扰，意义不是很大，而且层次更高的提取方法可以代替图像级提取，因此本文未提及图像级提取方法。

目标级提取方法是要确定视频图像中某个区域(一般为矩形等规则形状)内是否可能含有黑烟，提取出的疑似黑烟区域由重叠或者不重叠的规则形状框组成。在判定为可能有黑烟的规则形状框中会有一定比例的非黑烟像素，这会影响最终识别效果。

像素级提取是要确定视频图像中各个像素是否可能属于黑烟，提取出的疑似黑烟区域无规则形状，比区域级提取更加精细。但是此疑似黑烟区域中的背景分量会影响黑烟识别效果。

纯黑烟重构是要将疑似黑烟区域中的背景分量剥离出去，只留下纯黑烟分量，来消除背景分量对识别效果的影响。一般的纯黑烟重构方法是应用在目标级或像素级提取结果上的，这样处理能有更大概率提取到真实的纯黑烟分量。

2.1 目标级提取

2.2 像素级提取

为了进一步提高提取结果的精细度与稳定性，在疑似黑烟提取任务中采用了像素级提取方法。

Matlani和Shrivastava(2019)应用大津法提取疑似黑烟区域，此方法提取速率很快，然而提取精度有限。为了提升精度，胡燕等人(2016)将GMM与大津法结合，自适应地选择阈值。张娜等人(2017)认为每一种浓度的黑烟都会产生对应颜色，首先将上近似设置为原图的Red(R)分量直方图，下近似设置为Histon直方图，并求出粗糙直方图(蔡式东和杨芳，2011)。然后利用其波峰分布自适应地选择阈值提取初始疑似黑烟区域。最后随机选择种子点应用区域生长法(Wu等，2008)提取完整黑烟区域。一幅$M \times N $帧的上近似直方图具体为

$ {{\mathit{\boldsymbol{}}}_i}\left(g \right) = \sum\limits_{m = 1}^M {\sum\limits_{n = 1}^N {\delta \left({I\left({m, n, R} \right) - g} \right)} } $

(3)

式中，$ \delta \left(\cdot \right)$是狄拉克函数，$I\left({m, n, R} \right){\rm{是}}\left({m, n} \right) $处的红色通道值，$ 0 \le g \le 255$。若$ {d_{P \times Q}}\left({m, n} \right){\rm{是}}\left({m, n} \right){\rm{的}}P \times Q$邻域各像素的欧氏距离之和，$ T$为阈值，则此邻域在$ R$分量上的同质性(Wu等，2008)为

$ H\left({m, n} \right) = \left\{ \begin{array}{l} 1\;\;\;\;{d_{P \times Q}}\left({m, n} \right) < T\\ 0\;\;\;\;{\rm{其他}} \end{array} \right. $

(4)

此时，Histon直方图定义为

$ {{\mathit{\boldsymbol{\bar H}}}_i}\left(g \right) = \sum\limits_{m = 1}^M {\sum\limits_{n = 1}^N {\left({1 + H\left({m, n} \right)} \right)\delta \left({I\left({m, n, R} \right) - g} \right)} } $

(5)

然后可以分别求不同灰度级的粗糙度，得到粗糙度直方图，其计算式为

$ {\rho _i}\left(g \right) = 1 - \frac{{\left| {{{\mathit{\boldsymbol{}}}_i}\left(g \right)} \right|}}{{\left| {{{\mathit{\boldsymbol{\bar H}}}_i}\left(g \right)} \right|}} $

(6)

上述方法都是基于阈值来进行提取，没有紧密结合黑烟本身的特征。为了提升精度，将黑烟特征引入到提取算法中。Filonenko等人(2018)检测出前景区域后，利用其颜色特征和边缘粗糙度提升其精细度，最后通过对比前后帧减少类烟物体的干扰。Jian等人(2018)也是通过两步分割并结合黑烟飘动特征提取疑似黑烟区域。Jia等人(2016)则将黑烟飘动与颜色显著图一起应用来提取疑似黑烟块。

这些方法使用了很多黑烟特征，提升了提取结果的精细度，但是由于黑烟的多样性，很难提取稳定的特征，提取结果的稳定性较难保障。

为了弥补以上缺陷，Zhou等人(2016)利用主成分分析法(principal component analysis，PCA)精简备选黑烟区域，保证了疑似黑烟区域的稳定性，但是引入了过多人工干预的阈值。另外，王晨霞和于明(2020)改进了梯度矢量流模型(gradient vector flow，GVF)，利用这种主动轮廓模型方法也可以很好地提取出黑烟区域。

上述方法将多种黑烟特征一起使用，但结合比例、选取半径和图像深度等超参数的选取需要很强的先验知识(Appana等，2017)。深度方法可以通过自动更新参数来解决这些问题，合理设计其结构可缓解其可解释性差的问题。Xu等人(2019b)使用区域生成网络(region proposal network，PRN)(Ren等，2017)生成目标级黑烟显著图，再与利用VGG-16(visual geometry group 16-layer net)(Simonyan和Zisserman，2015)、循环卷积层和反卷积层提取的像素级黑烟显著图结合成最终显著图。

为了改善深度方法的可解释性，Li等人(2020)提出了基于金字塔模块的3D全卷积网络来分割疑似黑烟区域。考虑到黑烟在不同场景下有多种姿态、颜色形状和运动趋势，使用3D CNN(3D convolutional neural network)(Tran等，2015)来提取黑烟的空间与飘动特征。由于黑烟的运动速度随着距离增加而减慢，Li等人(2020)设置了不同大小的卷积核，以增加3D CNN对黑烟运动的敏感程度。采用金字塔神经网络是为了更容易区别灰色物体与黑烟，降低误检率。3D-PFCN(3D parallel fully convolutional network)的内部组成如图 2所示(Li等，2020)。

图 2 3D-PFCN结构(Li等，2020)

Fig. 2 Structure of the 3D-PFCN(Li et al., 2020)

总体而言，无论是区域级还是像素级疑似黑烟提取方法在环境因素、图像质量等干扰下，提取精度都不是很高。具体来说，这些方法对光照和图像质量有着较低适应性，容易错过浓度较低的黑烟，或易于误检测到一些类烟物体。

2.3 重构纯黑烟区域

3 黑烟特征选取

在视频黑烟检测框架中，无论用哪种层次的方法将疑似黑烟区域提取出来，下一步都要在疑似黑烟区域中提取特征。黑烟具有高多样性与高多变性的特征，想要获得稳定有效的特征来表征黑烟非常困难, 因此如何选取稳定有效的特征成为视频黑烟车辆黑烟检测的中心任务。

本文将黑烟特征分为3个层次，即底层特征、中层特征和高层特征，各层次特征的具体分析如表 2所示。目前还没有文献对底层、中层和高层特征给出明确的定义。本文区分不同层次特征的标准是基于学习的非线性映射的次数，选择1次和3次作为分类节点。因为这种分类方法更能体现3种层次特征的不同特点。总的趋势是非线性映射次数越多，特征层次越高，表达力越强，进而黑烟检测率就越高，但是非线性映射次数与表达力之间不是严格的线性关系。

表 2 黑烟特征层次分析
Table 2 Smoke feature hierarchy analysis

下载CSV

名称	定义	模型结合力	特征表达力	提取方法	可解释性
底层特征	可直接从计算机图像数据中提取的特征	弱	弱	直接提取	好
中层特征	底层特征经过3次及以下基于学习的非线性映射得到的特征	中	中	特征学习	较差
高层特征	底层特征经过3次以上基于学习的非线性映射得到的特征	强	强	深度学习	差

底层特征是层次最低的黑烟特征，其提取方法最简单，所需的分类识别模型最复杂，与其结合起来最生硬，特征表达力最弱，与能直接理解的语义特征之间的差距最大。然而底层特征一般是完全根据黑烟特点选取的，所以理论可解释性最好。

中层特征本质上是底层特征被调低了冗余度的结果。底层特征利用几种基于学习的非线性映射方法对特征进行降维与选择，有效提升了特征表达力，降低了特征冗余度。中层特征相比于底层特征，与能直接理解的语义特征差距更小，所需分类识别模型更简单，检测黑烟效果更好。

高层特征是层次最高的特征，其与语义特征的差距最小，检测黑烟效果最好。高层特征其实是一个比较宽泛的概念，底层特征经过3次以上基于学习的非线性映射得到的特征都可以是高层特征。高层特征与中层特征的区别是底层特征满足误检率最低的前提下，在多种维度特征空间之间进行多次映射，相当于被打乱、重组了多次，不仅可以达到降低特征冗余度的效果，还可以自动寻找出最合适的黑烟表征方法。提取高层特征时，特征表示部分一般与分类部分是一个整体，可以同时被优化参数，所以高层特征的模型结合力最好。

3.1 底层特征

3.1.1 空间特征

黑烟的空间特征可以分为色彩、纹理、梯度和频率域特征等，同时特征融合是大趋势。

Tao和Lu(2018a)提取了黑烟的多尺度tamura纹理特征。Peng和Wang(2019)选择疑似黑烟区域的纵横比特征和矩形特征，其计算简单且具有代表性。许多研究对LBP特征进行改进和融合(Ojala等，2002)，具体如表 3所示。Yuan等人(2019c)将Curvelet变换与完备LBP(complete-LBP)结合为底层特征。另外，还从尺度不变性(Yuan等，2019b)和鲁棒性(Yuan等，2019a)角度对LBP进行了改进。

表 3 LBP特征的改进总结
Table 3 Summary of improvements in LBP features

下载CSV

改进方向	措施
增强鲁棒性	加入相似度匹配(Yuan等，2019a)
改善尺度不变性	加入汉明距离(Yuan等，2019b)、Gabor小波(袁非牛等，2019a)
改善光照不变性	Gabor小波(袁非牛等，2019a)、加权局部阈值(Tao和Lu，2019)
提高计算效率	降低特征维度(Liu等，2019)
补偿噪声	梯度补偿信息(Liu等，2019)、加权局部阈值(Tao和Lu，2019)
提高表达力	Curvelet变换(Yuan等，2019c)

Gabor小波具有很好的光照不变性与多尺度特性，非常适合表征黑烟。为了降低Gabor变换的计算成本，袁非牛等人(2019a)在聚合过的Gabor特征图中提取LBP特征。实验结果表明其识别效果略胜于深度方法。

除了局部二值模式，局部三元模式(local triple pattern，LTP)也是常用的黑烟空间特征。Yuan等人(2016)首先在疑似黑烟区域中提取LTP，计算直方图，之后将直方图串联成高阶局部三元模式(high-order local ternary patterns，HLTP)，具备了比传统LBP更好的抗噪性。

3.1.2 运动特征

3.1.3 时空结合的特征

时空特征是空间和运动特征一起应用的最终输出。对于黑烟这种在空间和时间上都有独特的剧烈变化的识别目标来说，时空特征是最适合的。

颜色信息、纹理信息是黑烟最基本的底层特征，很多研究将黑烟运动信息引入这些特征得到时空特征。Wang等人(2017)依次利用黑烟运动、颜色和纹理信息来检测黑烟，但是严重依赖经验阈值的选取，导致算法泛化能力不强。Appana等人(2017)将时空能量分量与从Gabor滤波器组提取的方向信息结合起来，形成特征。Tao和Lu(2018b)先计算色矩特征，然后将黑烟运动方向直方图与基于3个正交平面的范围滤波特征组合到一个特征向量，以获取黑烟的时空特征。

时空化改进也在LBP特征上应用。Lin等人(2017)提取动态纹理描述子(volume local binary patterns，VLBP)作为底层特征，应用时空特征提取局部阈值体积直方图，但特征维度较高，对噪声比较敏感。针对这些缺陷，Tao和Lu(2019)设计了R-VLBC(robust-visual local binary count)，相比于LBP，局部二值计数模式(local binary count，LBC)(Zhao等，2018)可以从层次更高的角度代表底层特征，使用加权局部阈值作为阈值，对噪声和光照具有更强的鲁棒性。由于距摄像机不同距离的黑烟会呈现不同的尺度，通过使用一组半径和采样点各不相同的滤波器来提取多尺度信息以识别黑烟序列。对每个疑似黑烟区域，Tao和Lu(2019)沿时间轴在连续帧中提取前N个区域和后N个区域，以形成区域序列，再分别从3个正交平面中提取RLBP和CLBP，并绘制直方图。最终检测效果见图 3(Tao和Lu，2019)，红色框内为检测到的黑烟。

图 3 最终检测效果(Tao和Lu，2019)

Fig. 3 Final detection result(Tao and Lu, 2019)

研究者对底层特征进行了长时间研究，发现其与能理解的黑烟之间有“语义鸿沟”，表达力有限，而且由于黑烟颜色形状、纹理频率和运动轨迹的巨大差异，提出一种对黑烟识别任务具有稳定性和有效性的底层特征非常困难(Yuan等，2018)。同时底层特征之间一般是未经过筛选直接排列的，与分类器的连接比较生硬，造成了特征冗余，降低了特征使用效率。因此研究者提出了许多中高层特征来提高底层特征的结合力与表达能力。

3.2 中层特征

3.2.1 特征降维

特征降维是通过融合的方式使特征冗余度更低，从而使中层特征更有代表性，特征使用效率更高。代表方法为PCA及其改进方法。此外，视觉词袋模型(bag of visual word，BOVW)也可以完成特征降维的任务。

Yuan等人(2019d)首先用局部差分的方式提取黑烟底层特征，应用PCA去除特征之间的线性相关关系。然后计算特征图，再对其进行编码以形成中层特征。为了增强中层特征的稳定性，在提取中层特征后，对每个特征和每8个特征分别提取其LBP特征，再将二者线性组合成为最终特征(Yuan等，2018)。特征提取过程如图 4(Yuan等，2018)所示。其中，R代表滑动采样块，D_vec代表采样向量，D_all代表差分向量。W代表映射矩阵，M_i代表特征图，h代表最后的中层特征输出, LBP_o代表正交符号特征图，LBP_mag代表正交幅度特征图。

图 4 特征提取流程图(Yuan等，2018)

Fig. 4 Flowchart of feature extraction(Yuan et al., 2018)

黑烟特征之间也会有非线性相关关系，直接使用PCA会使误检率升高。因此Yuan等人(2017)先将非线性相关性转为线性相关性，再应用PCA去除特征之间的线性相关。Dimitropoulos等人(2017)为了模拟黑烟运动，首先将方向梯度直方图(histogram of oriented gradient，HOG)与定向光流直方图(histograms of oriented optical flow，HOF)串联成一个描述子，再利用BOVW将描述子与运动信息融合成词频直方图，这是一种中层特征。该方法既考虑了黑烟的外观与运动信息，又将描述子转变为直方图，降低了特征维度，提高了特征表达力。

3.2.2 特征选择

3.3 高层特征

多次非线性映射方法应用最广泛的是深度神经网络，其每一层都可以看成一次非线性映射。深度神经网络进一步增加了底层特征的层次性，缩短了底层特征与能理解的黑烟之间的鸿沟。同时深度神经网络的特征提取部分与分类识别部分一般是一个整体，自动优化所有参数，其结合力更佳。Pundir和Raman(2019)使用AlexNet(Krizhevsky等，2017)提取黑烟特征，Frizzi(2016)使用LeNet(LeCun等，1998)提取黑烟的高层特征时不需要人工干预，Yin等人(2017)设计了深度归一化卷积神经网络(deep normalization and convolutional neural network，DNCNN)，其内部构成如图 5(Yin等，2017)所示，包括预处理、特征提取和分类识别3部分。

图 5 DNCNN的网络结构(Yin等，2017)

Fig. 5 Structure of the DNCNN(Yin et al., 2017)

上述研究更注重深度神经网络模型的改进，却忽视了黑烟本身的特性，针对深度方法可解释性的改进做了许多工作，具体总结如表 4所示。大部分研究都只是粗略说明自己的网络结构提取了黑烟的哪些信息，而针对某种具体黑烟特征提出的深度结构仍然存在难以解释说明的问题。

表 4 针对深度方法可解释性的改进总结
Table 4 Summary of improvements in interpretability for deep methods

下载CSV

改进方向	文献	利用的黑烟特征	对应黑烟特征的结构
从数据角度分配黑烟特征权重	袁飞等人(2020)	无	注意力机制
	Gu等人(2020)	纹理、轮廓信息	-
	Lin等人(2019)；陈俊周等人(2016)	时空特征	3D CNN、时空域CNN
	罗胜等人(2019)	运动特征	RNN
	Hu等人(2020)；Yin等人(2018)	空间特征、运动特征	CNN+光流
将深度结构与黑烟特征对应	汪梓艺等人(2019)	运动特征	可变形卷积、注意力解码器
	Zhao等人(2018)	色彩、纹理、梯度特征	Color-CNN、Texture-CNN、Gradient-CNN
	Li等人(2020)	时空特征、区别类烟物体	3D CNN、金字塔结构
	袁非牛等人(2019b)	Gabor纹理特征	Gabor滤波器网络
注：“-”表示对应文献未解释。

学者将注意力机制(Hu等，2020)引入Inception-V3和3D CNN中，对黑烟特征进行重新分配，使其具有更强的表达力，同时大幅提高了计算效率。这种方法只能从数据的角度为黑烟特征加权，难以说明该方法的先进性，导致较难预测其进一步改进方向。可解释性差是深度学习方法的共性问题，为了解决此问题，很多研究从黑烟的颜色、形状和运动形式等方面出发，提出了许多新颖的深度结构。这些深度模型对应的高层特征是高层颜色、高层纹理和高层梯度信息的深度结合。

Gu等人(2020)设计了一个新的深度双通道神经网络(deep dual-channel neural network，DCNN)，一部分擅长提取高层纹理信息; 另一部分可以捕获黑烟轮廓特征。然后将两个深度子网络提取的高层特征以串联的方式连在一起。

以上方法提取的高层特征只涉及空间特征，为了加入运动特征增加模型的可解释性, Lin等人(2019)通过Faster-RCNN(Ren等，2017)生成疑似黑烟区域，再利用3D CNN提取其时空特征。Tao等人(2017)提出了一种融合多种特征的专用卷积神经网络(P-CNN)，设计了3个基于CNN的模型在3个正交平面独立提取不同种类的特征，然后将它们融合以获得高鲁棒性的高层特征。由于提取特征的模型与分类模型不是一个整体，最终输出特征的维度可以人为干预，结合力不佳，可能会影响识别效果。

区别于上述级联结构，Yin等人(2018)独立地提取了空间特征与运动特征，然后用全连接层进行特征融合得到最终特征，不过在分类器处做特征融合导致了计算效率低，容易产生过拟合的问题。Hu等人(2018)应用一种结合了特殊方法的神经网络来弥补以上缺陷。

同样为了增强深度方法的可解释性，袁非牛等人(2019b)首先应用Gabor滤波器对黑烟视频进行处理；然后通过空间最大值池化和量化编码使之分别具有方向与尺度不变性、光照不变性与旋转不变性；最后由统计方法获得的最终结果可作为一层中层特征。如果多次堆叠以上步骤，中层特征将进化为高层特征。但是简单的堆叠将会使特征维度成指数增长，后续应降低特征的冗余度。

如何选取表达力强、可解释性好的高层特征是一个迫切需要解决的问题。尽管以上方法不尽完美，但是指出了一个兼顾模型结合力、可解释性和特征层次高度的研究方向。

3.4 各层次特征的提取方法总结

3.4.1 传统方法

3.4.2 深度学习方法

4 黑烟分类识别

4.1 基于传统机器学习方法

4.1.1 判别模型

4.1.2 生成模型

4.2 基于深度学习方法

广义上说，深层神经网络是一种包含多重非线性映射的复杂结构，依然属于机器学习方法范畴。

早期将深度学习方法应用于分类识别黑烟时，都直接应用其他领域非常成熟的深度结构，Filonenko等人(2017)总结了AlexNet、Inception-V3、Inception-V4、ResNet、VGG和Xception用于黑烟识别任务的效果，其中数据集来自Yuan等人(2016)的研究成果。结果表明，加入残差连接和并联结构的网络分类效果更好。近几年，开始尝试对更多的深度结构展开研究。

为了更好地识别黑烟，区别类烟物体，Tao和Lu(2018b)采用修剪径向基函数神经网络(prune-radial basis function nerual network, P-RBFNN)对黑烟进行识别。Pundir和Raman(2017)、Kaabi等人(2018)将提取出的黑烟RGB与纹理特征输入深度信念网络(deep belief network, DBN)(Hinton和Salakhutdinov，2006)进行分类识别。Cheng等人(2019)用生成对抗网络(generative adversarial network，GAN)(Goodfellow等，2014)预测黑烟运动趋势。

基于深度学习的识别方法有可解释性差、训练样本数量少、质量不高和场景不统一的缺陷(杨龙箴等，2019)。为了解决在有限数据集上训练网络导致的过拟合问题，提出了许多解决方法，如表 5所示。

表 5 解决数据集数量少和分布不均问题的方法总结
Table 5 Summary of methods for solving small number and uneven distribution of datasets

下载CSV

方法	文献	具体措施
传统数据增强	王文朋等人(2017)；李诚等人(2018) 李诚等人(2018)	随机旋转、剪切、翻转 针对常见干扰因素扩充了数据集
迁移学习	卫鑫等人(2019)；王洋等人(2019)； Pundir和Raman(2019)； 王文朋等人(2017)	在ImageNet数据集上预训练好的神经网络， 然后进行基于同构数据的特征迁移
合成黑烟样本	Zhang等人(2018) Wu等人(2019)；Xu等人(2019b)； Xu等人(2017)	软件合成 根据大气散射模型合成黑烟图像
GAN	Namozov和Cho(2018)；袁飞等人(2020)	传统数据增强+GAN生成黑烟图像

5 算法评价指标

视频黑烟车辆尾气检测算法的评价指标可以与视频火灾烟雾检测算法一致。Tao和Lu(2019)制作了由5 937幅存在黑烟车辆和151 613幅不存在黑烟车辆图像组成的数据集，并在此数据集上对Appana等人(2017)、Yuan等人(2016, 2017, 2019b, e)提出的算法做了复现，并应用评价指标对比研究了这些算法的性能，具体结果如表 6(Tao和Lu，2019)所示。由于没有单独使用疑似黑烟区域提取算法的指标来衡量算法性能并作出对比的研究，表 6只列出使用识别算法指标的数据。

表 6 不同算法在相同数据集下的性能对比(Tao和Lu，2019)
Table 6 Performance comparison of different algorithms on the same datasets(Tao and Lu, 2019)

下载CSV

算法	检测率	误报率
Appana等人(2017)	0.870 1	0.125 6
Yuan等人(2016)	0.860 2	0.161 0
Yuan等人(2017)	0.855 0	0.201 0
Yuan等人(2019e)	0.902 2	0.175 5
Yuan等人(2019b)	0.887 1	0.183 4
Wang等人(2017)	0.885 4	0.133 1
Filonenko等人(2017)	0.895 8	0.171 6
Tao和Lu(2019)	0.925 3	0.089 3
注：加粗字体表示各列最优结果。

5.1 疑似黑烟区域提取算法评价指标

5.2 黑烟识别算法评价指标

6 展望

6.1 提取表达力更强的特征

6.2 改善深度方法的泛化性、可解释性

6.3 黑烟浓度估计问题

7 结语

参考文献

Appana D K, Islam R, Khan S A, Kim J M. 2017. A video-based smoke detection using smoke flow pattern and spatial-temporal energy analyses for alarm systems. Information Sciences, 418-419: 91-101 [DOI:10.1016/j.ins.2017.08.001]
Cai S D, Yang F. 2011. Color image segmentation based on HSV space and rough-set theory. Optoelectronic Technology, 31(1): 5-9 (蔡式东, 杨芳. 2011. 一种基于HSV空间和粗糙集的彩色图像分割方法. 光电子技术, 31(1): 5-9) [DOI:10.19453/j.cnki.1005-488x.2011.01.002]
Chen J Z, Wang Z J, Chen H H, Zuo L Y. 2016. Dynamic smoke detection using cascaded convolutional neural network for surveillance videos. Journal of University of Electronic Science and Technology of China, 45(6): 992-996 (陈俊周, 汪子杰, 陈洪瀚, 左林翼. 2016. 基于级联卷积神经网络的视频动态烟雾检测. 电子科技大学学报, 45(6): 992-996) [DOI:10.3969/j.issn.1001-0548.2016.06.020]
Cheng S H, Ma J Y, Zhang S J. 2019. Smoke detection and trend prediction method based on Deeplabv3+ and generative adversarial network. Journal of Electronic Imaging, 28(3): #033006 [DOI:10.1117/1.JEI.28.3.033006]
Cruz H, Eckert M, Meneses J, Martínez JF. 2016. Efficient forest fire detection index for application in unmanned aerial systems (UASs). Sensors, 16(6): #893 [DOI:10.3390/s16060893]
Dimitropoulos K, Barmpoutis P and Grammalidis N. 2017. Higher order linear dynamical systems for smoke detection in video surveillance applications. IEEE Transactions on Circuits and Systems for Video Technology, 27(5): 1143-1154[DOI: 10.1109/TCSVT.2016.2527340]
Filonenko A, Hernández D C and Jo K H. 2018. Fast smoke detection for video surveillance using CUDA. IEEE Transactions on Industrial Informatics, 14(2): 725-733[DOI: 10.1109/TⅡ.2017.2757457]
Filonenko A, Kurnianggoro L and Jo K H. 2017. Comparative study of modern convolutional neural networks for smoke detection on image data//Proceedings of the 10th International Conference on Human System Interactions (HSI). Ulsan, South Korea: IEEE: 64-68[DOI: 10.1109/HSI.2017.8004998]
Frizzi S, Kaabi R, Bouchouicha M, Ginoux J M, Moreau E and Fnaiech F. 2016. Convolutional neural network for video fire and smoke detection//Proceedings of the 42nd Annual Conference of the IEEE Industrial Electronics Society. Florence, Italy: IEEE: 877-882[DOI: 10.1109/IECON.2016.7793196]
Gao Y, Cheng P L. 2019. Forest fire smoke detection based on visual smoke root and diffusion model. Fire Technology, 55(5): 1801-1826 [DOI:10.1007/s10694-019-00831-x]
Goodfellow I J, Pouget-Abadie J, Mirza M, Xu B, Warde-Farley D, Ozair S, Courville A and Bengio Y. 2014. Generative adversarial nets//Proceedings of the 27th International Conference on Neural Information Processing Systems. Montreal, Canada: ACM: 2672-2680
Gu K, Xia Z F, Qiao J F and Lin W S. 2020. Deep dual-channel neural network for image-based smoke detection. IEEE Transactions on Multimedia, 22(2): 311-323[DOI: 10.1109/TMM.2019.2929009]
Guenther P L, Stedman D H, Bishop G A, Beaton S P, Bean J H, Quine R W. 1995. A hydrocarbon detector for the remote sensing of vehicle exhaust emissions. Review of Scientific Instruments, 66(4): 3024-3029 [DOI:10.1063/1.1146498]
He K M, Zhang X Y, Ren S Q and Sun J. 2016. Deep residual learning for image recognition//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, USA: IEEE: 770-778[DOI: 10.1109/CVPR.2016.90]
Hinton G E, Salakhutdinov R R. 2006. Reducing the dimensionality of data with neural networks. Science, 313(5786): 504-507 [DOI:10.1126/science.1127647]
Hu J, Shen L, Albanie S, Sun G and Wu E. Squeeze-and-Excitation Networks. 2020. IEEE Transactions on Pattern Analysis and Machine Intelligence, 42(8): 2011-2023[DOI: 10.1109/TPAMI.2019.2913372]
Hu Y, Wang H Q, Ma Z F. 2016. Adaptive smoke image segmentation algorithm based on improved Gaussian mixture model. Journal of Computer-Aided Design and Computer Graphics, 28(7): 1138-1145
Huang Z H, Hao C X, Wang J F, Xie Q. 2017. Analysis of vehicle contaminants emission in China. Environmental Protection, 45(13): 42-47 (黄志辉, 郝春晓, 王军方, 谢琼. 2017. 机动车污染物排放量分析——《中国机动车环境管理年报(2017)》第Ⅱ部分. 环境保护, 45(13): 42-47) [DOI:10.14026/j.cnki.0253-9705.2017.13.009]
Jia Y, Yuan J, Wang J J, Fang J, Zhang Q X, Zhang Y M. 2016. A saliency-based method for early smoke detection in video sequences. Fire Technology, 52(5): 1271-1292 [DOI:10.1007/s10694-014-0453-y]
Jian W L, Wu K Z, Yu Z R and Chen L J. 2018. Smoke regions extraction based on two steps segmentation and motion detection in early fire//Proceedings of the SPIE 10609, MIPPR 2017: Pattern Recognition and Computer Vision. Xiangyang, China: SPIE: #1060919[DOI: 10.1117/12.2285697]
Kaabi R, Sayadi M, Bouchouicha M, Fnaiech F, Moreau E and Ginoux J M. 2018. Early smoke detection of forest wildfire video using deep belief network//Proceedings of the 4th International Conference on Advanced Technologies for Signal and Image Processing (ATSIP). Sousse, Tunisia: IEEE: 1-6[DOI: 10.1109/ATSIP.2018.8364446]
Krizhevsky A, Sutskever I, Hinton G E. 2017. ImageNet classification with deep convolutional neural networks. Communications of the ACM, 60(6): 84-90 [DOI:10.1145/3065386]
LeCun Y, Bottou L, Bengio Y, Haffner P. 1998. Gradient-based learning applied to document recognition. Proceedings of the IEEE, 86(11): 2278-2324 [DOI:10.1109/5.726791]
Li C, Tang L Y, Pan L W. 2018. Video smoke detection algorithm for wildland-urban Interface. Computer Engineering, 44(1): 258-262 (李诚, 唐李洋, 潘李伟. 2018. 城镇森林交界域视频烟雾检测算法. 计算机工程, 44(1): 258-262) [DOI:10.3969/j.issn.1000-3428.2018.01.043]
Li X Q, Chen Z X, Wu Q M J, Liu C Y. 2020. 3D parallel fully convolutional networks for real-time video wildfire smoke detection. IEEE Transactions on Circuits and Systems for Video Technology, 30(1): 89-103 [DOI:10.1109/TCSVT.2018.2889193]
Liang J P, Wen G J, Gan L, Wu D, Wang Y D. 2019. Measuring method for smoke emission of in-use diesel vehicles based on machine vision. Computer Measurement and Control, 27(4): 32-35, 45 (梁荆璞, 文国军, 甘露, 吴丹, 王玉丹. 2019. 基于机器视觉的在用柴油车烟度测量方法. 计算机测量与控制, 27(4): 32-35, 45) [DOI:10.16526/j.cnki.11-4762/tp.2019.04.008]
Lin G H, Zhang Y M, Xu G, Zhang Q X. 2019. Smoke detection on video sequences using 3D convolutional neural networks. Fire Technology, 55(5): 1827-1847 [DOI:10.1007/s10694-019-00832-w]
Lin G H, Zhang Y M, Zhang Q X, Jia Y, Xu G, Wang J J. 2017. Smoke detection in video sequences based on dynamic texture using volume local binary patterns. KSⅡ Transactions on Internet and Information Systems, 11(11): 5522-5536 [DOI:10.3837/tiis.2017.11.019]
Liu Z, Yang X P, Liu Y, Qian Z H. 2019. Smoke-detection framework for high-definition video using fused spatial-and frequency-domain features. IEEE Access, 7: 89687-89701 [DOI:10.1109/ACCESS.2019.2926571]
Lu J W, Liong V E, Zhou X Z and Zhou J. 2015. Learning compact binary face descriptor for face recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, 37(10): 2041-2056[DOI: 10.1109/TPAMI.2015.2408359]
Luo S, Zhang X, Hu J, Wang M C, Zhang X Q. 2019. Smoke detection by trajectories in condensed images for early fire warning. Journal of Image and Graphics, 24(10): 1648-1657 (罗胜, 张翔, 胡杰, 王慕抽, 张笑钦. 2019. 时间压缩轨迹特征识别的火灾烟雾检测. 中国图象图形学报, 24(10): 1648-1657) [DOI:10.11834/jig.190217]
Luo Y M, Zhao L, Liu P Z, Huang D T. 2017. Fire smoke detection algorithm based on motion characteristic and convolutional neural networks. Multimedia Tools and Applications, 77(12): 15075-15092 [DOI:10.1007/s11042-017-5090-2]
Matlani P, Shrivastava M. 2019. Hybrid deep VGG-NET convolutional classifier for video smoke detection. CMES-Computer Modeling in Engineering and Sciences, 119(3): 427-458 [DOI:10.32604/cmes.2019.04985]
Muhammad K, Ahmad J, Baik S W. 2018a. Early fire detection using convolutional neural networks during surveillance for effective disaster management. Neurocomputing, 288: 30-42 [DOI:10.1016/j.neucom.2017.04.083]
Muhammad K, Ahmad J, Mehmood I, Rho S, Baik S W. 2018b. Convolutional neural networks based fire detection in surveillance videos. IEEE Access, 6: 18174-18183 [DOI:10.1109/ACCESS.2018.2812835]
Nakagawa H and Watanabe K. 2015. Exhaust gas analyzing apparatus, exhaust gas analyzing system and method of operating the same. U.S., No. 9010171
Namozov A, Cho Y I. 2018. An efficient deep learning algorithm for fire and smoke detection with limited data. Advances in Electrical and Computer Engineering, 18(4): 121-128 [DOI:10.4316/AECE.2018.04015]
Narasimhan S G, Nayar S K. 2002. Vision and the atmosphere. International Journal of Computer Vision, 48(3): 233-254 [DOI:10.1023/a:1016328200723]
Ojala T, Pietikainen M and Maenpaa T. 2002. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns. IEEE Transactions on Pattern Analysis and Machine Intelligence, 24(7): 971-987[DOI: 10.1109/TPAMI.2002.1017623]
Peng Y S and Wang Y. 2019. Real-time forest smoke detection using hand-designed features and deep learning. Computers and Electronics in Agriculture, 167: #105029[DOI: 10.1016/j.compag.2019.105029]
Pundir A S and Raman B. 2017. Deep belief network for smoke detection. Fire Technology, 53(6): 1943-1960[DOI: 10.1007/s10694-017-0665-z]
Pundir A S, Raman B. 2019. Dual deep learning model for image based smoke detection. Fire Technology, 55(6): 2419-2442 [DOI:10.1007/s10694-019-00872-2]
Ren S Q, He K M, Girshick R, Sun J. 2017. Faster R-CNN: towards real-time object detection with region proposal networks. IEEE Transactions on Pattern Analysis and Machine Intelligence, 39(6): 1137-1149 [DOI:10.1109/TPAMI.2016.2577031]
Ropkins K, DeFries T H, Pope F, Green D C, Kemper J, Kishan S, Fuller G W, Li H, Sidebottom J, Crilley L R, Kramer L, Bloss W J, Stewart Hager J. 2017. Evaluation of EDAR vehicle emissions remote sensing technology. Science of the Total Environment, 609: 1464-1474 [DOI:10.1016/j.scitotenv.2017.07.137]
Shi J T, Yuan F N, Xia X. 2018. Video smoke detection: a literature survey. Journal of Image and Graphics, 23(3): 303-322
Simonyan K and Zisserman A. 2015. Very deep convolutional networks for large-scale image recognition[EB/OL].[2019-12-19]. https: //arxiv.org/pdf/1409.1556.pdf
Sun R, Chen X C and Chen B Y. 2018. Smoke detection for videos based on adaptive learning rate and linear fitting algorithm//Proceedings of 2018 Chinese Automation Congress. Xi'an, China: IEEE: 1948-1954[DOI: 10.1109/CAC.2018.8623369]
Tao C Y, Zhang J and Wang P. 2017. Smoke detection based on deep convolutional neural networks//Proceedings of 2016 International Conference on Industrial Informatics-Computing Technology, Intelligent Technology, Industrial Information Integration (ICⅡCⅡ). Wuhan, China: IEEE: 150-153[DOI: 10.1109/ICⅡCⅡ.2016.0045]
Tao H J, Lu X B. 2018a. Smoky vehicle detection based on multi-scale block Tamura features. Signal, Image and Video Processing, 12(6): 1061-1068 [DOI:10.1007/s11760-018-1254-4]
Tao H J, Lu X B. 2018b. Smoky vehicle detection based on range filtering on three orthogonal planes and motion orientation histogram. IEEE Access, 6: 57180-57190 [DOI:10.1109/ACCESS.2018.2873757]
Tao H J, Lu X B. 2019. Smoke vehicle detection based on robust codebook model and robust volume local binary count patterns. Image and Vision Computing, 86: 17-27 [DOI:10.1016/j.imavis.2019.03.008]
Tian H D, Li W Q, Ogunbona P O, Wang L. 2018. Detection and separation of smoke from single image frames. IEEE Transactions on Image Processing, 27(3): 1164-1177 [DOI:10.1109/TIP.2017.2771499]
Tran D, Bourdev L, Fergus R, Torresani L and Paluri M. 2015. Learning spatiotemporal features with 3D convolutional networks//Proceedings of 2015 IEEE International Conference on Computer Vision (ICCV). Santiago, Chile: IEEE: 4489-4497[DOI: 10.1109/ICCV.2015.510]
Wang C X, Yu M. 2020. Research on image segmentation algorithm based on generalized gradient vector flow model. Journal of Hebei University of Technology, 49(1): 49-57 (王晨霞, 于明. 2020. 基于广义梯度矢量流模型图像分割算法的研究. 河北工业大学学报, 49(1): 49-57) [DOI:10.14081/j.cnki.hgdxb.2020.01.007]
Wang S D, He Y P, Yang H Y, Wang K X, Wang J. 2017. Video smoke detection using shape, color and dynamic features. Journal of Intelligent and Fuzzy Systems, 33(1): 305-313 [DOI:10.3233/JIFS-161605]
Wang W P, Mao W T, He J L, Dou Z. 2017. Smoke recognition based on deep transfer learning. Journal of Computer Applications, 37(11): 3176-3181, 3193 (王文朋, 毛文涛, 何建樑, 窦智. 2017. 基于深度迁移学习的烟雾识别方法. 计算机应用, 37(11): 3176-3181, 3193) [DOI:10.11772/j.issn.1001-9081.2017.11.3176]
Wang Y, Cheng J H, Liu T, Zhou Y Y, Xiong Y Y. 2019. A smoke detection method based on fusing multiple network models. Computer Engineering and Science, 41(10): 1771-1776 (王洋, 程江华, 刘通, 周岳勇, 熊艳晔. 2019. 一种多网络模型融合的烟雾检测方法. 计算机工程与科学, 41(10): 1771-1776) [DOI:10.3969/j.issn.1007-130X.2019.10.008]
Wang Z Y, Su Y T, Liu Y Y, Zhang W. 2019. Algorithm for segmentation of smoke using the improved DeeplabV3 network. Journal of XiDian University, 46(6): 52-59 (汪梓艺, 苏育挺, 刘艳艳, 张为. 2019. 一种改进DeeplabV3网络的烟雾分割算法. 西安电子科技大学学报, 46(4): 52-59) [DOI:10.19665/j.issn1001-2400.2019.06.008]
Wei X, Wu S H, Wang Y L. 2019. Forest fire smoke detection model based on deep convolution long short-term memory network. Journal of Computer Applications, 39(10): 2883-2887 (卫鑫, 武淑红, 王耀力. 2019. 基于深度卷积长短期记忆网络的森林火灾烟雾检测模型. 计算机应用, 39(10): 2883-2887) [DOI:10.11772/j.issn.1001-9081.2019040707]
Wright J, Ma Y, Mairal J, Sapiro G, Huang T S and Yan S C. 2010. Sparse representation for computer vision and pattern recognition. Proceedings of the IEEE, 98(6): 1031-1044[DOI: 10.1109/jproc.2010.2044470]
Wu J, Ye F, Ma J L, Sun X P, Xu J and Cui Z M. 2008. The segmentation and visualization of human organs based on adaptive region growing method//Proceedings of the 8th IEEE International Conference on Computer and Information Technology Workshops. Sydney, Australia: IEEE: 439-443[DOI: 10.1109/CIT.2008.Workshops.24]
Wu X H, Lu X B, Leung H. 2018. A video based fire smoke detection using robust AdaBoost. Sensors, 18(11): #3780 [DOI:10.3390/s18113780]
Wu X H, Lu X B, Leung H. 2019. Video smoke separation and detection via sparse representation. Neurocomputing, 360: 61-74 [DOI:10.1016/j.neucom.2019.06.011]
Xia X. 2018. Research on local ferture learning and representation for single image smoke recognition. Nanchang: Jiangxi University of Finance and Economics (夏雪. 2018. 单图烟雾识别中的局部特征学习与表示方法研究. 南昌: 江西财经大学)
Xia X, Yuan F N, Zhang L, Yang L Z, Shi J T. 2019. From traditional methods to deep ones: review of visual smoke recognition, detection, and segmentation. Journal of Image and Graphics, 24(10): 1627-1647 (夏雪, 袁非牛, 章琳, 杨龙箴, 史劲亭. 2019. 从传统到深度:视觉烟雾识别、检测与分割. 中国图象图形学报, 24(10): 1627-1647) [DOI:10.11834/jig.190230]
Xu G, Zhang Q X, Liu D C, Lin G H, Wang J J, Zhang Y M. 2019a. Adversarial adaptation from synthesis to reality in fast detector for smoke detection. IEEE Access, 7: 29471-29483 [DOI:10.1109/ACCESS.2019.2902606]
Xu G, Zhang Y M, Zhang Q X, Lin G H, Wang J J. 2017. Deep domain adaptation based video smoke detection using synthetic smoke images. Fire Safety Journal, 93: 53-59 [DOI:10.1016/j.firesaf.2017.08.004]
Xu G, Zhang Y M, Zhang Q X, Lin G H, Wang Z, Jia Y, Wang J J. 2019b. Video smoke detection based on deep saliency network. Fire Safety Journal, 105: 277-285 [DOI:10.1016/j.firesaf.2019.03.004]
Yang L Z, Yuan F N, Yang S Y, Lei B J, Zhang X F. 2019. Continuous graph convolutional model for video smoke detection. Journal of Image and Graphics, 24(10): 1658-1669 (杨龙箴, 袁非牛, 杨寿渊, 雷帮军, 张相芬. 2019. 连续图卷积视频烟雾检测模型. 中国图象图形学报, 24(10): 1658-1669) [DOI:10.11834/jig.190232]
Ye S P, Bai Z C, Chen H F, Bohush R, Ablameyko S. 2017. An effective algorithm to detect both smoke and flame using color and wavelet analysis. Pattern Recognition and Image Analysis, 27(1): 131-138 [DOI:10.1134/S1054661817010138]
Yin M X, Lang C Y, Li Z, Feng S H, Wang T. 2018. Recurrent convolutional network for video-based smoke detection. Multimedia Tools and Applications, 78(1): 237-256 [DOI:10.1007/s11042-017-5561-5]
Yin Z J, Wan B Y, Yuan F N, Xia X, Shi J T. 2017. A deep normalization and convolutional neural network for image smoke detection. IEEE Access, 5: 18429-18438 [DOI:10.1109/ACCESS.2017.2747399]
Yuan F, Zhao X Y, Wang Y G and Zhao Z S, 2020. Smoke recognition algorithm based on lightweight convolutional neural network. 55(5): 1111-1116 (袁飞, 赵绪言, 王一戈, 赵治晟, 2020.基于轻量级卷积神经网络的烟雾识别算法. 55(5): 1111-1116)[DOI: 10.3969/j.issn.0258-2724.20190777])
Yuan F N, Li G, Xia X, Zhang L, Zhou Y. 2019a. Smoke recognition by combining aggregated Gabor kernels and local binary patterns. Journal of Chinese Computer Systems, 40(4): 827-833 (袁非牛, 李钢, 夏雪, 章琳, 周宇. 2019a. 采用聚合Gabor核和局部二元模式的烟雾识别方法. 小型微型计算机系统, 40(4): 827-833)
Yuan F N, Shi J T, Xia X, Fang Y M, Fang Z J, Mei T. 2016. High-order local ternary patterns with locality preserving projection for smoke detection and image classification. Information Sciences, 372: 225-240 [DOI:10.1016/j.ins.2016.08.040]
Yuan F N, Shi J T, Xia X, Huang Q H, Li X L. 2019a. Co-occurrence matching of local binary patterns for improving visual adaption and its application to smoke recognition. IET Computer Vision, 13(2): 178-187 [DOI:10.1049/iet-cvi.2018.5164]
Yuan F N, Shi J T, Xia X, Zhang L, Li S Y. 2019b. Encoding pairwise Hamming distances of local binary patterns for visual smoke recognition. Computer Vision and Image Understanding, 178: 43-53 [DOI:10.1016/j.cviu.2018.10.008]
Yuan F N, Tang T T, Xia X, Shi J T, Li S Y. 2019c. Dual-encoded features from both spatial and Curvelet domains for image smoke recognition. KSⅡ Transactions on Internet and Information Systems, 13(4): 2078-2093 [DOI:10.3837/tiis.2019.04.019]
Yuan F N, Xia X, Li G, Zhang L, Shi J T. 2019b. GaborNet for smoke recognition and texture classification. Journal of Image and Graphics, 24(2): 269-281 (袁非牛, 夏雪, 李钢, 章琳, 史劲亭. 2019b. 面向烟雾识别与纹理分类的Gabor网络. 中国图象图形学报, 24(2): 269-281) [DOI:10.11834/jig.180397]
Yuan F N, Xia X, Shi J T. 2019d. Holistic learning-based high-order feature descriptor for smoke recognition. International Journal of Wavelets, Multiresolution and Information Processing, 17(2): #1940005 [DOI:10.1142/S0219691319400058]
Yuan F N, Xia X, Shi J T, Li H D, Li G. 2017. Non-linear dimensionality reduction and Gaussian process based classification method for smoke detection. IEEE Access, 5: 6833-6841 [DOI:10.1109/ACCESS.2017.2697408]
Yuan F N, Xia X, Shi J T, Zhang L, Huang J F. 2018. Learning multi-scale and multi-order features from 3D local differences for visual smoke recognition. Information Sciences, 468: 193-212 [DOI:10.1016/j.ins.2018.08.005]
Yuan F N, Zhang L, Wan B Y, Xia X, Shi J T. 2019e. Convolutional neural networks based on multi-scale additive merging layers for visual smoke recognition. Machine Vision and Applications, 30(2): 345-358 [DOI:10.1007/s00138-018-0990-3]
Yuan F N, Zhang L, Xia X, Wan B Y, Huang Q H, Li X L. 2019f. Deep smoke segmentation. Neurocomputing, 357: 248-260 [DOI:10.1016/j.neucom.2019.05.011]
Zhang N, Wang H Q, Hu Y. 2017. Smoke image segmentation algorithm based on rough set and region growing. Journal of Frontiers of Computer Science and Technology, 11(8): 1296-1304 (张娜, 王慧琴, 胡燕. 2017. 粗糙集与区域生长的烟雾图像分割算法研究. 计算机科学与探索, 11(8): 1296-1304) [DOI:10.3778/j.issn.1673-9418.1606018]
Zhang Q X, Lin G H, Zhang Y M, Xu G and Wang J J. 2018. Wildland forest fire smoke detection based on Faster R-CNN using synthetic smoke images. Procedia Engineering, 211: 441-446[DOI: 10.1016/j.proeng.2017.12.034]
Zhao L, Luo Y M, Luo X Y. 2017. Based on dynamic background update and dark channel prior of fire smoke detection algorithm. Application Research of Computers, 34(3): 957-960 (赵亮, 骆炎民, 骆翔宇. 2017. 基于背景动态更新与暗通道先验的火灾烟雾检测算法. 计算机应用研究, 34(3): 957-960) [DOI:10.3969/j.issn.1001-3695.2017.03.074]
Zhao X C, Lin Y P, Heikkilä J. 2018. Dynamic texture recognition using volume local binary count patterns with an application to 2D face spoofing detection. IEEE Transactions on Multimedia, 20(3): 552-566 [DOI:10.1109/TMM.2017.2750415]
Zhou Z Q, Shi Y S, Gao Z F, Li S. 2016. Wildfire smoke detection based on local extremal region segmentation and surveillance. Fire Safety Journal, 85: 50-58 [DOI:10.1016/j.firesaf.2016.08.004]