Print

发布时间: 2018-03-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.170439
2018 | Volume 23 | Number 3




    综述    




  <<上一篇 




  下一篇>> 




视频烟雾检测研究进展
expand article info 史劲亭1,2, 袁非牛2, 夏雪2
1. 江西农业大学职业师范(技术)学院, 南昌 330045;
2. 江西财经大学信息管理学院, 南昌 330032
收稿日期: 2017-08-23; 修回日期: 2017-10-07
基金项目: 国家自然科学基金项目（61363038）；江西省高校科技落地计划（KJLD12066）；江西省青年科学家培养对象（20142BCB23014）；江西省教育厅科技项目（GJJ150459，GJJ150406）；江西省科技支撑计划项目（2015ZBBE50013）
第一作者简介: 史劲亭(1982-), 女, 讲师, 江西财经大学服务计算及应用专业博士研究生, 主要研究方向为图像处理与模式识别。E-mail:icanflysjt@126.com.
中图法分类号: TP391
文献标识码: A
文章编号: 1006-8961(2018)03-0303-20

摘要

目的 视频烟雾检测具有响应速度快、不易受环境因素影响、适用面广、成本低等优势，为及早预警火灾提供有力保障。近年涌现大量视频检测方法，尽管检测率有所提升，但仍受到高误报率和高漏报率的困扰。为了全面反映视频烟雾检测的研究现状和最新进展，本文重点针对2014年至2017年国内外公开发表的主要文献，进行全面的梳理和分析。方法 该工作建立在广泛文献调研的基础上，立足于视频烟雾检测的基本框架，围绕视频图像预处理、疑似烟区提取、烟雾特征描述、烟雾分类识别等处理阶段，系统地对最新文献进行分析和总结。此外，对区别于传统框架的深度学习检测方法亦进行了相关归纳。结果 重点依据烟雾运动特征和烟雾静态特征这两类，对疑似烟区提取方法进行梳理；从统计量特征、变换域特征和局部模式特征3个方面对烟雾特征描述方法进行梳理，并从颜色、形状等七个角度进行总结；从基于规则和基于学习这两个视角，梳理烟雾识别和决策方法；最后，对于基于深度学习的方法单独进行了阐述。文献通过系统地梳理，凝练出视频烟雾检测近几年取得的进展和尚存在的不足，并对视频烟雾检测发展前景进行展望。结论 针对视频烟雾检测的研究一直备受青睐，越来越多性能优秀的检测算法不断涌现。通过对现有研究进行全面梳理和系统分析，期望视频烟雾检测能取得更大的进展并更好地应用于工业领域，为火灾预警提供更有力的保障。

关键词

视频烟雾检测; 烟雾识别; 特征提取; 运动特征; 静态特征; 局部特征

Video smoke detection: a literature survey
expand article info Shi Jinting1,2, Yuan Feiniu2, Xia Xue2
1. Vocational School of Teachers(Technology), Jiangxi Agricultural University, Nanchang 330045, China;
2. School of Information Technology, Jiangxi University of Finance and Economics, Nanchang 330032, China
Supported by: National Natural Science Foundation of China (61363038); Science Technology Application Project of Jiangxi Colleges and Universities (KJLD12066); Cultivated Talent Program for Young Scientists of Jiangxi Province (20142BCB23014); Science Technology Project of Jiangxi Education Department (GJJ150459, GJJ150406); Key Technology R&D Program of Jiangxi Province (2015ZBBE50013)

Abstract

Objective Video smoke detection methods can guarantee real-time fire alarms because these methods respond quickly to fire and have strong robustness to the environment, suitability for various scenes, and low-cost application. Many state-of-the-art video smoke detection methods have been proposed recently. The detection rates of these methods have been greatly improved by recent efforts, but these methods still suffer from the problem of high false and missing alarms. We provide an up-to-date critical survey of research on video smoke detection methods to keep up with the latest research progress, research focus, and development trends in video smoke detection. We focused on domestic and international research on video smoke detection published from 2014 to 2017. These publications include feature extraction, smoke recognition, and detection based on images and videos. Method We review papers on video smoke detection and summarize a general research framework for video smoke detection. The general framework of video smoke detection indicates that the general procedure of these methods is divided into several processing steps, namely, video preprocessing, detection of candidate smoke regions, feature extraction of smoke regions, video smoke classification, and other processing techniques. We discuss these methods in detail according to the general processing steps. Aside from describing traditional smoke detection methods based on handcrafted features, we also discuss and analyze deep learning-based smoke detection methods that were recently proposed given that deep learning is a hot area in machine learning research. Result On the basis of the general processing steps, we analyze these video preprocessing methods and divide the relevant literature into three major categories. These video preprocessing methods include preprocessing methods for color, preprocessing techniques for noise interference, and preprocessing approaches to image segmentation. Candidate smoke regions are detected in two ways. One way is to simply divide the image into a set of blocks, and each image block is tested. Some blocks may be classified as a candidate smoke region. Another way is to extract complete candidate smoke regions. The extraction methods of complete candidate smoke regions are sorted according to smoke motion and static characteristics. The information of smoke motion features can be obtained through object detection based on background modeling technology and object detection based on the simple differences of adjacent frames.Some static characteristics of smoke can be summed up as traditional features, such as color and shape. Other static characteristics are extracted by methods of a novel perspective. Statistical measures, transformation domain, and local features are classified into seven categories of features:color, shape, gradient, orientation, textures, frequency, and motion. Classification methods for video smoke detection are first reviewed and then categorized into two types, namely, rule-based methods and learning-based ones. Deep learning-based methods are reviewed independently because they are different from traditional smoke recognition methods. On the basis of the above analysis of these methods, we detail the advantages of existing video smoke detection methods. State-of-the-art methods with high detection rates and low false alarm rates have been proposed in recent years. Some novel methods exist. Some methods attempt to explore classification methods. Some datasets have been created and widely used to facilitate the training and testing of methods. We also elaborate the shortcomings of existing video smoke detection methods. The false alarm rates and error rates of detection methods remain high. Most algorithms are dependent on scenes and are easily disturbed by noise. Smoke features are simply combined without rules in some methods. Moreover, no publicly available video datasets exist with labeled smoke regions and standard evaluation criteria for video smoke detection. Finally, we suggest possible promising directions for future research. First, a set of video datasets is manually labeled, and standard evaluation criteria must be established. Second, researchers must explore essential features of smoke. Third, an effective fusing method for multiple smoke features extracted by different methods is needed. Fourth, smoke features must be automatically learned by machine learning methods instead of handcrafted designed ones. Finally, we refer to a new detection framework, such as deep learning-based frameworks, which are completely different from the basic framework. Conclusion Video smoke detection methods are one of the most important and popular research topics nowadays. Our review and analysis of existing methods may provide researchers with powerful support for their work on early fire alarms, promote the advancement of video smoke detection, and further push industrial applications for video smoke detection.

Key words

video smoke detection; smoke recognition; feature extraction; motion feature; static feature; local feature

0 引言

火灾是自然灾害和社会灾害中发生概率最高的灾害之一，对人类的生活和生命安全构成严重威胁。据中国公安部消防局公布数据显示，仅2016年，全国共接报火灾31.2万起，死亡1582人，受伤1065人，直接财产损失达37.2亿元。2014年、2015年两年，全国公安消防部门共接报火灾74.2万起，死亡3 714人，受伤2 726人，直接财产损失90.6亿元；接报森林、草原、矿井地下部分及铁路、港航系统火灾6 935起，死亡290人，受伤887人，失踪8人，受灾森林3.2万公顷，受灾草原15.3万公顷，直接经济损失91.94亿元。纵观世界范围，火灾依然频繁发生。仅2016年中，4月印度喀拉拉邦柯兰县大火，116人死亡、近300人受伤，寺庙主体等建筑夷为平地；5月加拿大西部发生严重火灾，8.8万居民紧急撤离，1600多座建筑物被烧毁，过火面积超过100平方公里；8月美国加州爆发大火，延烧面积超过120平方千米，8万余人被紧急疏散[1]。火灾的频繁发生，不仅带来了经济损失，更重要的是危及生命安全，造成环境污染、生态环境破坏、文物和景观损失等一系列问题。及时准确地发现火灾，在火灾预警和扑救工作中有着极其重要的意义。

火灾的起因和发生场所具有多样性，对火灾预警及扑救工作造成了阻碍。多年来，国内外均致力于火灾防治研究，进行了各种尝试。现阶段的各类火灾探测器主要有热感应式探测器、光感应式探测器以及烟感应式探测器。这些传统的探测器价格便宜、准确度高，但普遍存在一些难以解决的缺陷。例如由于烟雾传播和温度上升等现象的发生均需要相对较长的时间，使得传统传感器不可避免地会产生响应延迟。此外，传统传感器需要安装在起火点附近、长期接触大量粉尘等因素，使得传统传感器极易故障或失效，并且尤其不适用于高大空间或室外场景这些高火灾隐患场所的火灾检测。开发更有效、可靠的探测方式一直是火灾防治的努力方向。

随着经济建设的高速发展，为了满足城市治安防控和城市管理的需要，公安部联合信息产业部(工信部)等相关部门共同发起了天网工程的建设。该工程利用图像采集、传输、控制、显示等设备和软件，对固定区域进行实时监控并记录相关的信息，形成高度集成、联防联控的视频监控系统。此外，国家及地方森林公安局也建有专门面向森林防火的视频监控系统。然而，由于这些监控系统主要采用人工判读方式，效率较低。因此，视频监控系统的自动智能处理有着重大意义。

为了充分利用现有的视频监控硬件资源，研究基于视频的火灾探测技术具有重要的理论和应用价值。基于视频的火灾探测技术是一种基于机器视觉、非接触的火灾探测技术，尤其适合解决大空间、室外等场所的火灾探测难题。这类方法具有响应快、不易受环境因素影响、适用面广、成本低等优势，成为火灾检测方法中较为重要的交叉学科研究领域。

视频火灾检测主要分为火焰检测和烟雾检测两大类别。火灾的发生往往是先有阴燃产生的烟雾然后才有火焰。有时即便有明火存在，受拍摄角度、火焰大小和遮挡等原因，早期火焰未必能落入视频监控区域。如能及时准确地对烟雾进行检测，对火灾预警及扑救有着深远意义。现有的视频烟雾监测系统取得了一定的成绩，但仍旧存在误报、漏报的情况，进一步提高烟雾检测的性能是当前研究的重点之一。

为了纵观视频烟雾检测算法的基本原理、进展，罗胜等人[2]进行了文献综述并进行了分析、总结及展望。然而，该综述重点关注视频烟雾检测采用的烟雾特征、分类方法、动态目标提取等方面，因而缺少了检测方法各个阶段的整体联系。随后，Ojo等人[3]也进行了视频烟雾检测领域的综述，但仅仅是以编年的方式罗列了文献，并未进行更深一步的梳理及分析。此外，近年视频火灾研究进展迅猛，大量方法涌现，急需补充综述近几年出现的烟雾检测算法。

为能反映视频烟雾检测的最新进展，进一步深入研究视频烟雾检测并拓展于应用，本文在已有的知识基础上，重点针对2014至2017年公开发表的主要文献，进行全面地综述及对比分析。该工作基于视频烟雾检测的基本框架，系统地针对视频图像预处理、疑似烟区提取、烟雾特征描述分析、烟雾分类识别等方面对文献进行梳理，总结出所取得的进展，凝练出尚存在的不足及发展方向，反映了视频烟雾检测的研究进展。

1 视频烟雾检测基本框架

烟雾形状、色彩千变万化，运动规律难以把握，给视频烟雾检测带来了巨大的挑战。许多研究者充分利用了烟雾的色彩、纹理、湍流、飘动等各种特性，致力于分析烟雾的本质特征。

目标的运动模式为烟雾检测提供了重要信息。Guillemant等人[4-5]采用灰度嵌入等方法生成链接表，然后据此表提取目标的运动特征，用于检测烟雾是否存在，提出了一种森林火灾检测方法。Kopilovic等人[6]提取运动光流方向的分布熵，表征烟雾运动的不规则特征，用于检测烟雾。Toreyin等人[7]采用小波变换研究烟雾随时间变化的模糊和波动特征。Tung等人[8]提出一种4阶段视频烟雾检测算法。在第1阶段，采用近似中值方法提取运动区域。在第2阶段，采用模糊c均值方法对运动区域进行聚类得到候选烟雾区域。在第3阶段，提取候选区域的时空特征。在第4阶段，采用支持向量机(SVM)进行判断。Grech-Cini[9]提取参考图像和当前图像变化百分比、相关性、方差等特征，然后采用基于规则或规则优先的贝叶斯方法，对烟雾与非烟雾的运动进行识别。袁非牛等人[10]提出了一种基于高通滤波的半透明遮挡快速检测模型。并通过研究烟雾的运动规律，提出了一种基于积分图像和色彩饱和度检测的快速烟雾检测技术[11]。在此基础上，进一步研究了孤立噪声和杂乱运动干扰的消除技术[12]。

烟雾所呈现的特定色彩、纹理等特征，对烟雾的检测具有重要作用。Chen等人[13]通过分析得出烟雾色彩在RGB模型中3个通道上的灰度值很接近，并且主要分布在80至220这一范围。Krstinić等人[14]对比了RGB、YCbCr、CIELab、HSI几个色彩模型，并提出了体现烟雾特性的HS’Ⅰ模型。Fujiwara等人[15]采用分形理论提取烟雾的自相似分形特征，在图像中搜索烟雾目标。Gubbi等人[16]提出了一种基于小波变换和SVM的视频烟雾检测方法，在三级小波分解的所有子带图像上，分别提取算术均值、几何均值、偏差、倾斜度、峰度和熵等共计60个特征用于描述烟雾。Tian等人[17]通过图像分离的方法提出一种基于融合图像的烟雾检测方法。该方法需要计算烟雾和背景的融合图像，采用优化方法求解烟雾不透明度。Verstockt等人[18]采用了专门的ToF相机用于获取深度信息，提出一种多模态的火焰和烟雾检测算法，用于高大开放空间火灾检测。Yuan[19]提出了一种基于局部二值模式(LBP)和局部二值模式方差(LBPV)金字塔多尺度特征的烟雾检测算法。Yuan[20]采用规则划分检测窗口的方式，消除AdaBoost算法学习产生的形状依赖性，从而提出一种鲁棒的视频烟雾特征。

这些视频烟雾检测方法从应用形式的角度来看，主要分为两类。一类是同时配合火焰检测进行的烟雾检测算法，该类方法更多地注重提出同时适用于火焰检测和烟雾检测的框架。另一类则聚焦于烟雾检测，注重提出更揭示烟雾本质的方法以提高检测率，降低误报率和漏报率。无论是这两类算法中的哪一类，其基本检测框架可归纳为如图 1所示，分为视频图像预处理、疑似烟雾区域提取、烟雾特征描述、烟雾识别这几个阶段。本文随后基于该检测框架的每个阶段进行视频烟雾检测的介绍与总结。



图 1 视频烟雾检测基本框架
Fig. 1 Framework of video smoke detection

2 视频图像预处理

与人眼视觉不同，视频图像的采集多数是依靠闭路电视监控系统(CCTV)和传统的电荷耦合元件(CCD)图像传感器，在采集过程中，特别是在大型户外开放场所的监控系统中，容易受到外界的干扰。常见的干扰包括不可避免的电子噪声、不同设备的色彩差异、不同的光照条件和特殊场景中的环境影响等。在特殊场景中，诸如远距离野外火灾和森林火灾的视频采集设备多数安装在较高的瞭望台，存在容易受到强风影响造成摄像机抖动等干扰问题；煤矿井下火灾视频的采集容易受到光照不足和粉尘等因素影响。一般情景中，特别是利用色彩特征的算法，也需要去除不同设备色彩差异及光照等影响。此外，由于基于像素的算法存在诸如计算代价较高等问题，很多算法对图像大小进行了处理甚至采用了分块的方式。因此，在进行烟雾检测时，有时会根据需要对视频进行预处理以提高检测性能。

2.1 针对色彩的预处理

Qureshi等人[21]为了去除光照影响，对视频进行了光照估计和色彩规范化。Cruz等人[22]采用了另一种色彩规范化方法，即先分别对R、G、B这3个通道的值除以255进行归一化，然后计算每个色彩通道在3个通道中的比例 $r,g,b$ ，计算公式为

$ r = \frac{R}{{R + G + B}},g = \frac{G}{{R + G + B}},b = \frac{B}{{R + G + B}} $ (1)

Jia等人[23]为提亮烟雾区域，对Lab色彩模型中的L分量进行非线性增强。计算公式为

$ \begin{array}{l} g\left( {x,y} \right) = \\ \left\{ \begin{array}{l} 255\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;f\left( {x,y} \right) > 220\\ 255 \times {\left( {\frac{{f\left( {x,y} \right) - 80}}{{220 - 80}}} \right)^\gamma }\;\;\;80 \le f\left( {x,y} \right) \le 220\\ 0\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;f\left( {x,y} \right) < 80 \end{array} \right. \end{array} $ (2)

式中，$g\left( {x,y} \right)$和$f\left( {x,y} \right)$分别表示在 $\left( {x,y} \right)$ 的像素增强后和增强前的亮度值，$\gamma $ 为决定亮度分布的参数。

李笋等人[24]引入暗通道先验，在RGB色彩模型中进行了色彩增强。其计算公式为

$ J = median\left( {\left\{ \begin{array}{l} 2{C_{\min }} - {C_{\max }}\;\;\;\;{C_{\max }} < 2{C_{\min }}\\ 0\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;其他 \end{array} \right.} \right) $ (3)

式中，$J$ 为色彩增强后的图，${C_{\min }}$ 和 ${C_{\max }}$ 分别为R、G、B 3个色彩分量中的最小值和最大值。$median$ (·)表示中值滤波算子，用于去除噪声干扰。在烟雾检测中很多时候并不单纯地只使用一类预处理。

2.2 针对干扰的预处理

Ye等人[25]使用灰度变换和直方图均衡化以消除不同场景光照下对比度的影响。此外，应用离散小波变换以去除水平、垂直及对角线方向的高频信息。刘青松等人[26]对视频图像进行了中值滤波以消除噪声等干扰。Ince等人[27]计算了归一化的帧间相互关系，利用二阶导数寻找帧间变化的局部极小值与极大值，从而消除图像缩放、平移和倾斜产生的影响。

在特殊场景中，王媛彬等人[28]为去除煤矿井下巷道视频图像的干扰信息，采用改进的Pal法[29]对图像进行模糊增强。Li等人[30]对图像进行了辐射较准、几何较正和数据转换处理以消除遥感数据采集过程中的干扰。

2.3 针对图像分块的预处理

刘颖等人[31]、陈俊周等人[32]、刘青松等人[26]和仝伯兵等人[33]将图像分成N × N块，以块为单位提取运动区域。Dimitropoulos等人[34]首先将图像划分成N × N块再转换到HSV色彩模型进行处理从而减少计算代价。Luo等人[35]指出当图像较大或烟雾轻薄时，视频时间压缩图像中的烟雾会被掩盖，因此同样采用视频图像的分块方法。

3 疑似烟雾区域提取

从视频图像中提取疑似烟区的目标是将怀疑为烟雾的区域与背景或其他物体区别开来，这一环节直接影响后续识别的性能。疑似烟雾区域的提取方式可以概括为两类。一类是提取完整疑似烟区进行检测。这类方法可以保留一些烟雾的边缘、形状等特征，但在时域分析上难以追踪同一目标。另一类方法是将图像分块处理，对每个图像块进行检测。这类方法在时域分析上更为便利，但会丢失烟区的整体信息。

图像分块处理的方法直接提取每个图像块的特征，这种疑似烟区提取方法快速、简单。本节重点讨论完整疑似烟区的提取方法，该方法涉及目标跟踪等复杂算法。完整疑似烟区提取方法多采用视频监控中的目标检测方法，大致可分为基于目标运动的检测方法和基于目标特征的检测方法两大类。部分文献先使用基于目标运动的检测方法后再应用基于目标特征的方法进一步筛选。因此，本文分类时以是否采用了基于目标运动的方法为依据。

3.1 基于烟雾运动的疑似烟区提取

烟雾的飘动、扩散等运动特性是烟雾比较明显的视觉特征，这些特征使得基于目标运动的目标提取方法能够有效提取疑似烟区。比较常用的目标运动提取方法主要有背景差分法、帧间差分法和光流法。背景差分法的中心思想为建立一个背景模型，然后用当前图像与背景模型进行差分，变化较大的部分视为目标区域。帧间差分法是对连续的若干帧进行差分获取对应像素点的变化。差分较大的区域表示变化较大的运动区域，被认定为目标区域。光流法是通过计算光流场，依据光流场的不连续性，对比速度差异区分运动目标与静止目标。

在2014年至2017年的文献中，疑似烟雾区域的提取主要以背景差分法为主，少数文献使用了帧间差分法。光流法计算代价巨大，因此只有极少文献使用光流法。

3.1.1 基于背景差分法的目标提取

背景建模是背景差分法的最关键部分。由于实际环境往往较为复杂，干扰因素比较多，使得背景建模比较困难。为了让背景差分的结果更具有可信度，一些文献对背景差分法进行了改进，另一些文献在使用背景差分后加入了一些规则进行初步筛选。本文以是否对背景差分法进行了改进为依据，将2014年至2017年的文献分为两类进行阐述。

1) 应用传统背景建模法的方法。Qureshi等人[21]应用静态背景模型进行背景差分提取前景目标检测和分割移动区域。Zhao等人[36]、黎粤华等人[37]和Zhao等人[38]使用Kalman滤波更新视频背景来检测移动区域。陈海鹏等人[39]使用低通滤波对背景进行提取和更新，获取运动目标后应用形态学处理得到疑似烟区。孙建坤等人[40]将连续三帧的两个帧间差与通过更新背景模型计算得到的动态阈值进行比较确定疑似烟区。Dimitropoulos等人[34]和Vieira等人[41]使用自适应中值法建立背景模型进行差分获取候选烟区。Ince等人[27]分别在Lab和RGB色彩空间中利用目标的色彩特征进行过滤，采用了两套不同参数设置的近似中值法分别分割慢飘动疑似烟区和快飘动疑似烟区。

为更完善地描述复杂背景信息，王媛彬等人[28]、郑怀兵等人[42]、Kim等人[43]、王琳等人[44]和何大超等人[45]采用混合高斯模型提取烟雾区域。吴冬梅等人[46]应用混合高斯模型建模提取运动区域后，采用基于色彩规则进一步筛选目标提取疑似烟区。周泊龙等人[47]在此框架上采用了更为复杂的色彩规则进行筛选，但该方法中涉及较多阈值。

董兰芳等人[48]采用基于高斯混合模型和统计非参数方法的背景差分法检测疑似烟区。然后引入暗通道先验进行筛选，最后使用形态学滤波等方法去噪。王孟柳等人[49]同样引入了暗通道先验，不同的是利用暗通道优先规则计算背景模型，在背景差分结果上使用YCbCr中Cb通道二值化后得到疑似烟区。

丁怀对等人[50]同样使用混合高斯模型提取运动区域，然后采用形态学的方法去除噪声影响。随后将运动区域分成N × N块，依据块的面积变化、灰度变化和梯度变化提取疑似烟雾目标块。

综合来看，高斯混合模型是最为认可的背景建模方式，但仍无法表达视频烟雾图像中的复杂的环境。因此，一些面向烟雾场景的改进背景建模方法应运而生。

2) 应用改进背景建模法的方法。Ye等人[25]注意到烟雾在背景中是慢慢扩散这一现象，提出自适应背景差分法，提取出缓慢移动的区域和前景部分作为烟雾疑似区域。

赵亮等人[51]同样依据烟雾扩散缓慢的现象，提出一种改进的背景动态更新方法。该方法比较相邻帧中对应像素点的灰度值。如果灰度值发生改变，就会参照当前帧背景、下一帧图像和原始背景来估计下一帧的背景。其计算公式为

$ {\mathit{\boldsymbol{B}}_{n + 1}}\left( {x,y} \right) = \left\{ \begin{array}{l} \alpha \times {\mathit{\boldsymbol{B}}_n}\left( {x,y} \right) + \beta \times {\mathit{\boldsymbol{F}}_{n + 1}}\left( {x,y} \right) + \left( {1 - \alpha - \beta } \right) \times {\mathit{\boldsymbol{B}}_1}\left( {x,y} \right)\;\;\;\;\;\left| {{\mathit{\boldsymbol{F}}_{n + 1}}\left( {x,y} \right) - {\mathit{\boldsymbol{F}}_n}\left( {x,y} \right)} \right| > 0\\ {\mathit{\boldsymbol{B}}_{n + 1}}\left( {x,y} \right)\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;其他 \end{array} \right. $ (4)

式中，${\mathit{\boldsymbol{B}}_{n + {\rm{ }}1}}\left( {x, y} \right)$为需要计算的下一帧背景，${\mathit{\boldsymbol{B}}_1}$$\left( {x, y} \right)$为初始背景，${\mathit{\boldsymbol{B}}_n}$ $\left( {x, y} \right)$为当前帧背景，${\mathit{\boldsymbol{F}}_{n + {\rm{ }}1}}\left( {x, y} \right)$为下一帧图像，$\alpha $ 和 $\beta $ 为平衡因子。背景差分得到目标区域后，利用暗通道先验对目标进行筛选。暗通道的规则使得该方法针对黑色烟雾检测时性能有所下降，背景更新的实时性有待提高，同样涉及到较多的阈值。

刘颖等人[31]考虑到背景需要适应环境变化的影响，特别是当目标在静止与运动互相过渡的时候，会出现虚假运动区域。提出利用烟雾的颜色、背景模糊及运动方向进行实时更新背景的运行期中值法。使用了3个参数分别更新背景、烟区前景和非烟区前景。采取自适应跟踪方式选取阈值。由于进行了分块的预处理，最后使用八连通法对图像块进行筛选，以去除噪声的影响从而得到疑似烟区。

焦斌亮等人[52]提出双背景模型检测运动区域的方法，然后对连续若干帧中的运动区域依据烟雾增长和上升现象进行筛选。Liu等人[53]提出结合背景差分法、帧内差异法和帧内差异前向多步积分的方法，从而可以快速定位移动区域。通过对定位的移动区域进行低秩分解和稀疏分解提取疑似烟区。

3.1.2 基于帧间差分法的目标提取

帧间差分法对光线和环境变化敏感，容易产生目标区域“空洞”现象。选择帧间差分法的文献多采取图像分块的策略来缓解这一现象带来的影响。刘青松等人[26]和陈俊周等人[32]进行分块预处理之后，以块为单位进行帧间差分提取出运动区域作为疑似烟区。除了分块的策略，也可以通过改进算法来弥补帧间差分法的不足。史玉坤等人[54]采取三帧差与时域窗口累加的方法求出前景，分割出烟雾候选区域。

3.2 基于烟雾特征的疑似烟区提取

烟雾具有典型的色彩、纹理等特征，这些特征不一定能准确识别烟雾，但为疑似烟区的提取提供了有力依据。本文将基于已经广泛认可的特征进行疑似烟区提取的方法，统称为基于传统特征的方法。在近年的研究中，出现了许多独特视角分析烟雾特征提取疑似烟区的文献，本文称为基于其他特征的方法。

3.2.1 基于传统特征的方法

Cruz等人[22]从色彩色调的角度出发，通过对比包含火焰、烟雾的区域与其他区域的像素色调分布，提出火灾检测指数(FDI)，并在此基础上针对森林火灾绿色背景，结合过绿色彩指数(ExG)，提出森林火灾检测指数(FFDI)，用于提取疑似烟区。Wang等人[55]分别在YCbCr色彩模型的亮度、蓝色通道和红色通道上，计算Choquet模糊积分提取前景区域作为疑似烟区。Prema等人[56]将视频图像从RGB色彩模型转换到不受光照变化影响的YUV色彩模型。依据烟雾在U通道上的值相较于非烟雾更大，且与Y通道的差异比非烟雾更大来提取疑似烟雾区域。

颜色特征是应用最为广泛的一种依据。与此同时，烟雾的亮度分布也提供了有力信息，李笋等人[24]和Zhou等人[57]在烟雾增强颜色变换图像上检测最大稳定极值区域以分割出疑似烟区。

3.2.2 基于其他特征的方法

1) 基于显著性的方法。Jia等人[23]提出基于显著性的疑似烟区检测方法。通常显著性方法都是基于色彩的差异，然而烟雾的色彩差异并不显著，故鲜有基于显著性的烟雾检测方法。该方法创新地使用如图 2所示的矩形滑动窗口，通过对比K区域和B区域的特征分布来计算显著性。



图 2 用于计算显著性的滑动窗口
Fig. 2 A sliding window for saliency calculation

该方法假设坐标$\left( {x, y} \right)$点的特征显著$f\left( {x, y} \right)$的概率为$P\left( {{H_1}} \right)$，非显著的概率为$P\left( {{H_0}} \right)$，将条件概率$P\left( {{H_1}|f\left( {x, y} \right)} \right)$视为点$\left( {x, y} \right)$的显著性。依据贝叶斯原理，其计算方式为

$ \begin{array}{*{20}{c}} {P\left( {{H_1}\left| {f\left( {x,y} \right)} \right.} \right) = }\\ {\frac{{P\left( {f\left( {x,y} \right)\left| {{H_1}} \right.} \right)P\left( {{H_1}} \right)}}{{P\left( {f\left( {x,y} \right)\left| {{H_0}} \right.} \right)P\left( {{H_0}} \right) + P\left( {f\left( {x,y} \right)\left| {{H_1}} \right.} \right)P\left( {{H_1}} \right)}}} \end{array} $ (5)

式中，先验概率$P\left( {{H_1}} \right)$和$P\left( {{H_0}} \right)$分别设置为经验值。$P\left( {f\left( {x, y} \right)|{H_1}} \right)$和$P\left( {f\left( {x, y} \right)|{H_0}} \right)$分别由$\hat P\left( {f\left( {x, y} \right)|{H_1}} \right)$和$\hat P\left( {f\left( {x, y} \right)|{H_0}} \right)$替代，估算概率密度函数的计算公式为

$ \hat P\left( {f\left( {x,y} \right)\left| {{H_1}} \right.} \right) = \frac{{g\left( f \right) * {h_{\rm{B}}}\left( f \right)}}{{\sum {g\left( f \right) * {h_{\rm{B}}}\left( f \right)} }} $ (6)

$ \hat P\left( {f\left( {x,y} \right)\left| {{H_0}} \right.} \right) = \frac{{g\left( f \right) * {h_{\rm{K}}}\left( f \right)}}{{\sum {g\left( f \right) * {h_{\rm{K}}}\left( f \right)} }} $ (7)

式中，${h_{\rm{B}}}\left( f \right)$和${h_{\rm{K}}}\left( f \right)$分别是K区域和B区域统计出的直方图，$g\left( f \right)$为高斯平滑函数。

该方法处理流程：(1)使用Horn-Schunck算法计算光流运动矢量；(2)设置不同的窗口尺寸和移动间隔，应用上述显著性计算规则，分别在颜色和运动映射上计算颜色显著性和运动显著性；(3)取两者中的最大值为最终显著性映射；(4)设定阈值，筛选提取出疑似烟雾区域。

2) 基于视频时间压缩图像的方法。Luo等人[35]依据流体力学纳维—斯托克斯(Navier-Stokes)方程描述烟雾运动。将烟雾运动分解成垂直分量和水平分量，分别分析两个分量在视频的时间压缩图像中烟雾轨迹。依据压缩图像遵循粒子反射规则，假设烟雾粒子占$e\% $，则其余$1 - e\% $为背景，如式(8)所示。根据烟会在相邻图像中逐渐改变的原理，可以通过目标函数(9)估计$e$的取值。

$ \mathit{\boldsymbol{I = }}\left( {1 - e} \right)\mathit{\boldsymbol{B}} + e\mathit{\boldsymbol{S}} $ (8)

$ \begin{array}{*{20}{c}} {\mathop {\min }\limits_{a,s} \sum {\left[ {\left( {\mathit{\boldsymbol{I}} - \mathit{\boldsymbol{B}}} \right) + \alpha \left( {\mathit{\boldsymbol{B}} - \mathit{\boldsymbol{S}}} \right)} \right]} }\\ {{\rm{s}}.\;{\rm{t}}.\;\;\;{\rm{min}}\sum\limits_i^N {\left[ {\sum\limits_{j \in {\Omega _i}} {\left( {{s_i} - {s_j}} \right)} } \right]} } \end{array} $ (9)

式中，$\mathit{\boldsymbol{I}}$表示图像，$\mathit{\boldsymbol{B}}$代表背景，$\mathit{\boldsymbol{S}}$代表烟区，$\alpha $为平衡因子，$ {s_i}$和${s_j}$为区域${\Omega _i}$里的烟雾像素。因此，可以提取出压缩图像中的疑似烟区，称之为烟团。

3) 基于优化问题求解的方法。Tian等人[58]将图像视为烟雾和背景图像的线性组合。首先将视频图像划分为一些可重叠、可不重叠的小图像块。根据基本的大气散射模型，将t时刻的图像为

$ {\mathit{\boldsymbol{f}}_t} = {\alpha _t}{\mathit{\boldsymbol{s}}_t} + \left( {1 - {\alpha _t}} \right){\mathit{\boldsymbol{b}}_t} + {\mathit{\boldsymbol{n}}_t} $ (10)

式中，${\mathit{\boldsymbol{s}}_t}$代表烟区，${\mathit{\boldsymbol{b}}_t}$代表背景区域，${\mathit{\boldsymbol{n}}_t}$代表噪声影响。${\alpha _t} \in \left[{0, 1} \right]$为t时刻的平衡权重因子。通过混合高斯模型之类的方法近似获取${\mathit{\boldsymbol{b}}_t}$后，问题可以转化为优化问题求解，即

$ \begin{array}{*{20}{c}} {\mathop {\min }\limits_{{\alpha _t},{\mathit{\boldsymbol{s}}_t}} \left\| {{\mathit{\boldsymbol{f}}_t} - {\alpha _t}{\mathit{\boldsymbol{s}}_t} - \left( {1 - {\alpha _t}} \right){\mathit{\boldsymbol{b}}_t}} \right\|_2^2}\\ {{\rm{s}}.\;{\rm{t}}.\;\;\;{\alpha _t} \in \left[ {0,1} \right]} \end{array} $ (11)

在已知${\mathit{\boldsymbol{f}}_t}$和${\mathit{\boldsymbol{b}}_t}$的前提下，通过最小化${\mathit{\boldsymbol{n}}_t}$估计出参数${\alpha _t}$和${\mathit{\boldsymbol{s}}_t}$最终提取出疑似烟区。

由于式(11)是欠定的，有无数解。考虑到背景${\mathit{\boldsymbol{b}}_t}$在不同应用中有显著差异，但烟雾${\mathit{\boldsymbol{s}}_t}$变化相对较小，分别引入3种不同的约束建立烟雾模型，分别得到局部平滑模型、主成分模型和稀疏表达模型。

局部平滑模型依据烟区的像素与其邻域像素有相似的亮度和色彩这一特征，引入约束得

$ \begin{array}{*{20}{c}} {\mathop {\min }\limits_{{\alpha _t},{\mathit{\boldsymbol{s}}_t}} \left\| {{\mathit{\boldsymbol{f}}_t} - {\alpha _t}{\mathit{\boldsymbol{s}}_t} - \left( {1 - {\alpha _t}} \right){\mathit{\boldsymbol{b}}_t}} \right\|_2^2 + }\\ {\lambda \sum\limits_{i = 1}^N {\sum\limits_{j \in {\Omega _i}} {{{\left( {{s_{ti}} - {s_{tj}}} \right)}^2}} } }\\ {{\rm{s}}.\;{\rm{t}}.\;\;\;{\alpha _t} \in \left[ {0,1} \right]} \end{array} $ (12)

式中，${s_{ti}}$为${s_{t}}$中的第$i$个像素，${s_{tj}}$是像素${s_{ti}}$邻域${\Omega _i}$中的第$j$个像素。该模型难以区分与烟雾具有相同平滑表面属性的对象。

主成分模型依据烟雾具有相似的纹理分布，可能存在于一个低维空间这一特性。引入主成分分析进行约束，得

$ \begin{array}{*{20}{c}} {{\mathit{\boldsymbol{s}}_t} = \mathit{\boldsymbol{Py}}}\\ {\mathop {\min }\limits_{{\alpha _t},y} \left\| {{\mathit{\boldsymbol{f}}_t} - {\alpha _t}\mathit{\boldsymbol{P}}y - \left( {1 - {\alpha _t}} \right){\mathit{\boldsymbol{b}}_t}} \right\|_2^2}\\ {{\rm{s}}.\;{\rm{t}}.\;\;\;{\alpha _t} \in \left[ {0,1} \right]} \end{array} $ (13)

式中，$P\in \mathbb{R}{{~}^{N\rm{ }\times \rm{ }L}}~\left( \rm{ }L\rm{ } < \rm{ }N\rm{ } \right)$是一个矩阵，$N$是原始维度，$L$是子空间的维度。$\mathit{\boldsymbol{y}}$是将${\mathit{\boldsymbol{s}}_t}$投影到$\mathit{\boldsymbol{P}}$子空间的系数。

考虑到烟雾有可能存在于多个低维子空间，引入稀疏表达的原理进行约束得

$ \begin{array}{*{20}{c}} {{\mathit{\boldsymbol{s}}_t} = \mathit{\boldsymbol{Dx}}}\\ {\mathop {\min }\limits_{\alpha ,x} \left\| {{f_t} - {\alpha _t}\mathit{\boldsymbol{Dx}} - \left( {1 - {\alpha _t}} \right){\mathit{\boldsymbol{b}}_t}} \right\|_2^2 + \eta {{\left\| x \right\|}_1}}\\ {{\rm{s}}.\;{\rm{t}}.\;\;\;{\alpha _t} \in \left[ {0,1} \right]} \end{array} $ (14)

式中，$\mathit{\boldsymbol{D}}\in \mathbb{R}{{~}^{N\rm{ }\times \rm{ }J}}~\left( \rm{ }N\ll J\rm{ } \right)$为稀疏字典，$\mathit{\boldsymbol{x}}$为稀疏系数，$ \eta $为平衡因子，$\parallel x{\parallel _1}$为使用${l_1}$范数保证稀疏性的规则项。

4 烟雾特征描述

烟雾具有色彩、纹理、形状等静态特征，以及飘动性、闪烁等动态特征。无论在疑似烟雾区域提取阶段采用的是完整疑似烟区的提取，还是分块策略，都需要充分利用烟雾的各类特征进行有辨别力的描述。

为了方便综述，本文将现有方法大致分为三大类：统计量特征、变换域特征和局部模式特征方法。在统计量特征方法中，主要提取统计量的各阶矩、信息熵等特征，例如算术均值、几何均值、标准差、倾斜度、峰度和熵等。变换域方法则强调采用小波变换、曲波变换和离散余弦变换等变换方法，将空域图像转化为变换域图像，然后在变换域提取各种特征。最后一类为局部模式特征方法。该类方法主要强调提取图像局部区域的模式特征，例如局部二元模式及其各种变种方法等。有一点需要说明，这些方法可能既包含统计量特征，又包括变换域、局部模式特征等，但根据这些方法侧重点的不同，将他们归类到上述方法中的某一类。最后，从颜色、形状、梯度方向、纹理、频率、运动和其他7个视角，分析各种方法的优缺点。

4.1 统计量特征

Jia等人[23]计算疑似烟区能量与Kronecker delta的乘积作为权重，将加权的显著性取值作为特征。李笋等人[24]计算疑似烟区方差、形状以及与面积比例和边缘上运动像素比例作为特征。刘青松等人[26]提取了疑似烟区的色彩分量的最大值、最小值、平均值、烟雾的平滑性、运动方向、平均运动偏差、质心移动距离和面积变化率等特征进行识别。Ince等人[27]在疑似慢飘动烟区内计算亮度直方图和梯度方向直方图，分析给定周期内图像帧的系数和运动率的变化情况。王媛彬等人[28]分析了疑似烟区的周长面积比，形心位置变化以及面积随机性。

陈海鹏等人[39]对疑似烟区分别从基本烟色模型、烟雾光衰减模型提取特征。孙建坤等人[40]使用颜色直方图和小波变换特征。郑怀兵等人[42]提取了9个色彩矩分量、小波变换高频能量、运动区域的周长与面积比、中心位置运动方向变化、重心运动速度变化以及面积变化率。Vieira等人[41]重点分析灰白烟雾像素，对像素进行聚类后提取类的时空运动特性。

吴冬梅等人[46]主要对疑似烟区计算面积增长、轮廓特征以及小波变换的高频能量。周泊龙等人[47]重点提取了色彩、凸形特征、形状不规则和面积变化率。Liu等人[53]对移动疑似烟区增长的均值和HSV色彩模型中的显著性进行分析。

史玉坤等人[54]提取了面积、灰度、颜色、填充率、高宽比、面积变化、平均灰度变化和质心变化特征。He等人[59]分别提取了R、G、B这3个通道和小波变换系数的算术均值、标准差、倾斜度、峰度和熵。

Zhou等人[57]在提取颜色和形状特征后，依据远距离野火烟雾仅有很少的纹理特征这一特点，计算像素方差作为纹理特征。此外，统计时序稳定区域，在连续的多个帧中寻找最佳匹配极值区域监控潜在烟区的传播，并基于烟雾独特的扩大和上升运动特性提出一种积分区域方法。

Dimitropoulos等人[34]从动态纹理分析、运动分析和时空特征分析3个方面，对候选烟区提取相应的描述子，该方法涉及的特征较多。新颖地提出使用HSV颜色模型中的3个通道以及HOG特征形成4维3D块组成一个张量，然后提出高阶线性动态系统(h-LDS)进行分析。再分别将分析结果、梯度方向直方图(HOGs)和光流方向直方图(HOFs)聚类成词典，再统计词频直方图作为运动特征。最后分析小波变换的高频子带，求出对应的能量后作为时空特征。

丁怀对等人[50]对疑似烟雾运动块采用三步搜索法(TSS)进行块匹配跟踪。依据烟雾运动现象，统计连续m帧内运动块的运动方向，计算特定方向累积系数在总帧数内的比值作为特征。然后分析疑似烟雾目标块的灰度均值变化及使用sym3小波函数进行变换后的能量。

Wang等人[55]用一条垂直于烟雾飘动带延长方向且通过质心的线将烟区分成上部和下部。计算上、下部的质心变化之比作为特征初步判定烟区。在此基础上，对上、下部求GLCM主对角线上元素值和的比值。

潘朝峰等人[60]认为烟雾的运动是熵增运动。分析出当烟雾靠近烟源时，属于雷诺系数较小的层流运动。然后烟雾扩展为雷诺数较大的紊流运动。紊流的熵增远大于层流运动。依据这一特性分别对静态图像熵、帧差图像熵值和熵增的频谱提取特征。

Qureshi等人[21]使用色彩统计特征作为规则。黎粤华等人[37]认为由于火灾发生时初期呈现青烟中后期转变为灰烟，因此将青烟和灰烟的颜色特征用于判定烟雾。王孟柳等人[49]则对疑似烟区进行前景检测再次确认烟区的运动特性。

4.2 变换域特征

Ye等人[25]首先计算了疑似烟区的移动特性，然后基于韦伯定理分析对比度，最后分析小波变换后的能量特征。Zhao等人[36]分别从烟雾的飘动特性、2D离散小波变换后的高频能量和HSV色彩中饱和度3个方面对运动块进行分析。

王琳等人[44]分析了RGB和HSI色彩模型中的颜色特征、2维离散小波变换及轮廓不规则特征。何大超等人[45]提取了小波高频能量特征和烟雾的扩散特性。Emmy等人[56]从小波频率和动态纹理分析确定烟雾区域，并引入灰度共生矩阵(GLCM)以捕获像素之间的联系。

仝伯兵等人[33]重点关注图像的频域特征。对图像块进行离散余弦变换，将集中主要低频率能量的左上角64个图像系数作为特征一。对图像进行离散小波变换，用算术平均数、几何平均数、标准差、偏度、峰度和熵表征变换后的子图像作为特征二。Ye等人[61]使用3D方向滤波器对连续的视频序列进行Surfacelet变换，用3D隐马尔可夫模型对变换系数建模，并使用最大期望法(EM)进行参数估计。叶威等人[62]同样对烟雾图像序列进行Surfacelet变换，通过广义高斯模型对每一个子带系数进行建模后估计模型参数，最终形成动态纹理特征。

Luo等人[35]跳出传统视频图像的特征角度，提出将视频的时间压缩图像中烟雾运动分解成垂直分量和水平分量，分析两个分量轨迹中表现出来的特性。烟团水平轨迹特征包括具有相同的起点、曲线平滑且轨迹方向是连续。垂直分量轨迹特征包括烟团轨迹为右倾斜直线，且斜率与烟源到摄像机的距离成反比。此外，烟团本身具有低频特性。最后，在烟团不被同色系物体遮挡的情况，垂直分量轨迹比水平分量轨迹更长。其特征如图 3所示。



图 3 视频的时间压缩视频烟团特征[35]
Fig. 3 Smoke trajectoriesin condense video[35]((a) vertical trajectory of a smoke clique; (b) horizontal trajectory of a smoke clique; (c) vertical trajectory of another smoke clique; (d) horizontal trajectory of another smoke clique)

焦斌亮等人[52]提出一种基于核的非参数特征提取方法。该方法基于线性判别分析(LDA)理论，用余弦距离作为权重函数，得到类内散度矩阵${\mathit{\boldsymbol{S}}_{\rm{w}}}$和类间散度矩阵${\mathit{\boldsymbol{S}}_{\rm{b}}}$，分别为

$ \begin{array}{*{20}{c}} {{\mathit{\boldsymbol{S}}_{\rm{w}}} = \sum\limits_{i = 1}^L {{\mathit{\boldsymbol{P}}_i}\sum\limits_{l = 1}^{{N_i}} {\omega _l^{\left( {i,j} \right)}} } \times \left[ {x_l^{\left( i \right)} - {\mathit{\boldsymbol{M}}_i}\left( {x_l^{\left( i \right)}} \right)} \right]}\\ {{{\left[ {x_l^{\left( i \right)} - {\mathit{\boldsymbol{M}}_i}\left( {x_l^{\left( i \right)}} \right)} \right]}^{\rm{T}}}} \end{array} $ (15)

$ \begin{array}{*{20}{c}} {{\mathit{\boldsymbol{S}}_{\rm{b}}} = \sum\limits_{i = 1}^L {{\mathit{\boldsymbol{P}}_i}} \sum\limits_{\begin{array}{*{20}{c}} {j = 1}\\ {j \ne i} \end{array}}^L {\sum\limits_{l = 1}^{{N_i}} {\omega _l^{\left( {i,j} \right)}} } \times \left[ {x_l^{\left( i \right)} - {\mathit{\boldsymbol{M}}_i}\left( {x_l^{\left( i \right)}} \right)} \right]}\\ {{{\left[ {x_l^{\left( i \right)} - {\mathit{\boldsymbol{M}}_i}\left( {x_l^{\left( i \right)}} \right)} \right]}^{\rm{T}}}} \end{array} $ (16)

式中，$\omega _l^{\left( {i, j} \right)}$为基于余弦距离的权重函数，定义为

$ \begin{array}{l} \omega _l^{\left( {i,j} \right)} = 1 - \frac{{\left[ {\zeta _l^{\left( {i,j} \right)}} \right]}}{{\sum\limits_{i = 1}^{{N_i}} {\left[ {\zeta _l^{\left( {i,j} \right)}} \right]} }},i,j = 1,2, \cdots ,L\\ \xi _l^{\left( {i,j} \right)} = \frac{{\left| {{{\left( {x_l^{\left( i \right)} - {\mathit{\boldsymbol{M}}_j}\left( {x_l^{\left( i \right)}} \right)} \right)}^{\rm{T}}}\left( {x_l^{\left( i \right)} - {m_i}} \right)} \right|}}{{{{\left\| {x_l^{\left( i \right)} - {m_j}} \right\|}^2}}} \end{array} $ (17)

式中，$L$是类数，${P_i}$为第$i$类点总样本数的概率，${N_i}$是第$i$类训练样本的样本数，${\mathit{\boldsymbol{M}}_j}\left( {x_l^{\left( i \right)}} \right)$为${x_l^{\left( i \right)}}$在第$j$类的局部均值，然后将类内散度矩阵和类间散度矩阵经过高斯核函数投影后求解目标函数。

4.3 局部模式特征

Zhao等人[38]又提出分析图像块8个邻域块在当前帧及前后相邻帧的能量获取时域能量特征，分析中心运动获取飘动性，使用局部二元运动模型(LBMP)获取动态纹理。赵亮等人[51]提取色彩直方图、旋转不变LBP直方图和HOG直方图进行线性组合作为烟雾特征。

李红娣等人[63]聚焦于纹理和边缘，提出一种较有辨别力的特征算子。该方法采用高斯函数建立图像金字塔。对金字塔进行局部二值模式(LBP)编码并统计直方图形成PLBP特征。同时，采用Sobel算子结合极坐标提取边缘方向直方图形成PEOH特征。此外，为了保留直方图丢失的空间信息，对每幅图像采用不同的池化区域提取特征。

Favorskaya等人[64]将烟雾视为动态纹理，提取动态纹理的亮度差异映射、反映边缘信息的亮度梯度映射、垂直于亮度梯度和边缘运动的法线方向像素运动映射以及反映像素亮度局部协方差属性的拉普拉斯映射。然后使用3D的STLBP(spatio-temporal local binary patterns)分别对这四个映射进行编码统计直方图作为纹理特征。

董兰芳等人[48]直接提取局部二值模式(LBP)作为纹理特征。Yuan等人[65]聚焦于纹理特征。使用积分图提取扩展的类哈尔(Haar)特征。由于烟雾的饱和度有独特分布，因此在亮度和饱和度上分别计算类哈尔特征、均值和方差。随后，Yuan等人[66]为保留LBP纹理算子的空间同现信息，对原始图像提取LBP编码并采用海明距离计算编码之间的梯度信息后形成子方向直方图。

由于纹理特征在烟雾识别中表现出较好的辨别力，Yuan等人[67]引入局部三值模式(LTP)提取纹理信息。该方法对多个局部特征融合建模，同时捕获了局部区域的多个特性，并且考虑了特征的共现信息，表达了更高阶的信息。不仅在烟雾检测中效果优良，在纹理分类中也性能优良。具体为首先对高阶导数也进行LTP编码，得到上LBP编码及下LBP编码。采取联合直方图的方式保留上、下LBP编码的同现信息。经局部保持投影(LPP)进行流形降维形成HLTP特征。该算法的基本流程如图 4所示。由于LBP和LTP都丢失了幅值信息，故进一步在HLTP的基础上，通过设定阈值提高高阶导数对噪声的鲁棒性，再将高阶导数幅值与中心像素值分别基于各自的均值进行二值编码得到LTPM和LTPC，最后将HLTP、LTPM和LTPC连在一起流形降维形成最终特征。



图 4 HLTP基本框架[67]
Fig. 4 Framework of HLTP[67]((a) original image and pooling blocks; (b)upper LBP codes and lower LBP codes; (c)2D joint histograms of upper and lower LBP codes; (d)stack joint histograms in a 1D vector; (e)the 1D feature vector transformed by LPP)

4.4 特征描述方法总结

2014年至2017年公开发表的主要烟雾检测文献所涉及的特征简述汇总如表 1所示。数据表明，文献中烟雾特征提取分析时主要集中于颜色特征、形状特征、梯度方向特征、纹理特征、频率特征、运动特征以及一些其他针对性较强的特征。

表 1 2014年—2017年公开发表的主要文献特征汇总
Table 1 Features included in the literatures that are published among 2014-2017

下载CSV
文献 颜色 形状 梯度方向 纹理 频率 运动 其他
[21] RGB模型
[23] 显著性 显著性
[24] 亮度方差 凸形特征、面积 边缘运动
[25] 对比度 小波能量 光流法
[26] RGB模型 漂移特性
[27] 亮度 梯度方向 互相关性运动率
[28] 周长面积比 灰度共生矩阵加权累加 漂移特性
[30] 光谱分析
[33] 离散余弦变换
[34] HSV模型 HOG 动态纹理分析 小波能量 光流方向
[35] 视频的时间压缩图像轨迹
[36] HSV模型 2D离散小波能量 漂移特性
[37] RGB模型
[38] LBMP动态纹理 时域能量 漂移特性
[39] RGB模型 闪烁频率、扩散特性
[40] RGB模型 2D离散小波统计特征
[41] RGB模型 扩散特性
[42] 颜色矩分量 周长面积比 小波能量 漂移特性、扩散特性
[43] 矩形特征 矩形特征 哈尔特征
[44] RGB模型HSI模型 面积 2D离散小波能量
[45] 小波能量 扩散特性
[46] 周长面积比 小波能量 扩散特性
[47] RGB模型 凸形特征周长面积比 扩散特性
[48] LBP
[49] 运动特性
[50] 灰度均值 小波能量 漂移特性
[51] 灰度直方图 HOG LBP直方图
[52] 基于核的非参数特征提取
[53] HSV模型显著性 扩散特性
[54] RGB模型灰度特征 面积、填充率、凸形特征 扩散特性漂移特性
[55] GLCM 漂移特性
[56] 动态纹理分析灰度共生矩阵 小波能量
[57] RGB模型 周长面积比 小波能量 扩散特性漂移特性 稳定极值区域特性
[59] RGB模型 小波系数统计特征
[60] 熵 扩散特性 熵增
[61] Surfacelet变换系数建模
[62] Surfacelet变换系数建模
[63] POEM PLBP
[64] 动态纹理分析
[65] 扩展的类哈尔特征
[66] 改进的纹理算子
[67] 改进的纹理提取算子
[68] LBP及变体

4.4.1 颜色特征

颜色特征是应用较为广泛的一类特征。涉及RGB色彩模型、HSV色彩模型和HSI色彩模型，以RGB色彩模型为主。基于RGB色彩模型的颜色特征多依据Chen等人[13]提出的色彩特性，即烟雾在R、G、B这3个色彩分量上的值比较接近，灰度主要在80 220之间。而HSV和HSI色彩模型主要涉及的是烟雾在饱和度上的特性。综合来看，除文献[21]和文献[37]以外，其他文献都提取了除颜色以外的其他的特征。由此可见，烟雾色彩的特殊性有一定的辨别力，但仍旧需要其他特征才能更完整地表达烟雾。

4.4.2 形状特征

应用烟雾形状特征的前提为必须提取了完整的疑似烟区。主要表现为烟雾区域的凸形特征，提取的方法多为计算疑似烟区周长与面积之比，此外还包括疑似烟区面积分析、疑似烟区高宽比分析、疑似烟区近似椭圆长短轴之比等方法。

从表 1可见，没有文献单独使用形状特征。形状特征同样不能代表烟雾的主要特征。

4.4.3 梯度方向特征

图像的梯度方向表现在像素值的最大变化率上，它反映了图像边缘上的信息。应用烟雾梯度方向特征的文献较少，究其原因为烟雾图像本身的边缘信息并不显著。文献[51]和文献[34]直接应用了在行人检测领域取得良好性能的方向梯度直方图(HOG)，但在烟雾检测上效果不够理想。文献[63]面向烟雾，采用Sobel算子计算梯度后转化为极坐标形式，然后提取PEOH特征，该特征需配合纹理特征共同使用。

4.4.4 纹理特征

烟雾纹理提取中，局部二值模式(LBP)、金字塔局部二值模式(PLBP)、灰度共生矩阵(GLCM)应用最为广泛。文献[60]使用图像熵来表征纹理的复杂程度。文献[65]提取使用扩展类哈尔特征表征烟雾纹理，均取得了一定的效果。文献[66]提出一种新的烟雾纹理提取算子，该算子提取了LBP编码丢失的空间信息。文献[67]在此基础上，进一步融入LBP编码丢失的量值信息和高阶信息，形成有较强辨别力的算子。此外，动态纹理具有表述时间域上某种不变特性的能力，因此也被引入描述烟雾。许多文献仅提取纹理特征进行识别取得了一定效果，可见纹理特征是烟雾的重要特征之一。

4.4.5 频率特征

将信息从空间域转化到频域后，不同的频率信息在图像中各有意义。低频信息构成了图像的主要成分，中频信息反映了图像的结构，高频信息体现的则是图像的边缘和细节。文献中涉及的频域变换方法主要为小波变换、2D离散小波、Surfacelet变换和离散余弦变换，其中以小波变换较为主流。在频率信息的利用上，一般采用计算能量等统计值的方式。此外，对Surfacelet变换的系数多采取建模分析。有文献表明，单一使用频率特征也能取得一定的识别效果，可见，频率特征也是烟雾的重要特征之一。

4.4.6 运动特征

近几年的研究充分分析了烟雾的运动特征，主要利用了烟雾的漂移特性和扩散特性。提取特征的方式主要包括光流统计法、疑似烟区的面积变化、质心变化，运动方向变化等。大量文献都涉及了运动特征的应用，遗憾的是很少有单一提取运动特征进行烟雾识别的文献，大部分都配合了静态特征。

4.4.7 其他特征

部分文献针对疑似烟区提取了非传统特征，本文称之为其他特征。文献[57]在传统特征的基础上补充了稳定极值区域的特征以提高特征的鉴别力。文献[30]是针对遥感图像进行的烟雾识别，故采用光谱特征。文献[35]从较新颖的视角出发，将视频按时间压缩存储，提取烟雾在压缩图像中的特征。文献[52]则采用学习的方法，提取投影空间的映射作为特征。

综合来看，文献中涉及的各种特征都具备一定的辨别力，纹理和频率特征相对更能反映烟雾的特点。但大多特征受到场景限制，因此这些特征多数以组合的形式出现，特征组合的选取也没有统一的原则和论证。

5 烟雾特征分类识别

烟雾特征分类识别是视频烟雾检测中的最后一个环节。近年研究中的分类识别方法主要分为两类。第一类方法为通过阈值对特征进行分类，当多种特征组合使用时，则按一定逻辑关系进行分类，本文称此类方法为基于规则的识别方法。第二类方法则引入了机器学习中的支持向量机、神经网络等学习的方法进行分类识别，本文称之为基于学习的方法。近年公开发表的主要文献分类识别方法汇总如表 2所示。

表 2 2014年-2017年公开发表的主要文献识别方法汇总
Table 2 Classification methods included in the literatures that are published among 2014-2017

下载CSV
识别方法分类 文献
基于规则的方法 [21][22][23][24][25][26][27][28][31][35][37] [39][40][41][44][47][50][53][55][57][60]
基于学习的方法 SVM [42][45][48][52][56][58][61][63][66][67]
KNN [51][59]
神经网络 BP神经网络 [30][46]
CNN神经网络 [32]
AdaBoost 传统AdaBoost [38][43]
Cost-sensitive AdaBoost [36]
双阈值AdaBoost [65]
度量 K-L距离 [62][64]
马氏距离 [54]
高斯过程回归 [68]
其他 动态方案 [34]
自适应度量算法 [33]

5.1 基于规则的识别方法

表 2表明，众多文献使用了基于规则的识别方法。这些文献通过分析烟雾的特征，对疑似烟区提取相应的特征后，为每个特征选取一定的阈值形成规则进行判别，最终符合所有规则的即识别为烟雾。这类方法不可避免地要选取阈值，阈值的选取对识别效果影响较大，且多依赖于经验，很难选取到具有普适性的阈值。如何选取合理的、普适的阈值又成为新的问题。

5.2 基于学习的识别方法

如表 2所示，基于学习的方法在近年来的研究中占主要部分。其涉及的主要方法有：支持向量机(SVM)、AdaBoost算法、K近邻算法(KNN)、BP神经网络、CNN神经网络以及度量等方法。以上算法也有一定的局限性。例如，KNN算法存在对数据不平衡敏感、K值难以选取的问题；AdaBoost算法中错分的样本多次被错分时会产生退化问题；SVM对缺失数据敏感等。因此部分文献在现在方法的基础上进行了改进。

仝伯兵等人[33]提出在有限样本下用基于概率的两层自适应度量算法(PTLNN)进行烟雾检测。PTLNN分类器由低层和高层构成。低层使用欧氏距离为每个测试数据选定$ {k_1}$个近邻样本组成样本局部子空间。高层中，基于最小化平均绝对误差定义一个新的距离。在局部子空间中，以新距离选定${k_2}$个近邻样本构成样本新局部子空间。该方法结合了AdaBoost与KNN算法的特点，使用AdaBoost算法在子空间提取信息，并通过概率来估计数据分布。

Dimitropoulos等人[34]提出一种用SVM分别对多类特征进行识别，再将分类结果集成的识别方法。该方法相较其他方法更为复杂，应用到了较多的烟雾特征。特别是，大部分算法都将多种特征按一定的规则进行聚合后送入分类器进行分类，但该方法对每类特征分别进行识别后采用了动态分数联合或粒群优化等方法进行分类器联合从而最终识别烟雾。其具体算法如图 5所示。Yuan等人[65]发现烟雾有黑烟和白烟之分，特征会出现双峰状态，因此提出一种双阈值AdaBoost的识别方法。由于特征池规模比较庞大，提出了阶梯搜索策略加速算法。



图 5 文献[34]算法基本框架
Fig. 5 The framework of classification methods in reference[34]

现有基于模式识别的烟雾检测方法中，基本上都选择了判别模型。然而判别模型易受到数据缺失的影响。Yuan等人[68]将数据非线性地映射到低维特征空间从而捕获潜在流形结构，并结合生成模型进行烟雾检测。该方法具体为进一步提出将提取的纹理特征利用有监督或无监督方法映射到低维特征空间进行降维，再利用高斯过程模型对降维后的特征进行建模，最终利用高斯过程回归对新的样本低维特征进行预测与分类。其流程如图 6所示。



图 6 文献[68]分类算法流程
Fig. 6 The framework of classification methods in reference[68]

6 结语

众多研究者为提出高检测率、低漏报率和低误报率的烟雾检测算法不断努力。为能反映视频烟雾检测的最新进展，本文重点针对近四年的文献，立足于视频烟雾检测的基本框架，按处理阶段进行了分析梳理。

遗憾的是，目前没有文献对各种视频烟雾检测方法的性能进行评估。现有的评估方式在自己选取若干个含烟视频序列上，采用自己的评估标准来评估算法表现。究其原因，目前没有统一的视频烟雾检测效果衡量方法和评估平台，且没有统一的公开标准视频数据集。以使用最为广泛的土耳其比尔肯大学实验室[69]数据集为例，文献[23-25, 33, 35, 48, 51, 56]均使用了该数据集，但是评估方式和评估指标区别较大。例如文献[25]选取了12个视频序列以检测出目标的帧数和总帧数作为评估标准进行评估，这些视频序列的来源除了该视频数据集还包括了其他数据集和自己采集的数据集。而文献[23]则从该数据集与国家火灾实验室数据集中选取了11个视频序列进行评估，评估标准为平均精度和平均召回率。文献表明，袁非牛课题组近来年聚焦于视频烟雾检测特征建模及识别这一关键技术，建立了一套完整的烟雾图像数据集，并围绕检测率、误报率和错误率三个评价指标，进行了一系列算法的评估。详情可参阅文献[65-68]等。

6.1 基于深度学习的方法

本文围绕视频烟雾检测基本框架的每个阶段对近四年文献进行综述。然而近年来，深度学习已经广泛应用于各领域，成为模式识别应用的主流之一。深度学习区别于传统框架，它是从大数据中自动学习特征，并将特征表示和分类器联合优化。跳出视频烟雾检测的基本框架，引入深度学习将成为重要研究方向。

陈俊周等人[32]提出一种基于级联卷积神经网络烟雾纹理识别框架的视频烟雾检测方法。该方法融合静态和动态纹理信息，将原始图像作为静态纹理输入，将原始图像的光流序列作为动态纹理输入。实验表明，与传统方法相比，该方法有效降低了误检率。Frizzi等人[70]同样使用卷积神经网络进行火焰和烟雾检测。Yin等人[71]提出了一种用于图像烟雾检测的深度规范化卷积神经网络(DNCNN)。该网络将传统CNN中的卷积层改进为批规范化卷积层，有效地解决了网络训练过程中梯度弥散和过拟合的问题，以此加速训练过程和提高检测效果；并且对训练样本进行了数据增强从而解决正负样本不平衡和训练样本不足的问题。

综合来看，目前深度学习在视频烟雾检测领域还研究尚浅，公开发表的相关论文数量极少，并且这些方法都需要大量的训练样本。

6.2 总结

罗胜等人[2]对视频烟雾检测进行了综述并重点梳理了2010－2012年主要公开发表的文献。本文在此研究基础上，分析视频烟雾检测近年取得的进展、尚存在的不足以及展望。

6.2.1 进展

从近几年的文献来看，涌现出一些更具有辨别力的检测算子，这些检测方法在各自的测试视频上取得了较高的检测率和较低的误报率及漏报率。也出现了一些视角独特的算法，这些算法发掘了更为本质的烟雾特征。例如，文献[35]提取烟雾在视频时间压缩图像中的特征，文献[52]提取投影空间的映射作为特征，文献[66-67]挖掘烟雾纹理的空间同现特征等。在分类识别方法上也出现了更具针对性的研究，如文献[33]、文献[65]等。此外，除了土耳其比尔肯大学实验室[69]、韩国启明大学实验室[72]发布的数据集以外，中国科技大学国家火灾科学重点实验室[73]、以及江西财经大学袁非牛实验室[74]建立的数据集逐渐获得认可。

6.2.2 不足

现有的算法仍旧存在着误报率和漏报率较高的问题。整体看来，大部分算法都有很强的场景针对性，特别容易受到环境的干扰。一旦场景变得复杂，算法的性能将受到影响。且多数基于多特征的烟雾检测方法只是将不同特征简单组合叠加，这在效果和时间上都是不符合需求的，目前还缺少特征选择和组合的原则。尤其是文献中的特征提取算子都是手工设计的，未必反映了烟雾最本质的特征。此外，特征提取与分类识别方法的联系效果也没有衡量准则。最后，虽然有更多的公开数据集出现，但缺少统一视频烟雾检测的评估标准和评估平台，特别是视频中的烟雾区域标注这一问题依然没有得到解决。

6.2.3 展望

建立公开统一的评估标准和评估平台是视频烟雾检测领域需要解决的首要问题，只有能公平地对各类算法进行评估，才能推动视频烟雾检测更进一步发展。此外，现有的研究多侧重于单纯烟雾检测的评估，而烟雾仅是实际火情中的一部分，在进行评估时，如若能评估烟雾检测在真实视频火灾检测中所起的作用，视频烟雾检测将更具研究意义和应用价值。其次，寻找更能体现烟雾本质特征的算子也是研究方向之一。第三，寻找到适当的融合方法，综合应用烟雾的各种特性而不是简单的组合，方能提高视频烟雾检测的应用前景。第四，目前的特征提取算子基本上都是依靠经验进行手工设计的，下一步应尝试通过机器学习的方法发现烟雾更本质的特征。最后，跳出传统框架，引入新的方法进行烟雾检测也是值得深思的。例如，深度学习在各个领域捷报频传，但目前为止，公开发表的使用深度学习进行视频烟雾检测的研究少之又少。

本文在已有的知识基础上，重点针对近四年的文献进行了全面的梳理及对比分析。期望视频烟雾检测研究能取得更大的进展并更好地应用于工业领域，为及早进行火灾预警提供有力保障。

参考文献

  • [1] Fire Department of Ministry of Public Security. Fire disaster analysis of 2016[EB/OL]. 2017-07-08[2017-06-22]. http://www.119.gov.cn/xiaofang/nbnj/34601.htm. [公安部消防局. 2016年全国火灾情况分析[EB/OL]. 2017-07-08[2017-06-22]. http://www.119.gov.cn/xiaofang/nbnj/34601.htm.]
  • [2] Luo S, Jiang Y Z. State-of-art of video based smoke detection algorithms[J]. Journal of Image and Graphics, 2013, 18(10): 1225–1236. [罗胜, JiangY Z. 视频检测烟雾的研究现状[J]. 中国图象图形学报, 2013, 18(10): 1225–1236. ] [DOI:10.11834/jig.20131002]
  • [3] Ojo J A, Oladosu J A. Video-based smoke detection algorithms:a chronological survey[J]. Computer Engineering and Intelligent Systems, 2014, 5(7): 38–50.
  • [4] Vicente J, Guillemant P. An image processing technique for automatically detecting forest fire[J]. International Journal of Thermal Sciences, 2002, 41(12): 1113–1120. [DOI:10.1016/S1290-0729(02)01397-2]
  • [5] Guillemant P, Vicente J. Real-time identification of smoke images by clustering motions on a fractal curve with a temporal embedding method[J]. Optical Engineering, 2001, 40(4): 554–563. [DOI:10.1117/1.1355254]
  • [6] Kopilovic I, Vagvolgyi B, Szirányi T. Application of panoramic annular lens for motion analysis tasks: surveillance and smoke detection[C]//Proceedings of the 15th International Conference on Pattern Recognition. Barcelona, Spain: IEEE, 2000: 714-717. [DOI: 10.1109/ICPR.2000.903017]
  • [7] Toreyin B U, Dedeoglu Y, Cetin A E. Contour based smoke detection in video using wavelets[C]//Proceedings of the 14th European Signal Processing Conference. Florence, Italy: IEEE, 2006: 1-5.
  • [8] Tung T X, Kim JM. An effective four-stage smoke-detection algorithm using video images for early fire-alarm systems[J]. Fire Safety Journal, 2011, 46(5): 276–282. [DOI:10.1016/j.firesaf.2011.03.003]
  • [9] Grech-Cini H J. Smoke Detection: US, 6844818[P]. 2005-01-18.
  • [10] Yuan F N. Motion accumulation and translucence based model for video smoke detection[J]. Journal of Data Acquisition & Processing, 2007, 22(4): 396–400. [袁非牛. 基于运动累积和半透明的视频烟雾探测模型[J]. 数据采集与处理, 2007, 22(4): 396–400. ] [DOI:10.3969/j.issn.1004-9037.2007.04.002]
  • [11] Yuan F N. A fast accumulative motion orientation model based on integral image for video smoke detection[J]. Pattern Recognition Letters, 2008, 29(7): 925–932. [DOI:10.1016/j.patrec.2008.01.013]
  • [12] Yuan F N, Zhang Y M, Liu S X, et al. Video smoke detection based on accumulation and main motion orientation[J]. Journal of Image and Graphics, 2008, 13(4): 808–813. [袁非牛, 张永明, 刘士兴, 等. 基于累积量和主运动方向的视频烟雾检测方法[J]. 中国图象图形学报, 2008, 13(4): 808–813. ] [DOI:10.11834/jig.20080434]
  • [13] Chen T H, Yin Y H, Huang S F, et al. The smoke detection for early fire-alarming system base on video processing[C]//Proceedings of 2006 International Conference on Intelligent Information Hiding and Multimedia. Pasadena, CA, USA: IEEE, 2006: 427-430. [DOI: 10.1109/ⅡH-MSP.2006.265033]
  • [14] Krstinić D, Stipaničev D, Jakovčević T. Histogram-based smoke segmentation in forest fire detection system[J]. Information Technology and Control, 2009, 38(3): 237–244.
  • [15] Fujiwara N, Terada K. Extraction of a smoke region using fractal coding[C]//2004 IEEE International Symposium on Communications and Information Technology. Sapporo, Japan: IEEE, 2004: 659-662. [DOI: 10.1109/ISCIT.2004.1413797]
  • [16] Gubbi J, Marusic S, Palaniswami M. Smoke detection in video using wavelets and support vector machines[J]. Fire Safety Journal, 2009, 44(8): 1110–1115. [DOI:10.1016/j.firesaf.2009.08.003]
  • [17] Tian H D, Li W Q, Wang L, et al. A novel video-based smoke detection method using image separation[C]//Proceedings of 2012 IEEE International Conference on Multimedia and Expo. Melbourne, VIC, Australia: IEEE, 2012: 532-537. [DOI: 10.1109/ICME.2012.72]
  • [18] Verstockt S, Van Hoecke S, Beji T, et al. A multi-modal video analysis approach for car park fire detection[J]. Fire Safety Journal, 2013, 57: 44–57. [DOI:10.1016/j.firesaf.2012.07.005]
  • [19] Yuan F N. Video-based smoke detection with histogram sequence of LBP and LBPV pyramids[J]. Fire Safety Journal, 2011, 46(3): 132–139. [DOI:10.1016/j.firesaf.2011.01.001]
  • [20] Yuan F N. A double mapping framework for extraction of shape-invariant features based on multi-scale partitions with AdaBoost for video smoke detection[J]. Pattern Recognition, 2012, 45(12): 4326–4336. [DOI:10.1016/j.patcog.2012.06.008]
  • [21] Qureshi W S, Ekpanyapong M, Dailey M N, et al. QuickBlaze:early fire detection using a combined video processing approach[J]. Fire Technology, 2016, 52(5): 1293–1317. [DOI:10.1007/s10694-015-0489-7]
  • [22] Cruz H, Eckert M, Meneses J, et al. Efficient forest fire detection index for application in unmanned aerial systems (UASs)[J]. Sensors, 2016, 16(6): 893. [DOI:10.3390/s16060893]
  • [23] Jia Y, Yuan J, Wang J J, et al. A saliency-based method for early smoke detection in video sequences[J]. Fire Technology, 2016, 52(5): 1271–1292. [DOI:10.1007/s10694-014-0453-y]
  • [24] Li S, Shi Y S, Wang B, et al. Video smoke detection based on color transformation and MSER[J]. Transactions of Beijing Institute of Technology, 2016, 36(10): 1072–1078. [李笋, 石永生, 汪渤, 等. 基于颜色增强变换和MSER检测的烟雾检测算法[J]. 北京理工大学学报, 2016, 36(10): 1072–1078. ] [DOI:10.15918/j.tbit1001-0645.2016.10.016]
  • [25] Ye S P, Bai Z C, Chen H F, et al. An effective algorithm to detect both smoke and flame using color and wavelet analysis[J]. Pattern Recognition and Image Analysis, 2017, 27(1): 131–138. [DOI:10.1134/S1054661817010138]
  • [26] Liu Q S, Cui G S, Wu P, et al. Remove of fix interference based on machine learning in smoke detection[J]. Computer Measurement & Control, 2015, 23(3): 880–881, 885. [刘青松, 崔更申, 吴鹏, 等. 基于机器学习的烟雾检测算法去除固定干扰[J]. 计算机测量与控制, 2015, 23(3): 880–881, 885. ] [DOI:10.3969/j.issn.1671-4598.2015.03.059]
  • [27] Ince I F, Yildirim M E, Salman Y B, et al. Fast video fire detection using luminous smoke and textured flame features[J]. KSⅡ Transactions on Internet and Information Systems, 2016, 10(12): 5485–5506. [DOI:10.3837/tiis.2016.12.019]
  • [28] Wang Y B. Smoke detection based on computer vision in coal mine[J]. Journal of Liaoning Technical University:Natural Science, 2016, 35(11): 1230–1234. [王媛彬. 煤矿烟雾的计算机视觉检测方法[J]. 辽宁工程技术大学学报:自然科学版, 2016, 35(11): 1230–1234. ] [DOI:10.11956/j.issn.1008-0562.2016.11.007]
  • [29] Pal S K, King R A. On edge detection of x-ray images using fuzzy sets[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1983, 5(1): 69–77. [DOI:10.1109/TPAMI.1983.4767347]
  • [30] Li X L, Song W G, Lian L P, et al. Forest fire smoke detection using back-propagation neural network based on modis data[J]. Remote Sensing, 2015, 7(4): 4473–4498. [DOI:10.3390/rs70404473]
  • [31] Liu Y, Gu X D, Du J L, et al. Fire smoke detection method based on multi-feature running average method[J]. Video Engineering, 2016, 40(9): 95–99, 121. [刘颖, 顾小东, 杜久玲, 等. 基于多特征融合运行期均值法的烟雾检测算法[J]. 电视技术, 2016, 40(9): 95–99, 121. ] [DOI:10.16280/j.videoe.2016.09.019]
  • [32] Chen J Z, Wang Z J, Chen H H, et al. Dynamic smoke detection using cascaded convolutional neural network for surveillance videos[J]. Journal of University of Electronic Science and Technology of China, 2016, 46(6): 992–996. [陈俊周, 汪子杰, 陈洪瀚, 等. 基于级联卷积神经网络的视频动态烟雾检测[J]. 电子科技大学学报, 2016, 46(6): 992–996. ] [DOI:10.3969/j.issn.1001-0548.2016.06.020]
  • [33] Tong B B, Wang S T. Video smoke detection using two-level classification algorithm[J]. Computer Science, 2015, 42(3): 301–306. [仝伯兵, 王士同. 用两层分类算法进行视频烟雾检测[J]. 计算机科学, 2015, 42(3): 301–306. ] [DOI:10.11896/j.issn.1002-137X.2015.03.062]
  • [34] Dimitropoulos K, Barmpoutis P, Grammalidis N. Higher order linear dynamical systems for smoke detection in video surveillance applications[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2017, 27(5): 1143–1154. [DOI:10.1109/TCSVT.2016.2527340]
  • [35] Luo S, Yan C W, Wu K L, et al. Smoke detection based on condensed image[J]. Fire Safety Journal, 2015, 75: 23–35. [DOI:10.1016/j.firesaf.2015.04.002]
  • [36] Zhao Y Q, Li Q J, Gu Z. Early smoke detection of forest fire video using CS Adaboost algorithm[J]. Optik-International Journal for Light and Electron Optics, 2015, 126(19): 2121–2124. [DOI:10.1016/j.ijleo.2015.05.082]
  • [37] Li Y H, Shan L. Color detection algorithm of fire smoke based on video sequence[J]. Semiconductor Optoelectronics, 2016, 37(2): 298–302. [黎粤华, 单磊. 基于视频序列的火灾烟雾颜色检测算法[J]. 半导体光电, 2016, 37(2): 298–302. ] [DOI:10.16818/j.issn1001-5868.2016.02.033]
  • [38] Zhao Y Q, Zhou Z, Xu M M. Forest fire smoke video detection using spatiotemporal and dynamic texture features[J]. Journal of Electrical and Computer Engineering, 2015, 2015: 40. [DOI:10.1155/2015/706187]
  • [39] Chen H P, Liu F, Xu L, et al. Fire smoke detection in train carriages based on multiple features fusion[J]. Journal of Beijing Jiaotong University, 2015, 39(1): 67–71, 77. [陈海鹏, 刘飞, 徐磊, 等. 基于视频多特征融合的列车车厢烟雾检测方法[J]. 北京交通大学学报, 2015, 39(1): 67–71, 77. ] [DOI:10.11860/j.issn.1673-0291-2015.01.011]
  • [40] Sun J K, Yang R Y. Smoke detection in video based on color histogram and wavelets[J]. Computer Science, 2014, 41(12): 251–254, 287. [孙建坤, 杨若瑜. 基于颜色直方图和小波变换的视频烟雾检测[J]. 计算机科学, 2014, 41(12): 251–254, 287. ] [DOI:10.11896/j.issn.1002-137X.2014.12.054]
  • [41] Vieira D A G, Santos A L, Yehia H C, et al. Smoke detection in environmental regions by means of computer vision[C]//Proceedings of the 4th International Workshop, CIMA 2014. Cham: Springer, 2016: 135-151. [DOI: 10.1007/978-3-319-26860-6_8]
  • [42] Zheng H B, Zhai J Y. Forest fire smoke detection based on video analysis[J]. Journal of Nanjing University of Science and Technology, 2015, 39(6): 686–691, 710. [郑怀兵, 翟济云. 基于视频分析的森林火灾烟雾检测方法[J]. 南京理工大学学报, 2015, 39(6): 686–691, 710. ] [DOI:10.14177/j.cnki.32-1397n.2015.39.06.009]
  • [43] Kim H, Ryu D, Park J. Smoke detection using gmm and adaboost[J]. International Journal of Computer and Communication Engineering, 2014, 3(2): 123–126. [DOI:10.7763/IJCCE.2014.V3.305]
  • [44] Wang L, Li A G, Wang X N, et al. An early fire smoke detection method based on multi-features fusion[J]. Journal of Dalian Maritime University, 2014, 40(1): 97–100. [王琳, 李爱国, 王新年, 等. 基于多特征融合的早期火灾烟雾检测[J]. 大连海事大学学报, 2014, 40(1): 97–100. ] [DOI:10.3969/j.issn.1006-7736.2014.01.025]
  • [45] He D C, Lou X P, Tang H. Dynamic features based real-time video smoke detection[J]. Computer Applications and Software, 2014, 31(2): 201–204. [何大超, 娄小平, 唐辉. 基于动态特性的实时视频烟雾检测[J]. 计算机应用与软件, 2014, 31(2): 201–204. ] [DOI:10.3969/j.issn.1000-386x.2014.02.054]
  • [46] Wu D M, Li B P, Shen Y, et al. Smoke detection based on multi-feature fusion[J]. Journal of Graphics, 2015, 36(4): 587–592. [吴冬梅, 李白萍, 沈燕, 等. 基于多特征融合的烟雾检测[J]. 图学学报, 2015, 36(4): 587–592. ] [DOI:10.3969/j.issn.2095-302X.2015.04.016]
  • [47] Zhou B L, Song Y L, Yu M H. Fire smoke detection algorithm based on image disposal[J]. Fire Science and Technology, 2016, 35(3): 390–393. [周泊龙, 宋英磊, 俞孟蕻. 基于图像处理的火灾烟雾检测算法研究[J]. 消防科学与技术, 2016, 35(3): 390–393. ] [DOI:10.3969/j.issn.1009-0029.2016.03.027]
  • [48] Dong L F, Yu J K. Smoke detection method in video based on image separation[J]. Computer Engineering, 2015, 41(9): 251–254, 260. [董兰芳, 余家奎. 基于图像分离的视频烟雾检测方法[J]. 计算机工程, 2015, 41(9): 251–254, 260. ] [DOI:10.3969/j.issn.1000-3428.2015.09.046]
  • [49] Wang M L, Chen H P, Liu X. Research on smoke detection algorithm using dark channel prior[J]. Computer Applications and Software, 2014, 31(11): 225–228, 232. [王孟柳, 陈和平, 刘夏. 基于暗通道优先烟雾检测算法的研究[J]. 计算机应用与软件, 2014, 31(11): 225–228, 232. ] [DOI:10.3969/j.issn.1000-386x.2014.11.057]
  • [50] Ding H D, Liu S Y, Xu Y K, et al. Novel video smoke observation and detection method based on the motion track block[J]. Journal of Safety and Environment, 2016, 16(4): 96–100. [丁怀对, 刘申友, 许玉坤, 等. 基于运动块追踪的视频烟雾探测方法[J]. 安全与环境学报, 2016, 16(4): 96–100. ] [DOI:10.13637/j.issn.1009-6094.2016.04.019]
  • [51] Zhao L, Luo Y M, Luo X Y. Based on dynamic background update and dark channel prior of fire smoke detection algorithm[J]. Application Research of Computers, 2017, 34(3): 957–960. [赵亮, 骆炎民, 骆翔宇. 一种基于背景动态更新与暗通道先验的火灾烟雾检测算法[J]. 计算机应用研究, 2017, 34(3): 957–960. ] [DOI:10.3969/j.issn.1001-3695.2017.03.074]
  • [52] Jiao B L, Dong X. An early forest-fire smoke detection method based on non-parametric feature extraction[J]. Optical Technique, 2016, 42(1): 20–23. [焦斌亮, 董雪. 基于非参数特征提取的早期林火烟雾检测[J]. 光学技术, 2016, 42(1): 20–23. ] [DOI:10.13741/j.cnki.11-1879/o4.2016.01.005]
  • [53] Liu J L, Zho H W, Zhao T J. Research of flame detection on visual saliency method[J]. Journal of Computers, 2013, 8(12): 3264–3271.
  • [54] Shi Y K, Zhong Z, Zhang D X, et al. A study on smoke detection based on multi-feature[J]. Journal of Signal Processing, 2015, 31(10): 1336–1341. [史玉坤, 仲贞, 张德馨, 等. 利用多特征判别的烟雾检测方法研究[J]. 信号处理, 2015, 31(10): 1336–1341. ] [DOI:10.3969/j.issn.1003-0530.2015.10.018]
  • [55] Wang S D, He Y P, Zou J J, et al. Early smoke detection in video using swaying and diffusion feature[J]. Journal of Intelligent & Fuzzy Systems, 2014, 26(1): 267–275. [DOI:10.3233/IFS-120735]
  • [56] Prema C E, Vinsley S S, Suresh S. Multi feature analysis of smoke in YUV color space for early forest fire detection[J]. Fire Technology, 2016, 52(5): 1319–1342. [DOI:10.1007/s10694-016-0580-8]
  • [57] Zhou Z Q, Shi Y S, Gao Z F, et al. Wildfire smoke detection based on local extremal region segmentation and surveillance[J]. Fire Safety Journal, 2016, 85: 50–58. [DOI:10.1016/j.firesaf.2016.08.004]
  • [58] Tian H D, Li W Q, Wang L, et al. Smoke detection in video:an image separation approach[J]. International Journal of Computer Vision, 2014, 106(2): 192–209. [DOI:10.1007/s11263-013-0656-6]
  • [59] He H Q, Peng L Q, Yang D S, et al. Smoke detection based on a semi-supervised clustering model[C]//Proceedings of the 20th Anniversary International Conference on MultiMedia Modeling. Dublin, Ireland: Springer, 2014: 291-298. [DOI: 10.1007/978-3-319-04117-9_27]
  • [60] Pang C F, Yang S S, Chen N. Fire smoke recognition based on image entropy[J]. Journal of Jiangsu University of Science and Technology:Natural Science Edition, 2015, 29(1): 52–57. [潘朝峰, 杨树森, 陈宁. 基于图像熵的火灾烟雾识别[J]. 江苏科技大学学报:自然科学版, 2015, 29(1): 52–57. ] [DOI:10.3969/j.issn.1673-4807.2015.01.009]
  • [61] Ye W, Zhao J H, Wang S, et al. Dynamic texture based smoke detection using Surfacelet transform and HMT model[J]. Fire Safety Journal, 2015, 73: 91–101. [DOI:10.1016/j.firesaf.2015.03.001]
  • [62] Ye W, Zhao J H, Zhao Y, et al. Smoke detection based on surfacelet transform and dynamic texture[J]. Computer Engineering, 2015, 41(2): 203–208. [叶威, 赵俭辉, 赵洋, 等. 基于Surfacelet变换和动态纹理的烟雾检测[J]. 计算机工程, 2015, 41(2): 203–208. ] [DOI:10.3969/j.issn.1000-3428.2015.02.039]
  • [63] Li H D, Yuan F N. Image based smoke detection using pyramid texture and edge features[J]. Journal of Image and Graphics, 2015, 20(6): 772–780. [李红娣, 袁非牛. 采用金字塔纹理和边缘特征的图像烟雾检测[J]. 中国图象图形学报, 2015, 20(6): 772–780. ] [DOI:10.11834/jig.20150606]
  • [64] Favorskaya M, Pyataeva A, Popov A. Verification of smoke detection in video sequences based on spatio-temporal Local Binary Patterns[J]. Procedia Computer Science, 2015, 60: 671–680. [DOI:10.1016/j.procs.2015.08.205]
  • [65] Yuan F N, Fang Z J, Wu S Q, et al. Real-time image smoke detection using staircase searching-based dual threshold AdaBoost and dynamic analysis[J]. IET Image Processing, 2015, 9(10): 849–856. [DOI:10.1049/iet-ipr.2014.1032]
  • [66] Yuan F N, Shi J T, Xia X, et al. Sub oriented histograms of Local Binary Patterns for smoke detection and texture classification[J]. Ksii Transactions on Internet and Information Systems, 2016, 10(4): 1807–1823. [DOI:10.3837/tiis.2016.04.019]
  • [67] Yuan F N, Shi J T, Xia X, et al. High-order local ternary patterns with locality preserving projection for smoke detection and image classification[J]. Information Sciences, 2016, 372: 225–240. [DOI:10.1016/j.ins.2016.08.040]
  • [68] Yuan F N, Xia X, Shi J T, et al. Non-linear dimensionality reduction and gaussian process based classification method for smoke detection[J]. IEEE Access, 2017, 5: 6833–6841. [DOI:10.1109/ACCESS.2017.2697408]
  • [69] Turkey Bilkent University. Computer vision based fire detection software[EB/OL]. [2017-12-26]. http://signal.ee.bilkent.edu.tr/VisiFire/index.html. [土耳其比尔肯大学. 基于计算机视觉的火灾检测软件[EB/OL]. [2017-12-26]. http://signal.ee.bilkent.edu.tr/VisiFire/index.html.]
  • [70] Frizzi S, Kaabi R, Bouchouicha M, et al. Convolutional neural network for video fire and smoke detection[C]//Proceedings of IECON 2016-42nd Annual Conference of the IEEE Industrial Electronics Society. Florence, Italy: IEEE, 2016: 877-882. [DOI: 10.1109/IECON.2016.7793196]
  • [71] Yin Z J, Wan B Y, Yuan F N, et al. A deep normalization and convolutional neural network for image smoke detection[J]. IEEE Access, 2017, 5: 18429–18438. [DOI:10.1109/ACCESS.2017.2747399]
  • [72] Keimyung University, Korea. Computer Vision and Pattern Recognition Laboratory[EB/OL]. [2017-12-26]. http://cvpr.kmu.ac.kr/. [韩国启明大学. 计算机视觉与模式识别实验室[EB/OL]. [2017-12-26]. http://cvpr.kmu.ac.kr/.]
  • [73] University of Science and Technology of China. State Key Laboratory of Fire Science[EB/OL]. [2017-12-26]. http://sklfs.ustc.edu.cn/. [中国科学技术大学. 国家火灾科学重点实验室[EB/OL]. [2017-12-26]. http://sklfs.ustc.edu.cn/.]
  • [74] Yuan Fei Niu. Video smoke detection of Jiangxi University of Finance and Economics. EB/OL]. [2017-12-26]. http://staff.ustc.edu.cn/~yfn/vsd.html. [袁非牛. 视频烟雾检测[EB/OL]. [2017-12-26]. http://staff.ustc.edu.cn/~yfn/vsd.html.]