Print

发布时间: 2020-09-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.190574
2020 | Volume 25 | Number 9




    综述    




  <<上一篇 




  下一篇>> 





红外弱小目标检测算法综述
expand article info 李俊宏, 张萍, 王晓玮, 黄世泽
电子科技大学光电科学与工程学院, 成都 610054

摘要

红外探测技术具有不受环境等因素干扰的优势,在红外制导、预警等军事领域的应用日益广泛。随着对红外弱小目标检测技术的研究越来越深入,相应的检测方法越来越多样。本文通过对红外弱小目标图像中目标与背景的特性以及红外弱小目标检测技术难点问题进行分析,根据当前是否利用帧间相关信息,分别从基于单帧红外图像和基于红外序列两个角度,选取了相应的红外弱小目标算法进行对比,对其中典型算法的原理、流程以及特点等进行了详细综述,并对每类检测算法的性能进行了比较。针对红外弱小目标图像信噪比低的特点,对红外弱小目标检测算法的难点问题进行分析,给出了目前各种算法的解决方法和不足,探讨红外弱小目标检测算法的发展方向,即研究计算量小、性能优、鲁棒性强、实时性好和便于硬件实现的算法。

关键词

红外图像; 红外序列; 红外弱小目标; 低秩稀疏表示; 小目标检测

Infrared small-target detection algorithms: a survey
expand article info Li Junhong, Zhang Ping, Wang Xiaowei, Huang Shize
School of Optoelectronic Science and Engineering, University of Electronic Science and Technology of China, Chengdu 610054, China
Supported by: Science and Technology Planning Project of Sichuan Province, China(2018GZ0166, 2019YFG0307)

Abstract

Infrared acquisition technologies are not easily disturbed by environmental factors and have strong penetrability. In addition, the effect of infrared acquisition is mainly determined by the temperature of the object itself. Therefore, such technology has been widely used in the military field, such as in infrared guidance, infrared antimissile, and early warning systems. With the rapid development of computer vision and digital image processing technologies, infrared small-target detection has gradually become the focus and challenge of research, and the number of relevant methods and kinds of infrared small-target detection techniques are increasing. However, given the characteristics of small imaging area, long distance, lack of detailed features, weak shape features, and low signal-to-noise ratio, infrared dim- and small-target detection technology has always been a key technical problem in infrared guidance systems. In this study, two kinds of methods, which are based on single-frame images and infrared sequence and extensively used at present, are reviewed. This work serves as basis for follow-up research on the theory and development of small-target detection. The corresponding infrared small-target algorithm is selected for comparison on the basis of the analysis of the characteristics of the target and background in infrared small-target images and the difficulties of infrared small-target detection technology, in accordance with whether the interframe correlation information is used, and from the perspective of single-frame infrared image and infrared sequence. Single-frame based algorithms can be divided into three categories, including filtering methods, human vision system based methods low-rank sparse recovery base methods.The method based on filtering estimates the background of infrared images, using the frequency difference among the target, background and clutter to filter the background and clutter, to achieve the effect of background suppression. The method based on human vision systems mainly uses the visual perception characteristics of human eyes, that is, the appearance of small targets results in considerable changes of local texture rather than global texture. In recent years, the method based on low-rank sparse recovery has been widely used; it is also an algorithm with improved effect in single-frame image detection. This kind of algorithm maximizes the sparsity of small targets, the low rank of backgrounds, and the high frequency of clutter. Moreover, it uses optimization algorithms to solve the objective function and gradually improve the accuracy of detection in the process of iteration. However, this kind of infrared small-target detection method based on single-frame images requires a high signal-to-noise ratio and does not take advantage of the correlation between adjacent frames; thus, it is prone to false detection and demonstrates a relatively poor performance in real time. Therefore, a sequence-based detection method based on spatial-temporal correlation is introduced. For the detection of small moving infrared targets, prior information, such as the shape of small targets, the continuity of gray level change in time, and the continuity of moving track, is key to segment noise and small targets from infrared images effectively. Therefore, in accordance with the order of using these prior information, current mainstream infrared moving small-target detection methods are divided into two categories: detect before motion (DBM) and motion before detect (MBD). These two kinds of algorithms have different application ranges according to their own characteristics. The DBM method is relatively simple, easy to explement, and widely used in tasks with high real-time requirements. By contrast, the MBD method has high detection rate and low false alarm rate and can achieve good detection results in low signals to clutter ratio backgrounds. In this review, the principle, process, and characteristics of typical algorithms are introduced in detail, and the performance of each kind of detection algorithm is compared. At present, infrared small-target detection technologies may have reliable performance in short-term small-target detection and tracking tasks; however, the difficulty of small-target detection is prominent due to complex application scenarios, high requirements for long-term detection, and the particularity of target and background in practical applications. Therefore, according to the characteristics of infrared small targets, this work analyzes the difficulties of infrared small-target detection methods, provides solutions and shortcomings of various algorithms, and discusses the development direction of infrared small-target detection. Thus far, infrared small-target detection technologies have made remarkable progress and have been widely used in infrared guidance and antimissile tasks. However, infrared small-target detection technologies still suffer from some problems. For the characteristics of infrared small-target detection, we need to test and improve the detection theory of small targets further. To improve the detection effect of small targets in infrared images, we must constantly study the corresponding detection methods and improve the schemes. The application of infrared dim- and small-target detection is challenging and complex. The robustness and accuracy of the corresponding algorithms are constantly improved, and the detection speed is also required to meet real-time requirements. Combined with the application characteristics and scope of different military equipment, a universal overseas small-target detection algorithm should be studied. The algorithm should have high accuracy and robustness and must meet real-time requirements to enhance the all-weather reconnaissance capability and the target battlefield information collection capability of the equipment. Therefore, we can also summarize the major development directions of infrared small-target detection technology in the future. First, from the perspective of image fusion of different imaging systems, imaging quality is improved. Second, the existing algorithm is improved by combining the spatial-temporal information of images and the idea of iterative optimization. Third, several datasets are collected, and deep learning methods are explored to improve the accuracy of detection algorithm. Lastly, the improvements of hardware systems are used to accelerate the algorithm and improve the real-time detection. In the future, we will conduct corresponding research from these directions.

Key words

infrared image; infrared sequences; infrared small target; low-rank and sparse representation(LRSR); small-target detection

0 引言

计算机视觉技术是一种让计算机从给定的图像或视频中获取相关信息并进行“感知”的技术,是人类视觉感知的扩展。半导体行业促进了硬件水平的提高,也带动了机器视觉的发展,使其在人工智能领域得到广泛应用(卢湖川等,2018)。

在计算机视觉领域中,基于红外探测系统的红外弱小目标检测一直都是一个重要的课题和研究热点。当前主流的探测系统可分为3类:可见光探测、红外成像探测和雷达探测系统。红外探测系统只对目标的温度与本身的材料特性敏感,而与环境等因素无关,使得其在3类探测系统中脱颖而出,具有一系列优势:1)不受光照的影响,可以全天时工作(宦克为等,2008);2)由于其不发射电磁波,因此是非自动的探测方法(王国宏等,2002);3)穿透能力强,可以避免灰尘、云层和烟雾等的遮挡,可以更好地识别虚假的伪装目标。以上优势也使其成为传统可见光探测系统与雷达探测系统的有效补充或替代(张良和刘红霞,2011)。

随着红外探测系统性能的不断提高,红外探测技术已经广泛应用于红外预警、搜索潜艇和红外制导等军事领域以及医学病变细胞诊断和工业探伤等民用领域(韩金辉,2016),并取得了显著成就。在军事和医疗等民用领域中,高检测率、低虚警率的实时红外小目标检测是实际应用的必然需求。然而,在大多数实际应用的红外成像系统中,待检测目标与探测器之间的距离较远,使得红外目标占整幅红外图像的面积非常小,一般少于100个像素,加上背景复杂多变的特点,为检测带来困难。具体表现为以下几点:

1) 红外目标的特点:红外弱小目标本身缺乏颜色和纹理等特征,尺寸小(一般小于9 × 9个像素),大多数方法只能利用其灰度分布特征、运动特征以及运动方向等特征(Liu等,2017a)。此外,红外小目标的信噪比低,容易被复杂多变的背景以及云层海波中的噪声所淹没。

2) 红外背景的特点:背景相似,分布连续;目标经常存在于云层、海浪中,场景复杂多变;复杂的红外图像背景特征表现较为不均匀, 相对于目标区域的灰度较暗(王好贤等,2019)。

3) 红外弱小目标检测的难点:(1)目标可用特征少。由于目标尺寸小,总辐射能量小于背景的辐射能量,在图像中灰度分布多变,难以采用统一的数学模型进行描述;且不存在精细的纹理、形状等结构信息,使得传统可见光图像的目标检测方法无法直接用于红外弱小目标检测中。(2)图像的信噪比低。由于成像距离远,使得小目标与云层、海浪等的杂波和噪声有相似的特点,进而易被淹没和干扰,从而导致小目标的强度小,图像的信噪比低,目标信号几乎淹没在难以预测的背景中,更加难以检测。(3)检测准确率不高。在实际情况和应用中,目标的运动方向和速度具有高机动性,这也使得提高机动目标的检测准确率成为学者们致力解决的问题。(4)成像环境复杂。在红外精确制导和预警方面,成像过程中往往伴随着烟雾和海波等,这对不同检测算法的鲁棒性提出了更高的要求(王晓阳,2018)。(5)实时性差。检测效果通常与计算量近似反比,检测效果好的算法往往计算量大,因为建模量大、计算硬件条件跟不上,导致实时性差。(6)公开的数据集少。红外小目标检测大多用于军事领域,存在一定的保密性,供研究者公开使用的红外数据库很少,这也在一定程度上制约了小目标检测算法的发展。

本文主要论述国内外红外弱小目标检测的研究成果和现状,分析典型的基于单帧和基于序列的红外弱小目标检测方法,针对其算法的利弊进行详细分析和介绍,并对每类算法的性能进行比较。最后,针对当前红外弱小目标检测存在的问题,对今后一段时期内该领域的发展进行展望。

1 基于单帧图像的红外弱小目标检测

由于不同红外图像中的小目标具有不同的外观、形状和姿态,加之噪声杂波的干扰遮挡,导致这个任务颇具挑战性。本节主要对3类主流单帧图像红外弱小目标检测方法的原理、主要步骤以及特点进行分析。

1.1 基于滤波的方法

基于滤波的检测方法是最早用于小目标检测的方法,该类算法的思路简单,主要利用设计的滤波器对红外图像背景进行估计,达到抑制背景的效果。或者利用目标、背景和杂波之间的频率差异,在频域内设计相应的滤波器将背景与杂波滤除。整体而言,计算量小,但是效果较差,只能在一定程度上起到抑制均匀背景的作用,不能解决复杂背景的问题,且检测率低,算法的鲁棒性较差。根据上述思路,该类检测算法具体分为以下两种。

1.1.1 基于空域滤波的算法

空域滤波是最早期的一类红外弱小目标检测方法,原理简单,主要利用灰度和视觉显著性等差异进行检测,其特征是通过滤波对红外图像的背景进行估计,在一定程度上实现均匀背景的抑制;最早使用的是简单的空域高通滤波器,红外弱小目标灰度值高,背景灰度值较低,主要利用这种差异实现目标检测(赵坤和孔祥维,2004)。该方法使小目标和孤立的噪声点均可以通过,导致检测率低。因此,在一段时期内学者们曾致力于研究其他的空域滤波算法,如Marvasti等人(2018)通过定义新的开运算,得到新型的Top-Hat变换,该算法解决了将传统Top-Hat变换用于红外弱小目标检测时无法区分真实目标的问题。

1.1.2 基于频域滤波的算法

该类算法进行红外弱小目标检测主要利用目标、背景和杂波之间的频率差异,在变换域内设计相应的滤波器将背景与杂波滤除。最早使用频域理想高通、高斯高通与巴特沃斯滤波器,都在一定程度上存在“振铃”现象以及滤波效果差的问题,但巴特沃斯滤波方法较好地解决了两种问题。之后,研究者们又提出了一些频域滤波的方法进行改进,如利用小波变换,将目标的高频部分和低频背景进行分离(倪林,2010),实现检测任务,针对高维特征的不适用问题,又提出多种多尺度变换方法,如剪切波变换(Anju和Raj,2016)等。吴天爱等人(2016)通过奇异值来改变相应的系数,从而实现目标检测。但该类算法需要预先设定一些参数,难以根据实际图像自适应调整。

为此,Wang等人(2017c)基于传统频域滤波对高低频的目标与背景分离的检测方法又提出了一种新思路——基于非负约束变分模态分解(nonnegativity-constrained variational mode decomposition,NVMD)的红外弱小目标检测方法,该方法可以自适应地将输入信号分解为多个分离的带限子信号,并具有非负性约束。该算法主要基于这样的认知:红外弱小目标与背景在很多特性上差异很大,在频域上,前景和背景对应的分布不同,可以利用这种区别进行检测任务。引入非负约束的变分模态分解算法具有自适应地对输入图像进行分解的优势,不必预先设定参数;可以对频道较窄的信号,剔除不想要的部分,最后实现目标检测。

整体而言,相比于空间域的红外弱小目标检测方法,基于频域滤波的检测算法一般计算复杂度较高,但是检测效果有明显提升,而且相比于后续基于数据结构的检测方法,计算复杂度明显更小。因此,此类算法可以得到实际应用。

1.2 基于人类视觉系统的方法

人类视觉系统(human visual system,HVS)机制在目标检测、识别和理解方面有着非常广泛的应用,包括人眼视觉注意机制、亮度及对比度敏感机制等,此类算法主要利用了显著图。根据人眼视觉感知特性,小目标的出现导致了局部纹理而非全局纹理的显著变化,因此基于局部差分或变异的算法在不同的小目标检测任务中显示出巨大的潜力(王刚等,2015)。故基于HVS的检测方法主要有以下两类。

1.2.1 基于频谱残差的算法

Hou和Zhang(2007)是通过保留规范的特性、抑制其余的特性来实现检测。该算法仅对无需先验信息,纹理、形状等特征不明显的红外弱小目标检测效果较好,且算法简单、易于实现,但算法不能很好地抑制背景杂波。学者们逐渐对频谱残差算法本身进行改进,如易翔和王炳健(2017)改进了幅度谱的方差和均值的阈值。将需要的特征和角点检测结合,得到目标区域。以此来提高检测的准确率,从而推动了这类算法的发展。熊伟等人(2018)也提出了显著性与频谱残差结合的算法。利用各自的特点完成像素级分类,代表这类算法的基础。

1.2.2 基于局部对比度的算法

基于特征的小目标检测算法常采用简单的全局特征,如亮度等;但这会在一定程度上丢失小目标的特征。此外,考虑到在红外弱小目标图像中,小目标的亮度与其邻域区域存在较大的差异,容易吸引人眼的视觉关注,属于图像中显著性的物体,符合人类视觉系统机制,采用局部特征能更好地检测出红外弱小目标。因此,澳门大学Chen等人(2014)针对传统算法大多存在的全局特征提取不足的问题,利用局部区域中对比度差异的方式(local contrast measure,LCM)进行检测,其基本原则是利用小目标区域与周围相应区域的差异进行对比度测量。但该算法不适合检测暗目标,且采用“滑窗”技术进行计算对比度耗时较长,甚至存在“块效应”的问题。针对这些问题华中科技大学的Wei等人(2016)受生物视觉机制启发,利用多尺度中块的对比度不同的方式来检测目标(multiscale patch-based contrast measure,MPCM),该方法可以改变前景目标与背景间的对比度,使用简单的阈值分割更容易将小目标从背景中分离,且能够同时检测红外图像中的亮、暗目标,但它对厚重杂波不够鲁棒。之前对红外弱小目标检测的方法是使用局部熵或多尺度局部差分对比度来增强目标。但是,对于云层边缘的图像来说,由于云层边缘的影响,上述两种方法得到的结果存在不同程度的混乱和噪声,Deng等人(2016b)针对这个问题,提出了WLDM(weighted local difference measure)映射,用来提高多尺度局部差异对比度。红外弱小目标图像中,小目标与其相邻区域是不连续的,而背景与其相邻区域是一致的,可以扩大目标与其相邻区域之间的不连续性,但使用局部差分图这种常规算法会产生很高的漏检和误检。因此,Deng等人(2017)又提出了一种基于熵的自适应窗口选择技术来构建原图的新型局部差分图。通过基准计算局部熵,通过该熵的大小判断是否需要改变窗口的大小进而实现自适应窗口的选择。以上基于局部差分并通过某些手段抑制背景增强目标的方法,大多仅在图像对比度大时有较好的检测结果,算法的泛化能力较差,不能很好地适用于复杂的背景。

还有利用局部信息来获取显著图的方法,Bai和Bi(2018)提出了基于导数熵对比度测量(derivative entropy-based contrast measure,DECM)的方法,适用于复杂场景的小目标检测,主要是通过幅度和位置信息,得到更好的检测结果。但仍然存在一定的“分块”效应。现有的局部对比度算法在计算当前位置的局部对比度时,直接选取当前位置的相邻区域作为参考,可能会带来结果不准确的问题。此外,现有算法主要是比值和差分形式,不能有效增强真实目标并抑制所有类型的复杂背景。针对这两个问题以及在DECM算法考虑方向特征的基础上,Han等人(2019)提出了一种新的引入自适应背景估计的局部对比方案,以提供更准确的参考,并提出了更适合小目标检测的多方向2维最小均方算法。该算法可以增强真正的小目标,同时抑制所有类型的复杂背景,具有很好的鲁棒性,在一定程度上对基于HVS的单帧图像红外弱小目标检测方法的发展起到了促进作用。

1.3 基于低秩稀疏恢复的方法

稀疏表示(sparse representation, SR)(焦鹏飞,2019)的数学模型就是约束优化问题,但由于干扰等原因也可以转化为无约束优化问题(Celik和Bilge,2017Wang等,2017d),该问题可以利用基追踪算法求解(张旭,2016)。

1.3.1 基于稀疏表示的算法

稀疏表示之前主要应用于分类任务, 主要是利用频率特征差异实现目标检测。根据调研,红外弱小目标往往呈现稀疏特征,背景由于重复元素多,从而使其有低秩特性,使检测变成一个分类任务,稀疏表示在该领域用作分类具有很好的表现,可推知其非常适合于对红外图像进行稀疏表示。因此,基于稀疏矩阵和低秩矩阵恢复的小目标检测也越来越受到人们的关注。美国陆军传感器研究实验室Nasrabadi(2014)提出一种基于稀疏表示的多光谱图像目标检测方法,使用综合的光谱特征为稀疏表示分类器构建冗余的目标字典,在环境迅速变化时的检测效果较好,奠定了稀疏表示在该领域的扎实基础。

Zhao等人(2011)使用了稀疏表示,当系数零范数最小时,得到对应参数,成功地改进和优化了对小目标的表示。此外,在检测帧中,使用高斯强度模型生成目标样本,形成超完备的字典矩阵,并将稀疏模型求解应用于确定每个子图像块的稀疏表示中。但采用正交匹配追踪优化求解的方法,不能保证始终找到一个最优解,这也在一定程度上限制了检测性能。为此,西安高新技术研究院He等人(2015)也是利用此类算法思想来进行检测。LRSR(low-rank and sparse representation)模型在SR理论和低秩矩阵基础上,采用增广拉格朗日乘子法进行优化求解,可以有效地描述噪声数据的具体结构。算法流程如图 1所示。该算法在强噪声背景条件下有较高的检测性能,有较低的虚警率和更好的鲁棒性,但也存在不能很好利用红外图像背景非局部自相关性而导致背景抑制效果存在一定欠缺的问题。

图 1 低秩稀疏表示算法流程图(He,2015)
Fig. 1 The flow chart of LRSR algorithm (He,2015)

1.3.2 基于块图像的算法

针对上述问题,Gao等人(2013)提出了红外图像块(infrared patch-image,IPI)模型,通过“滑窗”方式分块,分离出每个块的稀疏的目标特征,实现检测任务。该思想通过对输入数据进行重新排布,来增强图像中各个部分的性质,很好地保持空间相关性。该算法开拓了使用块图像进行红外弱小目标检测的先河,此类算法主要在下述两个方面进行改进。

在权值设定的改进方面,南京大学Dai等人(2016)提出了加权的IPI模型,考虑到IPI模型在面对极为复杂的红外背景时,由于L1范数稀疏度测量的缺陷,将面临一个两难的境地:在分离过程中,模糊的小目标会过度收缩,或者较强的云层边缘仍留在目标图像中。Dai等人(2016)提出的WIPI(weighted infrared patch-image)模型,将结构先验信息引入到红外弱小目标和背景的分离过程中。根据目标块图像的块结构为每列自适应地分配权重。然后将所提出的WIPI模型转化为列加权的鲁棒主成分分析问题。此外,还设计了一个基于转向核的目标不稳定性系数,作为每列的自适应权重。该算法可以更好地保留红外弱小目标,并抑制较强的边缘。Dai等人(2017a)提出了重加权红外块张量模型(reweighted infrared patch-tensor model, RIPT), 进一步利用目标稀疏先验和背景非局部自相关先验,将红外弱小目标检测问题建模为一个鲁棒的低阶张量恢复问题,设计用稀疏的权重和局部的权重来代替全局权重。对先验信息不足和边缘比较强的图像有很好的效果。IPI对大量观测值的隐含假设与对强边缘的观测值不足的现实不匹配,为了解决这个问题,Dai等人(2017b)提出了NIPPS(non-negative infrared patch-image model via pantial sum minimization fo singulan values)模型。采用奇异值的部分和来代替低阶背景块图像,提供更准确的背景估计并几乎消除分解目标图像的残差。而且,因为红外弱小目标的目标区域比背景区域更亮,他们提出了对稀疏目标块图像的附加非负约束,可以加快收敛速度。

在矩阵恢复改进方面,华中科技大学熊斌等人(2017)改进了IPI模型中鲁棒主成分分析问题的加速近端梯度算法(accelerate proximal gradient,APG)。为了适应不同的图像,使用自适应的权重。并使用增广拉格朗日乘子法,这样处理后减少时间,提高准确率。总体而言,就是解决边缘较强的图像的问题。进一步地,Wang等人(2017b)提出了一种全变差—主成分追踪(total variation regularization and principal component pursuit,TV-PCP)的红外弱小目标检测方法,仍采用IPI模型保持图像的空间相关性,构建为块图像形式,以便处理非平滑、非均匀的背景;作者使用这种方式,提升了边缘和角点的清晰度,从而减少了干扰,因为背景的估计更加准确, 进而实现更加准确的检测。该算法采用交叠方向乘子法进行优化求解,这也是在矩阵恢复方面的一个改进。但上述两种改进方法都未针对复杂的背景。

故此,Wang等人(2017a)采用稳定的多子空间学习的方法(stable multi-subspace learning,SMSL)提升了异构背景的精准度。在该算法中,各个区域分别用不同的多子空间来减少干扰;对于均匀的背景,将多子空间模型的子空间数设为1,即转化为传统单一子空间的模型。在优化求解过程中,采用APG与块坐标下降方法相结合的求解方法,也相当于在矩阵恢复方面进行了改进。以上这些基于稀疏矩阵和低秩矩阵恢复的方法对于普通红外图像具有优异的稳定性能。但是在某些情况下也存在一些缺点,首先在计算上很耗时,因为需要进行多次矩阵分解和优化迭代操作。此外,上述大多数算法虽然可以通过施加一定的约束来提高检测精度,但是对于目标较暗且背景复杂的红外图像,一些强杂波信号可能会像目标信号一样稀疏,导致虚警率增高。针对该问题,Zhang等人(2018)提出一种非凸秩逼近最小化与加权L1范数的红外弱小目标检测方法(non-convex rank approximation minimization,NRAM),该算法通过对边缘引入额外的正则项可以很好地保留边缘特征,并更好地抑制红外背景,在一定程度上降低了虚警率。

1.4 单帧红外小目标检测算法性能比较

结合上述对不同算法的特征综述,可以总结出基于滤波的方法主要适用于单一、均匀的连续背景以及目标尺寸较小的场景中;基于HVS的检测方法主要适用于目标亮度相对较大,与周围的背景呈现较为明显差异的场景中;基于低秩稀疏恢复的方法明显适用于几乎各种复杂、迅速变化的背景,但在实际使用中需要GPU等进行加速来使其满足实际监控等场景的实时性。本文主要基于Zhang等人(2018)的实验测试结果对基于滤波的方法、基于HVS的方法以及基于低秩稀疏恢复这3类算法中经典的方法进行横向比较。评价使用的指标是信噪比增益(signal-clutter ratio, SCR)和背景抑制因子(background suppression factor, BSF),即

$ {f_{{\rm{SCR}}}} = \frac{{{{\left({S/C} \right)}_{{\rm{out}}}}}}{{{{\left({S/C} \right)}_{{\rm{in}}}}}} $ (1)

$ {f_{{\rm{BSF}}}} = \frac{{{C_{{\rm{out}}}}}}{{{C_{{\rm{in}}}}}} $ (2)

式中,$S$$C$分别代表平均目标强度和背景杂波标准差,in和out代表输入和输出图像。基于滤波的方法选用以Top-Hat为代表的空域滤波和以NVMD为代表的频域滤波方法进行对比;基于HVS的方法也较为简单,选用局部对比度测量(LCM)和基于块的多尺度对比度测量(MPCM)这两种具有代表性的算法进行对比;而基于低秩稀疏恢复(尤其是块图像)的方法是近年研究最多的,因此,选用IPI模型、加权的块图像模型WIPI、稳定的多子空间学习模型SMSL和非凸秩逼近最小模型NRAM进行对比。即使用8种算法对SCR和BSF两个客观指标进行分析对比。图 2为7种算法在5个复杂背景红外弱小目标图像检测结果,表 1为客观指标评价结果,各算法的测试配置平台是在Windows7系统的MATLAB R2018a,英特尔赛扬2.90 GHz处理器,4 GB RAM内存。可以看出,总体而言,4种基于低秩稀疏恢复的方法在两种客观评价指标上的平均性能明显优于其他两类算法;基于滤波的Top-Hat变换算法的主要目的是抑制背景,因此其相比于以提高目标区域局部对比度为目的的LCM方法和MPCM方法在BSF指标上效果更好,但从SCR的角度来看,两种算法的性能较为接近,LCM算法存在明显的“块效应”,使得其效果最差;从图 2也可以看出,NRAM代表的基于低秩稀疏恢复的方法在复杂背景的红外弱小目标检测中有明显优势。在时间消耗方面,仅对几种复杂背景下相关检测算法的时间消耗进行统计意义不大。综合众多文献对不同算法消耗时间的统计来看,本文在表 2中对几种典型的单帧检测算法的计算复杂度进行了汇总($I$为结构元素大小,$K$为处理窗口尺寸,$M$为图像的宽,$N$为图像的长),从表 2中可以看出,以IPI为代表的基于图像低秩稀疏恢复的方法耗时最长,以LCM为代表的基于人类视觉系统的方法次之,而以Top-Hat为变换代表的基于滤波的方法耗时最短。

图 2 7种算法在不同复杂背景的检测结果
Fig. 2 Detection results of seven algorithms in different complex backgrounds
((a)original images; (b)Top-Hat; (c)LCM; (d)MPCM; (e)IPI; (f)WIPI; (g)SMSL; (h)NRAM)

表 1 8种方法的客观指标值对比
Table 1 Comparison of objective index values of the eight methods

下载CSV
方法 指标 序列1 序列2 序列3 序列4 序列5
Top-Hat SCR 4.92 2.09 1.54 2.29 3.78
BSF 5.55 10.66 7.55 8.59 3.00
LCM SCR 0.49 0.75 2.17 0.25 0.40
BSF 0.69 0.93 1.18 0.69 0.96
MPCM SCR 4.56 2.05 1.22 0.49 2.59
BSF 5.49 8.20 6.85 1.96 2.50
IPI SCR 7.36 7.64 2.59 4.24 2.10
BSF 2.25 2.10 4.46 5.08 4.29
WIPI SCR 10.71 11.01 3.26 3.40 2.03
BSF 6.72 2.93 8.36 3.18 3.93
SMSL SCR \ 1.86 2.80 \ \
BSF \ 10.34 2.99 \ \
NRAM SCR 87.34 11.02 2.72 8.81 7.75
BSF 60.30 50.01 21.29 25.7 32.58
NVMD SCR 5.79 1.94 2.89 3.82 4.21
BSF 5.94 5.31 7.99 8.69 3.83
注:加粗字体为每列最优值, “\”表示无数据。

表 2 典型算法计算复杂度的对比
Table 2 Comparison of computational complexity of typical algorithms

下载CSV
方法 复杂度
Top-Hat O(I2logI2MN)
LCM O(K3MN)
MPCM O(K3MN)
IPI O(MN2)
NIPPS O(MN2)
SMSL O(MN)
RIPT O(MN2)
NRAM O(MN2)

2 基于序列的红外运动小目标检测

对于红外运动小目标的检测问题,小目标的形状、灰度变化在时间上的连续性,以及运动轨迹的连续性等先验信息是有效分割红外图像中噪声与小目标的关键。目前主流的基于序列的红外运动小目标检测方法根据这些先验信息使用的先后顺序,主要分为两类:先检测再使用运动信息(detect before motion,DBM)和先使用运动信息再检测(motion before detect,MBD)。本节主要对两类主流的红外运动小目标检测方法的原理、主要步骤以及典型方法的特点进行分析。

2.1 DBM检测方法

该方法是一类经典的运动检测策略。主要是利用部分先验信息得到可能是目标的区域,得到这个区域可以帮助抑制序列背景,并提高图像的信噪比,但可能检测到虚假目标;再根据检测率和虚警率计算单帧图像的阈值,对每个像素按一定准则进行是否为小目标的判决,进而对每帧图分割得到二值化的红外序列;最后将其投影得到小目标的运动轨迹,利用图像的帧间信息,在序列中累计,最后判断是否为前景目标,排除虚假目标。由于其计算量小,故适合于信噪比较高的图像。基于DBM的检测方法主要有以下几种。

2.1.1 基于匹配滤波器的算法

匹配滤波器检测方法(Luo等,2007),主要根据目标与背景的频率差异,抑制小目标的相应分布,通过最佳信噪比将其从近似为正态分布的杂波中分离出来。空间匹配滤波器需要前景的先验信息,否则会导致设计出来的滤波器性能低;抑制背景变化缓慢的图像一般可以使用高通滤波器;自适应巴特沃斯高通滤波器,适用于海天背景下的红外弱小目标检测。

2.1.2 基于小波分析的算法

基于小波变换的小目标检测主要利用小波变换的分解特性,将图像中的细节信息分离出来,但是这部分信息不全是需要的目标信息,进行适当的筛选后,得到想要的目标信息。Yu等人(1992)为了检测出多光谱图中的小目标,提出了自适应极大似然比的方法,在小波分解基础上,通过构建对应的向量来进行检测。随着小波变换理论的迅速发展,迟健男等人(2007)通过反对称双正交小波变换提高了检测性能,克服了传统算法的缺点。

2.1.3 基于神经网络的算法

20世纪90年代以来,因为计算水平提高,神经网络也被用于红外弱小目标领域中。Roth(1989)利用Hopfield网络实现了红外运动目标的检测。最具代表性的两阶段目标检测算法是Faster R-CNN(Ren等,2017)。它的主要思想是利用两步进行检测,先找到可能是目标的区域,通过Anchor机制来得到候选区域,然后通过参数共享,将分类和回归统一在一起得到检测结果,但其主要针对于通用的目标检测。此外,红外运动小目标检测大多存在一定的保密性,公开的数据集少,导致在该领域上没有很好的基于深度学习的检测算法。

但是,随着成像系统设备的广泛使用,很多研究学者使用红外相机拍摄了自己的数据集,尽可能模拟复杂背景并使拍摄目标满足国际标准协会定义的小目标特点,促使深度学习逐渐运用到红外弱小目标的检测领域。如Liu等人(2017b)提出了一种基于卷积神经网络的热红外目标跟踪算法,考虑到空间信息缺乏,只利用全连接层的特征或者单个卷积层的特征均不适合于红外目标跟踪,故该算法提出了一种基于相关滤波器的多层卷积热红外跟踪系统(multi-layer convolutional features for thermal infrared tracking,MCFTS),该算法的提出为基于神经网络的红外运动小目标检测提供了一种新的思路,即若将检测问题视为二分类,即可通过多个弱分类器的集成得到更为准确的检测结果。此外,Fan等人(2018)针对当前红外成像系统普遍存在的由于拍摄距离远而导致的目标模糊与背景复杂问题,为提高小目标与背景的对比度,提出了一种在增强小目标的同时抑制背景杂波的卷积神经网络增强方法,该算法对小目标和背景进行预测,有利于提高背景杂波嵌入小目标的弱红外图像的对比度。为了克服需要大量训练数据的缺点,利用MNIST(mixed national institute of standards and technology database)数据集中的手写字符来模拟红外图像前景和背景的差异。

上述方法并没有考虑成像系统本身存在的噪声对检测的影响,因此,国防科技大学Deng等人(2019)考虑到在较远的观测距离内,红外探测系统噪声的存在与鲁棒性特征的缺乏使得空间物体的检测难以处理,提出了一种多尺度卷积神经网络。提出的网络结构由变换、局部卷积和全卷积3部分组成,由红外辐射模型生成小目标训练数据,该模型考虑了不同场景中空中小目标的微小运动动力学特征以及固有的属性。该方法可以提高系统的性能,且对探测系统的噪声有较强的鲁棒性,甚至在强噪声环境中,也可以达到较高的分类精度。但是目前大多数深度学习的检测方法是将红外弱小目标检测的问题视为二分类或显著性检测的问题,并没有统一的结构,因此,还需要在该领域投入更多的研究。

2.1.4 基于DBM显著性的算法

显著性检测指在复杂系统中快速定位人眼感兴趣的物体或信息,而在红外视频这种动态场景中,人眼更倾向于关注高速运动的小目标,而非静止的背景,这两点也使得显著性检测逐渐被引入到红外弱小目标检测的领域中。在单帧图像的检测算法中,基于局部对比度机制的方法实际是一种空域的显著性检测方法。

武汉大学Li等人(2016)提出了一种局部对比度与轨迹确认的红外运动小目标检测方法,该算法结合了时域显著性与空域显著性。主要特色在于:基于正则化特征重构得到的一个封闭形式的解,提出了一种局部自适应对比度,分别在空间域和时间域上计算空间显著性图和时间显著性图;此外,为了描述小目标的运动一致性特征,还提出了一种“传输操作”来生成轨迹预测图,但该算法不能实时应用于实际领域中。哈尔滨工业大学Cui等人(2016)提出的高速运动状态下的局部对比度检测算法,通过两层检测算法来平衡检测率与速度的问题,进而解决实时性问题;该算法在检测率、虚警率以及速度上均具有良好的性能,但没有充分利用全局信息,在背景抑制上存在一定欠缺。为解决该问题,西安电子科技大学Yi等人(2019)提出了一种从粗到细的检测策略,可以实现快速红外弱小目标检测。在粗检测阶段,构造基于快速光谱尺度空间的全局显著性模型,以快速抑制复杂背景区域,从原图中提取含有暗淡和小目标的视觉显著区域;在最终检测阶段,根据目标与背景之间的局部对比度差异,采用自适应局部对比度方法对视觉显著区域中的小目标进行最终的对比度改善;最后,利用多帧图像之间的时间相关性来实现小目标检测。综上,基于显著性的红外弱小目标检测算法往往采用多种显著性度量方式相结合的策略,充分突出小目标,并抑制背景。

此外,还有一些没有详细介绍但具有代表性的方法,如基于小面模型(facet model)的方法(Yang等,2014),图像加权熵(weighted entropy)的方法(Deng等,2016a)等。这些算法在某些特定场景下取得了很好的目标检测效果,当背景复杂时,算法的鲁棒性较差。

2.2 MBD检测方法

基于MBD的红外弱小目标检测技术是近年来使用较广的检测策略。该类方法主要针对复杂背景下单帧图像由于可利用的纹理、边缘和小目标尺寸等特征不明显导致的难以检测的问题,为红外运动小目标检测提供了一种新思路,即先不检测目标,先不进行判断是否为真正小目标,而是先进行目标的轨迹搜索以及运动能量的累积。该类方法主要包含3个步骤:1)利用频率差异将红外图像中的高低频分离,尽可能地抑制平滑的低频背景;2)利用运动信息得到感兴趣区域,并筛选少量的候选区域;3)进行小目标检测。该类算法主要适用于复杂背景下红外图像信噪比较低时的红外运动小目标检测,解决了噪声干扰目标检测的问题。MBD检测方法主要有以下几种。

2.2.1 基于高阶相关的算法

高阶相关算法主要利用时间信息得到轨迹之间的关联,利用这种特性在图像中检测目标。张海英和张田文(2005)提出的多阶段目标轨迹融合算法,就是利用高阶滤波器来快速锁定目标。但是,该算法很大程度上依赖于神经网络的结构,随着网络深度的增加,计算量剧增,难以实现实时检测, 因此未解决实时性的问题。张耀等人(2010)提出了一种高阶相关的弱小目标检测算法,利用三阶相关方法通过少量的计算检测出真正的目标。该算法无需已知小目标初始条件的先验信息与运动信息,但中值滤波不能很好地取出杂波,滤波后有较多的目标和噪声存在于背景成分中,且通过后续的方法不能很好地分离。故在此基础上,Jiao和Lingda(2017)提出了高阶统计与预测结合的方法,利用背景预测,可以较好地去除红外图像中的噪声以及实现对背景的准确预测,进而得到准确的小目标图像,提高检测的准确率。天津大学Jing等人(2019)又提出了一种时间序列预测的高阶时间相关模型,该模型还未用到红外弱小目标检测中,但是为预测下一帧中小目标的状态提供了可能,也是一种时域相关性的应用,为未来基于高阶相关算法进行红外运动小目标检测的发展方向提供了一种新思路。

2.2.2 基于粒子滤波的算法

粒子滤波是Gordon等人(1993)提出的。Chen等人(2018)利用此算法进行改进。该算法主要针对传统粒子滤波检测算法存在的检测精度低、运算量大和粒子质量差,难以满足现代红外跟踪系统的精度和速度要求。根据此问题做出的改进,可以更好地处理非线性以及非高斯问题,一定程度上解决了传统粒子滤波的问题,但还需要进一步优化。

2.2.3 基于MBD显著性的算法

先使用运动信息,再利用提取的多种特征基于显著性来实现检测的算法是最早由华中科技大学Qi等人(2014)提出的一种频域红外弱小目标增强的显著性方法(phase spectrum of quaternion Fourier transform,PQFT),主要优势在于抑制背景的同时,使用四元组傅里叶变换相位谱来增强小目标,利用高斯形状分布的小目标的位置信息隐含在频域的相位谱中来检测小目标,并采用4个数据通道的PQFT可以增加更多的信息,获得广泛背景的杂波;使用二阶方向导数滤波器可以抑制噪声,将背景和小目标区分为可分离的不同纹理,进而提高小目标增强的鲁棒性。在此基础上,考虑到小目标易受到噪声影响以及背景干扰,且需要考虑红外运动小目标的检测问题,Han等人(2015)提出了一种基于视频序列的时域显著性与频域PQFT显著性相结合的红外弱小目标检测方法,在构建四元组的过程中采用了运动信息作为一个数据通道,利用相邻图像帧之间的时间相关性,有利于在序列中获得较好的检测效果,但只是采用了简单的帧差技术提取小目标的运动信息,不能很好地保留其运动轨迹,这使得在红外序列检测中的误检率较高。

为解决上述问题,Zhang等人(2019)提出QDCT(quaternion discrete cosine transform)的红外弱小目标检测方法,充分利用4个通道的特征信息进行检测,以确保尽可能多地使用小目标的所有可能信息。该方法主要依托于QDCT可以利用颜色特征检测图像中的显著性区域,如:火焰、人群中打架等异常行为。考虑到运动的小目标是红外序列中的显著性部分,易引起人眼的关注,故可以将其用于红外弱小目标检测中。

该算法在构建四元组的过程中,考虑到小目标近似于高斯状分布的特性以及峰度反映样本分布与标准高斯正态分布之间的差异,故统计学的峰度值实际也表征的是对比度特征,在一定程度上反映图像中具有较高红外辐射的高亮度区域;采用运动累积的方法提取运动特征,可以在表征小目标高速运动的同时,保留其运动轨迹,更好地利用了时域特征;再通过QDCT频域显著性检测方法抑制背景, 增强小目标,得到的显著性区域即为小目标所在的区域,以此来实现红外运动小目标检测,具体的算法流程如图 3所示。

图 3 基于四元组离散余弦变换的红外弱小目标检测算法流程图(Zhang等,2019)
Fig. 3 Flow chart of infrared small-target detection algorithm based on QDCT(Zhang et al., 2019)

2.3 序列红外运动小目标检测算法性能比较

由于红外运动弱小目标检测算法研究较少,目前还没有详细按照该分类进行对比的论文,且代码公开较少,而本文作者在序列检测领域的研究主要集中在显著性检测方面,因此,本节主要对几种显著性检测相关方法的客观评价指标进行简单的对比与说明,见表 3,分别是FT(Achanta等,2009),PQFT(Qi等,2014),Han等人(2015)的方法和QDCT(Zhang等,2019)。从表中可以看出,QDCT这种利用小目标的运动信息保留其运动轨迹,并利用4个数据通道有助于获取更多的红外序列信息,在背景抑制、提高目标与背景的对比度方面有更好的效果。综合上述两类算法中典型方法的主要特点和步骤等分析可知,DBM和MBD是基于不同思路进行红外运动小目标检测的两类方法,本小节重点总结对比了这两类方法。DBM方法原理简单、耗时短、实时检测便于应用。该类方法在低信噪比条件下由于小目标灰度与背景的灰度值接近,容易在阈值低时将背景判别为目标或在阈值高时目标丢失,导致算法失效。但在信噪比大于10 dB时具有较好的检测效果。MBD方法的计算流程相对复杂,要求的硬件系统配置更高,难以实时应用。但在低信噪比的情况下,小目标检测性能明显更优。在实际的军事领域中,红外成像系统一般较远,目标尺寸小、背景复杂且目标容易被杂波干扰,使得信噪比低。因此,人们较多地采用MBD方法来检测红外图像中信噪比低的弱小目标,比如郝晓冉和张有志(2005)就是使用该方法。二者详细的性能比较如表 4所示。

表 3 4种显著性检测方法的客观评价指标
Table 3 Objective evaluation indexes of four significance test methods

下载CSV
方法 指标 序列1 序列2 序列3 序列4 序列5
FT SCR 0.941 7 2.66 2 1.362 9 2.101 3 3.670 5
BSF 1.170 1 1.267 5 1.480 7 2.801 5 1.427 5
PQFT SCR 6.206 9 7.774 5 12.821 1 9.775 3 5.286 9
BSF 6.641 1 5.364 4 11.030 8 7.131 6 6.037 1
Han等人(2015) SCR 6.762 5 9.964 8 19.742 9 11.054 4 5.845 1
BSF 7.063 2 6.794 9 11.802 7.941 7 7.503 8
QDCT SCR 8.951 4 14.534 8 27.303 9 14.416 1 7.597 2
BSF 9.069 3 7.087 5 13.671 8 10.522 2 10.747 1
注:加粗字体为每列最优值。

表 4 DBM和MBD检测算法性能比较
Table 4 Performance comparison of DBM and MBD detection algorithms

下载CSV
DBM方法 MBD方法
优点 1)算法简单 1)抗干扰能力强
2)易于实现 2)检测率高,虚警率低
3)先进行单帧检测 3)适用于低信噪比的小目标
缺点 1)抗干扰能力差 1)算法复杂,计算量大
2)检测率低,虚警率高 2)难于硬件实现
3)适用于高信噪比的小目标 3)需要多帧关联
适用范围 实时小目标检测 低信噪比下小目标检测

总之,应满足实际应用,结合不同方法各自的优点,设计出性能好、实时且结构简单的算法。随着硬件设备与芯片工艺的日益完善,算法在芯片上的执行实时性更高,在算法的实时性不再是算法的主要考虑因素时,MBD这种以图像帧数的累加获取小目标可能的运动轨迹以提高检测与跟踪性能的算法将会是更好的选择。

3 结论

本文主要从当前红外成像系统的特点出发,引出红外弱小目标与背景的特点,由此推出当前红外弱小目标检测的难点问题。对当前主流的基于单帧图像的红外弱小目标检测和基于序列的红外运动小目标检测两类方法进行了深入分析与对比,就典型算法进行了详细的分析介绍,并选择典型方法和数据集进行分析比较。

该领域在未来的发展趋势是研究计算量小、性能优、鲁棒性强、实时性好和便于硬件实现的红外弱小目标检测算法:

1) 传统的红外弱小目标检测算法已经形成了比较好的体系,对应背景建模等方面已经有很好的效果,针对传统的检测算法可以更好地将张量模型运用到检测目标的领域中,来提高精确度。

2) 针对深度学习方法受限于训练的问题,可以在数据增广方面多进行研究,可以迁移到红外弱小目标的检测算法,还可以结合黄鐄等人(2019)提出的生成对抗式网络来对目标增强,最终考虑使用红外弱小目标图像和可见光图像进行结合检测来提高性能。

参考文献

  • Achanta R, Hemami S, Estrada F and Susstrunk S. 2009. Frequency-tuned salient region detection//Proceedings of 2009 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Miami: IEEE: 1597-1604[DOI:10.1109/CVPR.2009.5206596]
  • Anju T S and Raj N R N. 2016. Shearlet transform based image denoising using histogram thresholding//Proceedings of 2016 International Conference on Communication Systems and Networks (ComNet). Thiruvananthapuram: IEEE: 162-166[DOI:10.1109/CSN.2016.7824007]
  • Bai X Z, Bi Y G. 2018. Derivative entropy-based contrast measure for infrared small-target detection. IEEE Transactions on Geoscience and Remote Sensing, 56(4): 2452-2466 [DOI:10.1109/TGRS.2017.2781143]
  • Celik C, Bilge H S. 2017. Content based image retrieval with sparse representations and local feature descriptors:a comparative study. Pattern Recognition, 68: 1-13 [DOI:10.1016/j.patcog.2017.03.006]
  • Chen C L P, Li H, Wei Y T, Xia T, Tang Y Y. 2014. A local contrast method for small infrared target detection. IEEE Transactions on Geoscience and Remote Sensing, 52(1): 574-581 [DOI:10.1109/TGRS.2013.2242477]
  • Chen Z M, Tian M C, Bo Y M, Ling X D. 2018. Improved infrared small target detection and tracking method based on new intelligence particle filter. Computational Intelligence, 34(3): 917-938 [DOI:10.1111/coin.12150]
  • Chi J N, Zhang Z H, Wang D S, Wang Z L. 2007. Application of anti-symmetrical biorthogonal wavelet in infrared image small targets detection. Journal of Astronautics, 28(5): 1253-1257,1272 (迟健男, 张朝晖, 王东署, 王志良. 2007. 反对称双正交小波在红外图像小目标检测中的应用. 宇航学报, 28(5): 1253-1257,1272) [DOI:10.3321/j.issn:1000-1328.2007.05.035]
  • Cui Z, Yang J L, Jiang S D, Li J B. 2016. An infrared small target detection algorithm based on high-speed local contrast method. Infrared Physics and Technology, 76: 474-481 [DOI:10.1016/j.infrared.2016.03.023]
  • Dai Y M, Wu Y Q, Song Y. 2016. Infrared small target and background separation via column-wise weighted robust principal component analysis. Infrared Physics and Technology, 77: 421-430 [DOI:10.1016/j.infrared.2016.06.021]
  • Dai Y M, Wu Y Q. 2017a. Reweighted infrared patch-tensor model with both nonlocal and local priors for single-frame small target detection. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 10(8): 3752-3767 [DOI:10.1109/JSTARS.2017.2700023]
  • Dai Y M, Wu Y Q, Song Y, Guo Y. 2017b. Non-negative infrared patch-image model:robust target-background separation via partial sum minimization of singular values. Infrared Physics and Technology, 81: 182-194 [DOI:10.1016/j.infrared.2017.01.009]
  • Deng H, Sun X P, Liu M L, Ye C H, Zhou X. 2016a. Infrared small-target detection using multiscale gray difference weighted image entropy. IEEE Transactions on Aerospace and Electronic Systems, 52(1): 60-72 [DOI:10.1109/TAES.2015.140878]
  • Deng H, Sun X P, Liu M L, Ye C H, Zhou X. 2016b. Small infrared target detection based on weighted local difference measure. IEEE Transactions on Geoscience and Remote Sensing, 54(7): 4204-4214 [DOI:10.1109/TGRS.2016.2538295]
  • Deng H, Sun X P, Liu M L, Ye C H, Zhou X. 2017. Entropy-based window selection for detecting dim and small infrared targets. Pattern Recognition, 61: 66-77 [DOI:10.1016/j.patcog.2016.07.036]
  • Deng Q Q, Lu H Z, Tao H M, Hu M F, Zhao F. 2019. Multi-scale convolutional neural networks for space infrared point objects discrimination. IEEE Access, 7: 28113-28123 [DOI:10.1109/ACCESS.2019.2898028]
  • Fan Z L, Bi D Y, Xiong L, Ma S P, He L Y, Ding W S. 2018. Dim infrared image enhancement based on convolutional neural network. Neurocomputing, 272: 396-404 [DOI:10.1016/j.neucom.2017.07.017]
  • Gao C Q, Meng D Y, Yang Y, Wang Y T, Zhou X F, Hauptmann A G. 2013. Infrared patch-image model for small target detection in a single image. IEEE Transactions on Image Processing, 22(12): 4996-5009 [DOI:10.1109/TIP.2013.2281420]
  • Gordon N J, Salmond D J, Smith A F M. 1993. Novel approach to nonlinear/non-Gaussian Bayesian state estimation. IEE Proceedings F-Radar and Signal Processing, 140(2): 107-113 [DOI:10.1049/ip-f-2.1993.0015]
  • Han J H. 2016. Infrared Small Target Detection under Complex Background Based on Human Visual System. Wuhan: Huazhong University of Science and Technology (韩金辉. 2016. 基于人类视觉特性的复杂背景红外小目标检测研究. 武汉: 华中科技大学)
  • Han J H, Liu S B, Qin G, Zhao Q, Zhang H H, Li N N. 2019. A local contrast method combined with adaptive background estimation for infrared small target detection. IEEE Geoscience and Remote Sensing Letters, 16(9): 1442-1446 [DOI:10.1109/LGRS.2019.2898893]
  • Han Y, Zhang P, Fei C and Wang X Y. 2015. Infrared small target detection based on spatio-temporal saliency in video sequence//Proceedings of the 12th International Computer Conference on Wavelet Active Media Technology and Information Processing (ICCWAMTIP). Chengdu: IEEE: 279-282[DOI:10.1109/ICCWAMTIP.2015.7493992]
  • Hao X R, Zhang Y Z. 2005. Method of moving point target detection in image sequences. Infrared and Laser Engineering, 34(6): 709-713,718 (郝晓冉, 张有志. 2005. 一种序列图像中运动点目标的检测方法. 红外与激光工程, 34(6): 709-713,718) [DOI:10.3969/j.issn.1007-2276.2005.06.017]
  • He Y J, Li M, Zhang J L, An Q. 2015. Small infrared target detection based on low-rank and sparse representation. Infrared Physics and Technology, 68: 98-109 [DOI:10.1016/j.infrared.2014.10.022]
  • Hou X D and Zhang L Q. 2007. Saliency detection: a spectral residual approach//Proceedings of 2007 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Minneapolis: IEEE: 1-8[DOI:10.1109/CVPR.2007.383267]
  • Huan K W, Pang B, Shi X G, Zhao Q Y, Shi N N. 2008. Research on performance testing and evaluation of infrared imaging system. Infrared and Laser Engineering, 37(S2): 482-486 (宦克为, 庞博, 石晓光, 赵青义, 石宁宁. 2008. 红外成像系统的性能测试及评价方法研究. 红外与激光工程, 37(S2): 482-486)
  • Huang H, Tao H J, Wang H F. 2019. Low-illumination image enhancement using a conditional generative adversarial network. Journal of Image and Graphics, 24(12): 2149-2158 (黄鐄, 陶海军, 王海峰. 2019. 条件生成对抗网络的低照度图像增强方法. 中国图象图形学报, 24(12): 2149-2158) [DOI:10.11834/jig.190145]
  • Jiao J and Lingda W. 2017. Infrared dim small target detection method based on background prediction and high-order statistics//Proceedings of the 2nd International Conference on Image, Vision and Computing (ICIVC). Chengdu: IEEE: 53-57[DOI:10.1109/ICIVC.2017.7984517]
  • Jiao P F. 2019. Research on Image Classification and Retrieval Method Based on Deep Learning and Sparse Representation. Xi'an: Xi'an University of Technology (焦鹏飞. 2019.基于深度学习和稀疏表示的图像分类与检索方法研究.西安: 西安理工大学)
  • Jing P G, Su Y T, Jin X, Zhang C Q. 2019. High-order temporal correlation model learning for time-series prediction. IEEE Transactions on Cybernetics, 49(6): 2385-2397 [DOI:10.1109/TCYB.2018.2832085]
  • Li Y S, Zhang Y J, Yu J G, Tan Y H, Tian J W, Ma J Y. 2016. A novel spatio-temporal saliency approach for robust dim moving target detection from airborne infrared image sequences. Information Sciences, 369: 548-563 [DOI:10.1016/j.ins.2016.07.042]
  • Liu M Q, Huang Z C, Fan Z, Zhang S L and He Y. 2017a. Infrared dim target detection and tracking based on particle filter//Proceedings of the 36th Chinese Control Conference (CCC). Dalian: IEEE: 5372-5378[DOI:10.23919/ChiCC.2017.8028206]
  • Liu Q, Lu X H, He Z Y, Zhang C K, Chen W S. 2017b. Deep convolutional neural networks for thermal infrared object tracking. Knowledge-Based Systems, 134: 189-198 [DOI:10.1016/j.knosys.2017.07.032]
  • Lu H C, Li P X, Wang D. 2018. Visual object tracking:a survey. Pattern Recognition and Artificial Intelligence, 31(1): 61-76 (卢湖川, 李佩霞, 王栋. 2018. 目标跟踪算法综述. 模式识别与人工智能, 31(1): 61-76) [DOI:10.16451/j.cnki.issn1003-6059.201801006]
  • Luo J H, Ji H B and Liu J. 2007. An algorithm based on spatial filter for infrared small target detection and its application to an all directional IRST system//Proceedings of SPIE 6279, the 27th International Congress on High-Speed Photography and Photonics. Xi'an, China: SPIE: 6279(1): 62793E-627793E-6[DOI:10.1117/12.725333]
  • Marvasti F S, Mosavi M R, Nasiri M. 2018. Flying small target detection in IR images based on adaptive toggle operator. IET Computer Vision, 12(4): 527-534 [DOI:10.1049/iet-cvi.2017.0327]
  • Nasrabadi N M. 2014. Hyperspectral target detection:an overview of current and future challenges. IEEE Signal Processing Magazine, 31(1): 34-44 [DOI:10.1109/MSP.2013.2278992]
  • Ni L. 2010. Wavelet Transform and Image Processing. Hefei: China University of Science and Technology Press (倪林. 2010. 小波变换与图像处理. 合肥: 中国科学技术大学出版社)
  • Qi S X, Ma J, Li H, Zhang S P, Tian J W. 2014. Infrared small target enhancement via phase spectrum of quaternion Fourier transform. Infrared Physics and Technology, 62: 50-58 [DOI:10.1016/j.infrared.2013.10.008]
  • Ren S Q, He K M, Girshick R, Sun J. 2017. Faster R-CNN:towards real-time object detection with region proposal networks. IEEE Transactions on Pattern Analysis and Machine Intelligence, 39(6): 1137-1149 [DOI:10.1109/TPAMI.2016.2577031]
  • Roth M W. 1989. Neural networks for extraction of weak targets in high clutter environments. IEEE Transactions on Systems, Man, and Cybernetics, 19(5): 1210-1217 [DOI:10.1109/21.44038]
  • Wang G, Chen Y G, Yang S C, Gao M, Dai Y P. 2015. Detection of infrared dim small target based on image patch contrast. Optics and Precision Engineering, 23(5): 1424-1433 (王刚, 陈永光, 杨锁昌, 高敏, 戴亚平. 2015. 采用图像块对比特性的红外弱小目标检测. 光学精密工程, 23(5): 1424-1433) [DOI:10.3788/OPE.20152305.1424]
  • Wang G H, Mao S Y, He Y. 2002. A survey of radar and infrared data fusion. Fire Control and Command Control, 27(2): 3-6 (王国宏, 毛士艺, 何友. 2002. 雷达与红外数据融合评述. 火力与指挥控制, 27(2): 3-6) [DOI:10.3969/j.issn.1002-0640.2002.02.001]
  • Wang H X, Dong H, Zhou Z Q. 2019. Review on dim small target detection technologies in infrared single frame images. Laser and Optoelectronics Progress, 56(8): #080001 (王好贤, 董衡, 周志权. 2019. 红外单帧图像弱小目标检测技术综述. 激光与光电子学进展, 56(8): #080001) [DOI:10.3788/lop56.080001]
  • Wang X Y, Peng Z M, Kong D H, He Y M. 2017a. Infrared dim and small target detection based on stable multisubspace learning in heterogeneous scene. IEEE Transactions on Geoscience and Remote Sensing, 55(10): 5481-5493 [DOI:10.1109/TGRS.2017.2709250]
  • Wang X Y, Peng Z M, Kong D H, Zhang P, He Y M. 2017b. Infrared dim target detection based on total variation regularization and principal component pursuit. Image and Vision Computing, 63: 1-9 [DOI:10.1016/j.imavis.2017.04.002]
  • Wang X Y, Peng Z M, Zhang P, He Y M. 2017c. Infrared small target detection via nonnegativity-constrained variational mode decomposition. IEEE Geoscience and Remote Sensing Letters, 14(10): 1700-1704 [DOI:10.1109/LGRS.2017.2729512]
  • Wang X Y. 2018. Research on Infrared Dim and Small Target Detection Theory and Methodology Based on Sparse Dynamic Inversion. Chengdu: University of Electronic Science and Technology of China (王晓阳. 2018.基于稀疏动态反演的红外弱小目标检测理论及方法研究.成都: 电子科技大学)
  • Wang Y H, Cen Y G, Zhao R Z, Cen Y, Hu S H, Voronin V, Wang H Y. 2017d. Separable vocabulary and feature fusion for image retrieval based on sparse representation. Neurocomputing, 236: 14-22 [DOI:10.1016/j.neucom.2016.08.106]
  • Wei Y T, You X G, Li H. 2016. Multiscale patch-based contrast measure for small infrared target detection. Pattern Recognition, 58: 216-226 [DOI:10.1016/j.patcog.2016.04.002]
  • Wright J. 2008. Robust face recognition via sparse representation. IEEE Transactions Pattern Analysis and Machine Intelligence, 31(2): 210-227 [DOI:10.1109/TPAMI.2008.79]
  • Wu T A, Huang S C, Yuan Z W, Wu Y R, Feng H. 2016. NSCT combined with SVD for infrared dim target complex background suppression. Infrared Technology, 38(9): 758-764 (吴天爱, 黄树彩, 苑智玮, 吴云荣, 冯卉. 2016. 联合NSCT和SVD方法的红外弱小目标复杂背景抑制. 红外技术, 38(9): 758-764)
  • Xiong B, Huang X H, Wang M. 2017. Infrared dim small target detection based on adaptive target image recovery. Journal of Huazhong University of Science and Technology (Nature Science Edition), 45(10): 25-30 (熊斌, 黄心汉, 王敏. 2017. 基于自适应目标图像恢复的红外弱小目标检测. 华中科技大学学报(自然科学版), 45(10): 25-30) [DOI:10.13245/j.hust.171005]
  • Xiong W, Xu Y L, Yao L B, Cui Y Q, Li Y F. 2018. A new ship target detection algorithm based on visual salience calculation of spectral residuals in high-resolution SAR images. Electronics Optics and Control, 25(4): 7-11,49 (熊伟, 徐永力, 姚力波, 崔亚奇, 李岳峰. 2018. 基于频谱残差视觉显著计算的高分辨SAR图像舰船检测算法. 电光与控制, 25(4): 7-11,49) [DOI:10.3969/j.issn.1671-637X.2018.04.002]
  • Yang C C, Ma J Y, Zhang M F, Zheng S, Tian X. 2014. Multiscale facet model for infrared small target detection. Infrared Physics and Technology, 67: 202-209 [DOI:10.1016/j.infrared.2014.07.029]
  • Yi X, Wang B J. 2017. Fast infrared and dim target detection algorithm based on multi-feature. Acta Photonica Sinica, 46(6): 123-128 (易翔, 王炳健. 2017. 基于多特征的快速红外弱小目标检测算法. 光子学报, 46(6): 123-128) [DOI:10.3788/gzxb20174606.0610002]
  • Yi X, Wang B J, Zhou H X, Qin H L. 2019. Dim and small infrared target fast detection guided by visual saliency. Infrared Physics and Technology, 97: 6-14 [DOI:10.1016/j.infrared.2018.12.007]
  • Yu X, Reed I S, Kraske W and Stocker A D. 1992. A robust adaptive multi-spectral object detection by using wavelet transform//Proceedings of 1992 IEEE International Conference on Acoustics (ICA). San Francisco: IEEE: 141-144[DOI:10.1109/ICASSP.1992.226638]
  • Zhang H Y, Zhang T W. 2005. A new method based on multi-stages trace association for detection and tracking of crossing multi-targets. Acta Electronica Sinica, 33(6): 1109-1112 (张海英, 张田文. 2005. 基于多阶段轨迹融合的交叉多目标检测与跟踪算法. 电子学报, 33(6): 1109-1112) [DOI:10.3321/j.issn:0372-2112.2005.06.038]
  • Zhang L, Liu H X. 2011. Optical system design of long wave infrared zoom lens. Infrared and Laser Engineering, 40(7): 1279-1281,1309 (张良, 刘红霞. 2011. 长波红外连续变焦光学系统的设计. 红外与激光工程, 40(7): 1279-1281,1309) [DOI:10.3969/j.issn.1007-2276.2011.07.018]
  • Zhang L D, Peng L B, Zhang T F, Cao S Y, Peng Z M. 2018. Infrared small target detection via non-convex rank approximation minimization Joint/2, 1 norm. Remote Sensing, 10(11): 1821 [DOI:10.3390/rs10111821]
  • Zhang P, Wang X W, Wang X Y, Fei C, Guo Z K. 2019. Infrared small target detection based on spatial-temporal enhancement using quaternion discrete cosine transform. IEEE Access, 7: 54712-54723 [DOI:10.1109/ACCESS.2019.2912976]
  • Zhang X. 2016. Research on Image Classification Algorithm Based on Local Features and Feature Representation. Hefei: Hefei University of Technology (张旭. 2016.面向局部特征和特征表达的图像分类算法研究.合肥: 合肥工业大学)
  • Zhang Y, Yong Y, Zhang Q H, Xu Z Y, Yan P, Wei Y X. 2010. Detection of dim point target with low contrast. High Power Laser and Particle Beams, 22(11): 2566-2570 (张耀, 雍杨, 张启衡, 徐智勇, 严棚, 魏宇星. 2010. 低对比度小目标检测. 强激光与粒子束, 22(11): 2566-2570) [DOI:10.3788/HPLPB20102211.2566]
  • Zhao J J, Tang Z Y, Yang J, Liu E Q. 2011. Infrared small target detection using sparse representation. Journal of Systems Engineering and Electronics, 22(6): 897-904 [DOI:10.3969/j.issn.1004-4132.2011.06.004]
  • Zhao K, Kong X W. 2004. Background noise suppression in small targets infrared images and its method discussion. Optics and Optoelectronic Technology, 2(2): 9-12 (赵坤, 孔祥维. 2004. 小目标红外图像背景噪声的抑制及方法讨论. 光学与光电技术, 2(2): 9-12) [DOI:10.3969/j.issn.1672-3392.2004.02.003]