近年来，由于无人机摄像可实时、动态地监控目标，无人机摄像及照相技术在各个领域得到飞速的发展，而摄像资料的分辨率直接影响目标的识别、信息的获取，因此无人机摄像分辨率的提高以及动态视频序列的超分辨率复原在无人机研究领域具有非常重要的意义^[1]。无人机传感器能同时提供静止图像和动态视频，并且动态视频的分辨率远低于静止图像。因此借鉴同一场景中的高分辨率静止图像对于动态视频的超分辨率重建具有非常重要的意义。

图像空间分辨率是图像质量的关键性指标之一。近些年来很多学者认为，超分辨率技术是提高图像分辨率的一种有效途径。超分辨率的概念最早是由Harris与Goodman等人于20世纪60年代提出的。其主要分为两类：空间域方法和频率域方法。空间域方法具有很强的先验约束力，包含更一般的图像退化模型、运动模型和马尔可夫随机场以及凸集约束等先验知识，这样在超分辨率重建过程中可以产生带宽外推影响。

国外学者Phamto等人^[2]在1995年根据同一场景的高分辨率图像，通过快速傅里叶变换，在频域进行块匹配运算，得到高频信息用于复原图像块，但保真度较低。2009年王素玉等人^[3]提出了一种基于高分辨率参考图像的简单有效的视频序列超分辨率复原方法。该方法提取同一场景高分辨率静止图像的高频细节，用于低分辨率序列各帧的超分辨率复原，并采用最大后验概率约束优化。但频带分解方法得到的高频细节与低分辨率图像在低频上连续性较差，运动估计方法对匹配块尺寸具有依赖性^[4]，约束优化算法虽然收敛的稳定性高，但边缘保持能力还需进一步提高。

本文利用无人机航片解决无人机侦察视频分辨率提高的问题，以JWP02型中程通用无人机飞机航片与侦察视频为例：JWP02型无人机机动快速，但易受干扰，所以侦察视频有时抖动较大，特别是转换跟踪目标时，边缘与细节失真严重；航片拍摄周期相对较长，所获影像相对稳定。所以对于同一地物，航片与侦察视频间分辨率相差较大，侦察视频帧与帧之间视点变换、角度变化较大，同时存在运动模糊问题与噪声问题。归结起来，影像匹配的关键是解决尺度变化、视点变化与角度变化问题^[5]，超分辨率重建主要是解决边缘细节与实时性问题。而传统超分辨率重建算法存在的问题有：频带分解方法得到的高频细节与低分辨率图像在低频上连续性较差，运动估计方法对匹配块尺寸具有依赖性，约束优化算法虽然收敛的稳定性高，但边缘保持能力还需进一步提高。所以改良超分辨率重建算法的鲁棒性与实时性问题，其重点是解决频带分解连续性、运动估计、边缘保持能力的问题。

针对以上问题，以及目前无人机摄像与照相数据的特点，提出一种无人机侦察视频超分辨率重建方法，算法流程如图 1。首先采用基于AGAST-Difference与FREAK(fast retina keypoint)的特征匹配算法对视频目标帧与相邻帧之间配准，然后根据匹配区域搜索方法进行粗定位找到目标帧与航片的对应关系，利用包含目标帧地物的航片对视频帧进行高频补偿，最后采用凸集投影方法对补偿后视频帧进行迭代优化。

图像配准的精度与速度直接影响超分辨率重建的质量与实时性，研究一种快速准确的匹配算法是解决问题的关键。AGAST(adaptive and generic corner detection based on the accelerated segment test)^[6]是公认的效率较高的特征点检测算法，在FAST(features from accelerated segment test)^[7]的基础上进一步提高了检测效率。其具备旋转和光照不变性，却不具备尺度不变性，本文将AGAST与DoG(difference of Gaussians)结合，提出一种新的AGAST-Difference特征点检测方法。

首先利用Wallis滤波与灰度均匀化减弱噪声与光照影响，其次建立尺度空间金字塔：尺度空间金字塔由n个外层c_i和n个内层d_i组成，i=0,1,…,n-1。第1外层c₀为原始图像，第1内层d₀为c₀1.5倍降采样后得到的图像。c_i由c_i-1半采样得到，d_i由d_i-1半采样得到。AGAST-Difference的尺度金字塔如图 2所示。

在尺度空间内进行AGAST检测后，为使特征点描述算子具有旋转不变的性能，首先通过小波扇形环绕^[8]赋予每一个特征点方向特征。然后经过非极大值抑制、剔除伪角点与亚像素级矫正等步骤后，便可得到校正的尺度信息及特征点坐标。

AGAST-Difference算子具有光照、旋转尺度不变性。本文算法仅在邻域计算DoG值，经过多次拟合和插值，能得到特征点精确的尺度空间位置与亚像素级的定位精度。其算法特点就是在图像较小变换时能够快速准确的配准。

本文算法采用FREAK描述符^[9]作为特征描述子。FREAK描述符是模仿人眼结构利用分区域获取信息的原理而设计的：采样点在以特征点为中心的同心圆上均匀分布。设特征点尺度为S，则同心圆半径为M₁S，M₂S，…，M_NS，N为采样点的层数。采样点离特征点越近越密集。每个采样点要进行与同心圆半径成正比的高斯平滑处理，相邻采样点具有重叠感受域，这样的设计会使交叠带被充分考虑，模板描绘更加准确。

低维度和高维度分别由FREAK描述符周边与中心的采样区域生成，因此周边采样区域与中央采样区域能够分别描述目标基本与细节信息。这与人类视网膜的成像机制完全一致，充分利用仿生学的FREAK描述子能够更加真实合理地对特征点进行描述，其对称圆形采样位置和采样半径随着尺度变化、强对比度二进制描述符与高斯模糊采样点等设计，使其具备旋转不变性、尺度不变性、光照不变性与抗噪声影响性。因此FREAK描述子对于各种变换均具有较强的鲁棒性。

再经过扫视匹配^[9]与PROSAC(progressive sample consensus)^[10]算法去除错误匹配点，便可得到两幅图像的最终几何变换关系。

实验拟借鉴同一场景中的高分辨率航片进行低分辨率动态侦察视频的超分辨率重建，首要问题是找到航片与视频帧的对应关系，故提出匹配区域搜索方法：

首先解算该区域平均高程，由于无人机侦察时处于几百米或上千米的高空，若侦察区域为平原地区，航摄影像中的地物可近似认为处于同一平面，所以仅需求解地物的平均高程即可^[11]。

根据共线方程对图像的同名像点构成条件方程，即

$ \left\{ {\begin{array}{*{20}{c}} {\frac{{{X_a} - {X_I}}}{{{Z_a} - {Z_I}}} = \frac{{a{'_1}\left( {{x_a} - {x_1}} \right) + b{'_1}\left( {{y_a} - {y_1}} \right) - c{'_1}{f_1}}}{{a{'_3}\left( {{x_a} - {x_1}} \right) + b{'_3}\left( {{y_a} - {y_1}} \right) - c{'_3}{f_1}}}}\\ {\frac{{{Y_a} - {Y_I}}}{{{Z_a} - {Z_S}}} = \frac{{a{'_2}\left( {{x_a} - {x_1}} \right) + b{'_2}\left( {{y_a} - {y_1}} \right) - c{'_2}{f_1}}}{{a{'_2}\left( {{x_a} - {x_1}} \right) + b{'_2}\left( {{y_a} - {y_1}} \right) - c{'_2}{f_1}}}}\\ {\frac{{{X_a} - X{'_I}}}{{{Z_a} - Z{'_I}}} = \frac{{a'{'_1}\left( {{x_b} - {x_1}} \right) + b'{'_1}\left( {{y_b} - {y_1}} \right) - c'{'_1}{f_1}}}{{a'{'_3}\left( {{x_b} - {x_1}} \right) + b'{'_3}\left( {{y_b} - {y_1}} \right) - c'{'_3}{f_1}}}}\\ {\frac{{{Y_a} - Y{'_I}}}{{{Z_a} - Z{'_I}}} = \frac{{a'{'_2}\left( {{x_b} - {x_1}} \right) + b'{'_2}\left( {{y_b} - {y_1}} \right) - c'{'_2}{f_1}}}{{a'{'_3}\left( {{x_b} - {x_1}} \right) + b'{'_3}\left( {{y_b} - {y_1}} \right) - c'{'_3}{f_1}}}} \end{array}} \right. $

(1)

式中，(X_a,Y_a,Z_a)为待求得物点坐标，(x_a,y_a)与(x_b,y_b)为两张航片中的同名点对，x₁与y₁分别为照相机像主点偏离像原点的偏离值，f₁为相机焦距，(X_I,Y_I,Z_I)为摄影中心的地面坐标，此时的a′_i、b′_i、c′_i(i=1,2,3)与a″_i、b″_i、c″_i(i=1,2,3)由POS(position and orientation system)的角元素：俯仰角、翻滚角与航向角(,ω,κ)计算出来。

根据视频航片之间的实时匹配结果，获取同名点对。为提高精度，利用光束法区域网平差的误差方程，对两张航片的POS数据和像点坐标观测值进行联合平差，最后利用式(1)求解所有同名点的高程Z_I的平均值，得到待定位区域平均高程$ {{\bar Z}_I} $。

利用平均高程$ {{\bar Z}_I} $与POS数据及云台转动参数推算视频帧4个角点的地面坐标，设视频帧4个角点地面坐标分别为(X₁,Y₁)、(X₂,Y₂)、(X₃,Y₃)、(X₄,Y₄)，可得

$ \begin{array}{l} \left\{ {\begin{array}{*{20}{c}} {\frac{{{X_1} - {X_V}}}{{{{\bar Z}_I} - {Z_V}}} = \frac{{{A_1}\left( { - w/2 - {x_2}} \right) - {B_1}{y_2} - {C_1}{f_2}}}{{{A_3}\left( { - w/2 - {x_2}} \right) - {B_1}{y_2} - {C_3}{f_2}}}}\\ {\frac{{{X_1} - {X_V}}}{{{{\bar Z}_I} - {Z_V}}} = \frac{{{A_2}\left( { - w/2 - {x_2}} \right) - {B_1}{y_2} - {C_2}{f_2}}}{{{A_3}\left( { - w/2 - {x_2}} \right) - {B_1}{y_2} - {C_3}{f_2}}}} \end{array}} \right.\\ \left\{ {\begin{array}{*{20}{c}} {\frac{{{X_2} - {X_V}}}{{{{\bar Z}_I} - {Z_V}}} = \frac{{{A_1}\left( {w/2 - {x_2}} \right) - {B_1}{y_2} - {C_1}{f_2}}}{{{A_3}\left( {w/2 - {x_2}} \right) - {B_1}{y_2} - {C_3}{f_2}}}}\\ {\frac{{{Y_2} - {Y_V}}}{{{{\bar Z}_I} - {Z_V}}} = \frac{{{A_2}\left( {w/2 - {x_2}} \right) - {B_1}{y_2} - {C_1}{f_2}}}{{{A_3}\left( {w/2 - {x_2}} \right) - {B_3}{y_2} - {C_3}{f_2}}}} \end{array}} \right.\\ \left\{ {\begin{array}{*{20}{c}} {\frac{{{X_3} - {X_V}}}{{{{\bar Z}_I} - {Z_V}}} = \frac{{{A_1}\left( {w/2 - {x_2}} \right) + {B_1}\left( {h - {y_2}} \right) - {C_1}{f_2}}}{{{A_3}\left( {w/2 - {x_2}} \right) + {B_3}\left( {h - {y_2}} \right) - {C_3}{f_2}}}}\\ {\frac{{{Y_3} - {X_V}}}{{{{\bar Z}_I} - {Z_V}}} = \frac{{{A_2}\left( {w/2 - {x_2}} \right) + {B_2}\left( {h - {y_2}} \right) - {C_2}{f_2}}}{{{A_3}\left( {w/2 - {x_2}} \right) + {B_3}\left( {h - {y_2}} \right) - {C_3}{f_2}}}} \end{array}} \right.\\ \left\{ {\begin{array}{*{20}{c}} {\frac{{{X_4} - {X_V}}}{{{{\bar Z}_I} - {Z_V}}} = \frac{{{A_1}\left( { - w/2 - {x_2}} \right) + {B_1}\left( {h - {y_2}} \right) - {C_1}{f_2}}}{{{A_3}\left( { - w/2 - {x_2}} \right) + {B_3}\left( {h - {y_2}} \right) - {C_3}{f_2}}}}\\ {\frac{{{Y_4} - {Y_V}}}{{{{\bar Z}_I} - {Z_V}}} = \frac{{{A_2}\left( { - w/2 - {x_2}} \right) + {B_2}\left( {h - {y_2}} \right) - {C_2}{f_2}}}{{{A_3}\left( { - w/2 - {x_2}} \right) + {B_3}\left( {h - {y_2}} \right) - {C_3}{f_2}}}} \end{array}} \right. \end{array} $

(2)

式中，(X_V,Y_V,Z_V)为摄影中心的地面坐标，w和h为固定值，分别表示图像的横、纵分辨率，x₂与y₂分别为摄像机像主点偏离像原点的偏离值，f₂为摄影焦距，视频帧的A_i、B_i、C_i(i=1,2,3)由吊舱转动参数：俯仰角、翻滚角与航向角(#Phi;,ε,κ)计算出来。

此时视频帧或航片4个角点的地面坐标解算完毕，但该坐标并不精确，这是由于视准轴误差，累积漂移误差、GPS失锁和周跳以及由像片畸变、地球曲率、大气折光差等误差的存在，所以无人机集成传感器定向法解算坐标精度并不高。在不进行地面控制测量时，某型无人机利用集成传感器定向法定位精度为150 m，这无法满足找到视频帧与航片对应关系需求。为尽可能让定位区域足够小，还要完全包含视频帧，制定如下搜索策略：

如图 3所示，视频帧4个角点地面坐标分别为(X₁,Y₁)、(X₂,Y₂)、(X₃,Y₃)、(X₄,Y₄)，设该型无人机利用ISO定位误差距离为S，将4个点设为圆心，画出4个半径为S的圆，连接圆外部切线交于4点，求出4点坐标(X_A,Y_A)、(X_B,Y_B)、(X_C,Y_C)、(X_D,Y_D)，即

$ \left\{ {\begin{array}{*{20}{c}} {{X_A} = {X_2} \pm S\frac{{\sqrt {{{\left( {\frac{{{Y_3} - {Y_2}}}{{{X_3} - {X_2}}}} \right)}^2} + 1} - \sqrt {{{\left( {\frac{{{Y_1} - {Y_2}}}{{{X_1} - {X_2}}}} \right)}^2} + 1} }}{{\frac{{{Y_3} - {Y_2}}}{{{X_3} - {X_2}}} - \frac{{{Y_1} - {Y_2}}}{{{X_1} - {X_2}}}}}}\\ {{Y_A} = {Y_2} \pm S\frac{{\sqrt {{{\left( {\frac{{{X_3} - {X_2}}}{{{Y_3} - {Y_2}}}} \right)}^2} + 1} - \sqrt {{{\left( {\frac{{{X_1} - {X_2}}}{{{Y_1} - {Y_2}}}} \right)}^2} + 1} }}{{\frac{{{Y_3} - {Y_2}}}{{{X_3} - {X_2}}} - \frac{{{Y_1} - {Y_2}}}{{{X_1} - {X_2}}}}}} \end{array}} \right. $

(3)

$ {\begin{array}{*{20}{c}} {{X_B} = {X_3} \pm S\frac{{\sqrt {{{\left( {\frac{{{Y_4} - {Y_3}}}{{{X_4} - {X_3}}}} \right)}^2} + 1} - \sqrt {{{\left( {\frac{{{Y_2} - {Y_3}}}{{{X_2} - {X_3}}}} \right)}^2} + 1} }}{{\frac{{{Y_4} - {Y_3}}}{{{X_4} - {X_3}}} - \frac{{{Y_2} - {Y_3}}}{{{X_2} - {X_3}}}}}}\\ {{Y_B} = {Y_3} \pm S\frac{{\sqrt {{{\left( {\frac{{{X_4} - {X_3}}}{{{Y_4} - {Y_3}}}} \right)}^2} + 1} - \sqrt {{{\left( {\frac{{{X_2} - {X_3}}}{{{Y_2} - {Y_3}}}} \right)}^2} + 1} }}{{\frac{{{X_4} - {X_3}}}{{{Y_4} - {Y_3}}} - \frac{{{X_2} - {X_3}}}{{{Y_2} - {Y_3}}}}}} \end{array}} $

(4)

$ \left\{ {\begin{array}{*{20}{c}} {{X_C} = {X_4} \pm S\frac{{\sqrt {{{\left( {\frac{{{Y_1} - {Y_4}}}{{{X_1} - {X_4}}}} \right)}^2} + 1} - \sqrt {{{\left( {\frac{{{Y_3} - {Y_4}}}{{{X_3} - {X_4}}}} \right)}^2} + 1} }}{{\frac{{{Y_1} - {Y_4}}}{{{X_1} - {X_4}}} - \frac{{{Y_3} - {Y_4}}}{{{X_3} - {X_4}}}}}}\\ {{Y_C} = {Y_4} \pm S\frac{{\sqrt {{{\left( {\frac{{{X_1} - {X_4}}}{{{Y_1} - {Y_4}}}} \right)}^2} + 1} - \sqrt {{{\left( {\frac{{{X_3} - {X_4}}}{{{Y_3} - {Y_4}}}} \right)}^2} + 1} }}{{\frac{{{X_1} - {X_4}}}{{{Y_1} - {Y_4}}} - \frac{{{X_3} - {X_4}}}{{{Y_3} - {Y_4}}}}}} \end{array}} \right. $

(5)

$ \left\{ {\begin{array}{*{20}{c}} {{X_D} = {X_1} \pm S\frac{{\sqrt {{{\left( {\frac{{{Y_2} - {Y_1}}}{{{X_2} - {X_1}}}} \right)}^2} + 1} - \sqrt {{{\left( {\frac{{{Y_3} - {Y_1}}}{{{X_4} - {X_1}}}} \right)}^2} + 1} }}{{\frac{{{Y_2} - {Y_1}}}{{{X_2} - {X_1}}} - \frac{{{Y_3} - {Y_1}}}{{{X_4} - {X_1}}}}}}\\ {{Y_D} = {Y_1} \pm S\frac{{\sqrt {{{\left( {\frac{{{X_2} - {X_1}}}{{{Y_2} - {Y_1}}}} \right)}^2} + 1} - \sqrt {{{\left( {\frac{{{X_4} - {X_1}}}{{{Y_4} - {Y_1}}}} \right)}^2} + 1} }}{{\frac{{{X_2} - {X_1}}}{{{Y_2} - {Y_1}}} - \frac{{{X_4} - {X_1}}}{{{Y_4} - {Y_1}}}}}} \end{array}} \right. $

(6)

至此，视频帧4个角点地面坐标已解出，按照此法解出航片4个角点地面坐标后，便可找到航片与视频帧的对应关系。

然后采用基于AGAST-Difference与FREAK的特征匹配算法进行航片与视频帧之间的配准，找到转移矩阵。同时将航片进行小波包频带分解，从中提取高频细节信息，再利用双线性插值方法放大视频帧，将高频细节信息按转移矩阵补充到视频帧中。由于小波包分解能够对图像高频细节进行更加精细的分解，且整个分解过程既无遗漏、无冗余，以及视频帧与航片之间具有相似的场景，使得提取的高频细节能与待复原的低分辨率图像在频率上连续性较好。

为进一步提高重建保真度，利用凸集投影算法优化调整处理后的低分辨率视频。凸集投影算法是在矢量空间内定义一些闭合的图形约束集合，初始估计向这些约束集合进行投影，则其交集为估计的高分辨率图像^[12]，即

$ {G^l}\left( {i,j} \right) = \left\{ {{z^{\left( k \right)}}\left( {r,s} \right){\rm{ }}:\left| {{r^l}\left( {i,j} \right)} \right| \le \left( {i,j} \right)} \right\} $

(7)

$ \begin{array}{l} {r^l}\left( {i,j} \right) = {y^{\left( l \right)}}\left( {i,j} \right) - \\ \sum {{z^{\left( k \right)}}\left( {r,s} \right){A^{\left( {l,k} \right)}}\left( {r,s;i,j} \right)} \end{array} $

(8)

$ l = k - \frac{{M - 1}}{2},\cdots ,k,k + \frac{{M - 1}}{2},\forall \left( {i,j} \right) \in {\theta ^{\left( l \right)}} $

(9)

$ \begin{array}{l} p\left( {i,j} \right)[{x^{\left( k \right)}}\left( {r,s} \right)] = {x^{\left( k \right)}}\left( {r,s} \right) + \\ \left\{ \begin{array}{l} \frac{{\left( {{r^l}\left( {i,j} \right) - {\delta ^l}\left( {i,j} \right)} \right){A^{\left( {l,k} \right)}}\left( {r,s;i,j} \right)}}{{\sum\nolimits_{{\sigma _1}} {\sum\nolimits_{{\sigma _2}} {{A^{{{\left( {l,k} \right)}^2}}}\left( {{o_1},{o_2};i,j} \right)} } }}\\ \;\;\;\;\;{r^l}\left( {i,j} \right) > - {\delta ^l}\left( {i,j} \right)\\ 0\;\;\;\; - {\delta ^l}\left( {i,j} \right) \le {r^l}\left( {i,j} \right) \le {\delta ^l}\left( {i,j} \right)\\ \frac{{\left( {{r^l}\left( {i,j} \right) + {\delta ^l}\left( {i,j} \right)} \right){A^{\left( {l,k} \right)}}\left( {r,s;i,j} \right)}}{{\sum\nolimits_{{\sigma _1}} {\sum\nolimits_{{\sigma _2}} {{A^{{{\left( {l,k} \right)}^2}}}\left( {{o_1},{o_2};i,j} \right)} } }}\\ {r^l}\left( {i,j} \right) < - {\delta ^l}\left( {i,j} \right) \end{array} \right. \end{array} $

(10)

式中，θ^(l)表示第l幅观测图像的支撑域；δ^l(i,j)为模型的统计不确定性，通常由空域时域可噪声过程的标准偏差来确定；y^l(i,j)表示第l幅观测图像上的像素点；z^(k)(r,s)表示第k幅高分辨率图像上的像素点；A^(l,k)(r,s;i,j)为从第k幅高分辨率图像到第l幅低分辨率图像的降质模型；r^l(i,j)为高分辨率图像z^(k)(r,s)经降质模型后的结果与实际观测低分辨率图像之间的偏差，P(i,j)为一致性投影算子，G^l(i,j)为凸集约束集合^[13]。

根据A^(l,k)(r,s;i,j)把z^(k)(r,s)与y^l(i,j)联系起来形成残余项r^l_t(i,j)，如果残余项超出初始设定阈值，则投影算子P^l(i,j)把残余项反投影到当前高分辨率估计图像上，这样就形成了属于G^l(i,j)的新的高分辨率估计图像，迭代直到连续两次估计之间的变化落到初始阈值以下停止。

为验证尺度空间构建、检测算法不同所产生的效果，同时保证实验的客观性，本文处理了标准测试图集里的leuven1图像，以准确连续测定近年来比较热门且极有特点的检测子的重复率^[14]：SIFT (scale invariant feature transform)^[15]、SURF (speeded up robust features)^[16]以及本文AGAST-Difference检测子的旋转、光照、尺度、噪声和视点变换性能，结果如图 4所示。

由于AGAST-Difference算子中采用了AGAST检测法，所以视点变换鲁棒性及处理速度要强于SURF采用的近似计算的Fast-Hessian，而SIFT采用的DoG在3种检测子中鲁棒性最高，但计算复杂，实时性差。

为了保证算法的实时性，AGAST-Difference算子的定向法为灰度质心法，所以旋转鲁棒性略强于SURF，弱于SIFT。

由于AGAST-Difference算子尺度空间的构建综合考虑了实时性与准确性，所以尺度变换鲁棒性高于使用模板滤波与图像卷积的SURF，而SIFT尺度变换鲁棒性最为准确，但尺度空间计算复杂，实时性差。为保证算法的实时性而没有进行高斯滤波，所以AGAST-Difference算法对噪声与亮度较为敏感。

综上所述，AGAST-Difference检测子的各种变换综合鲁棒性高于SURF，稍弱于SIFT，但AGAST-Difference算子的实时性最好，有关本检测子的速度优势将在下一节阐述。

关于FREAK描述子的性能优势，文献[9]做了详细的测试，无论在光照、尺度、旋转、噪声等变换以及运动模糊下，均具有比SIFT与SURF描述子更强的鲁棒性，这极有利于图像配准。

利用Graf图像序列中的第1幅与第3幅图像(图像大小为800×640像素)进行了实验，同时对SURF、SIFT与AGAST-Difference算法进行了对比，分析了本文算法的特点与优势，为工程实践提供了指导帮助。计算机配置：处理器为Intel酷睿双核i7第四代，主频为2.5 GHz。操作系统为Win10 64位系统，编程环境为visual studio 2010与OPENCV 3.0。

表 1清楚地展现了本文算法的速度优势，检测子的执行速度约为SURF的13倍，大大领先于SIFT，这是因为本文算法去除了高斯滤波，重新构建了尺度空间，引入AGAST加速了特征点的检测。描述子方面，FREAK的执行速度超于SURF与SIFT，且性能略高于SIFT。且经上文描述子测试与文献[8]检测子测试，本文算法在各种变换的鲁棒性较高，所以对于大分辨率的无人机遥感影像匹配大有裨益。

利用六旋翼无人机作为实验平台对河北省石家庄市行唐县地区进行了实验。实验主要技术参数见表 2。计算机配置：处理器采用Intel酷睿双核i7第四代，主频为2.5 GHz，内存为8 GB，操作系统为Win8 64位系统，Matlab R2012与VC++2008 OPENCV编程环境。取75幅视频帧、55幅航片与相关POS数据，前2幅数据见表 3。

利用基于AGAST-Difference与FREAK的特征匹配算法将两张航片匹配，进而获取同名点，结果如图 5(a)。利用POS数据与同名点对确定同名点平均高程，再利用平均高程与目标帧外方位元素，通过式(2)计算目标帧地面坐标系的4个角点2维坐标A₁A₄，将无人机集成传感器定位误差距离按比例尺转换，作为误差半径，通过式(3)—(6)计算出匹配区域4个角点坐标B₁B₄，结果如表 4所示。按此法计算每幅航片4个角点坐标后，从对应航片中提取该区域(结果如图 5(b))，对视频帧进行高频补偿(结果如图 5(c))，取不同视频帧与航片实验100次，平均用时2.73 s。

使用峰值信噪比(PSNR)和均方误差(MSE)^[17]两种方法对重建的图像质量进行了评价。

$ {\rm{PSNR = 101g}}\frac{{255 \times 255}}{{\sum {{{\left( {{f_{i,j}} - f{'_{i,j}}} \right)}^2}} /{N_1} \times {N_2}}} $

(11)

$ {\rm{MSE = }}\sum {{{\left( {{f_{i,j}} - f{'_{i,j}}} \right)}^2}} $

(12)

式中，N₁为图像水平方向像素数，N₂为图像垂直方向的像素数； f_i,j和f′_i,j分别表示(i,j)位置处理想高分辨率图像和处理后图像的灰度值。

把75帧理想高分辨率视频(每帧810×612像素)，经高斯模糊和降采样等方法生成75帧低分辨率视频(每帧405×306像素)，分别采用双线性插值法、文献[3]算法和本文算法对低分辨率视频序列进行超分辨率重建。其中文献[3]算法与本文算法利用与目标帧图像邻近的75帧图像进行超分辨率，以第32帧为目标帧，利用其他各帧对其进行复原。

如图 6所示，与其他2种算法相比，本文算法的复原图像质量有显著提高。从表 5比较的结果来看，本文算法重建图像与原始图像的误差率较低、速度更快。这是由于采用匹配区域搜索方法与基于AGAST-Difference与FREAK的特征匹配算法，使得视频帧与航片之间匹配准确，同时小波包的精细分解，使得提取的高频细节能与待复原的低分辨率图像在频率上连续性较好。由于连续性较好的高频细节增加，改善了原始视频帧图像质量，同时凸集投影迭代优化保证了收敛的稳定性与重建图像细节，所以重建后的视频帧边缘保持较好。

图 7所示是针对Coastguard序列，迭代优化次数对重建效果的测试仿真。两种算法均随迭代次数的增加，重建效果越优良。本文算法约为20次时重建效果达到最优，而文献[3]算法则为78次。且本文算法最优效果高于文献[3]算法约为5 dB。这是由于凸集投影相对于最大后验概率约束优化所需迭代次数更少，且收敛的稳定性，这便减少了计算复杂度，提高了算法整体收敛速度。

图 8所示是Coastguard序列的逐帧测试结果。本文算法重建质量高于双线性插值与文献[3]算法，平均水平提高约4 dB。但与目标帧间距离越远，重建质量越低。因为距离变远，待处理帧无法在目标帧获得有用数据，同时图像配准误差叠加，造成该部分图像的重建质量差。

提出一种无人机侦察视频超分辨率重建方法，首先采用基于AGAST-Difference与FREAK的特征匹配算法对视频目标帧与相邻帧之间配准，然后根据匹配区域搜索方法找到目标帧与航片的对应关系，利用包含目标帧地物的航片对视频帧进行高频补偿，最后采用凸集投影方法对补偿后视频帧进行迭代优化，通过仿真以及实验充分说明了本文方法的可行性与优越性。本文做了以下工作：

1) 说明了目前无人机侦察视频提高分辨率问题的必要性，同时分析了问题的核心所在，理清了无人机侦察视频超分辨率重建的研究思路。

2) 根据存在的实际问题，提出了基于AGAST-Difference与FREAK的特征匹配算法。并对其检测子的设计进行了详尽的理论分析与实验验证，通过与当前使用广泛的SIFT、SURF算子对比，定量表现了该算法在解决匹配，特别是尺度、旋转、视角变化较大及运行速度等问题上存在很大优势。

3) 利用无人机视频设备能够同时提供动态视频和静止图像拍摄的特点，提出了匹配区域搜索方法将获取的高分辨率图像有效高频信息用于相应视频序列的重建，保证了重建图像的高频细节；再者引入凸集投影约束优化过程，强化了重建图像的一致性与保真度，从各个角度均优于最大后验概率方法，特别是对图像边缘细节部分等效果极为明显。

4) 通过六旋翼无人机作为实验平台对河北省石家庄市行唐县地区进行了实验，分析了本文算法的特点与优势，为工程实践提供了指导帮助。

本文方法还存在不足：图像预处理层面还有很大改良空间；本文方法在计算机实现方面还有很大的改良前景。该方法虽然简单实用，但精度有待提高，下一步可以从特征配准与迭代优化两方面进行改良。