|
|
|
发布时间: 2017-01-25 |
全国第27届CACIS |
|
|
|
李从利, 薛松, 陆文骏 |
收稿日期: 2016-07-06; 修回日期: 2016-09-18
基金项目: 安徽省自然科学基金项目（1208085MF97）
第一作者简介: 李从利(1973-), 男, 副教授, 2004年于解放军炮兵学院获计算机应用技术专业硕士学位, 研究方向为图像信息智能处理。E-mail:lcliqa@163.com
中图法分类号: TP391.4
文献标识码: A
文章编号: 1006-8961(2017)01-0115-11
|
摘要
目的 面向多失真混杂的图像质量盲评价问题目前仍然是计算机视觉领域具有挑战性的工作之一，无人机图像受成像条件影响混杂多类失真，图像质量的准确评价是其效能发挥的关键环节。为此，引入并改进了基于自然场景统计的距离度量评价模型，提出多失真混杂的无人机图像质量盲评价方法。 方法 从图像的结构性、信息完整性和颜色性3个不同的角度研究并提取了与无人机图像质量敏感的特征因子集；以实拍标准测绘图像库为原始图像获得MVG特性参数作为度量基准解决了盲评价中缺乏训练集的问题；构建了以实飞图像为样本的无人机图像质量数据库（UAV image set），为相关问题的研究提供数据集和评价参考。 结果 针对所构建的数据库，本文算法在主客观一致性、算法运行时间上与其他算法进行了对比实验。相比较其他经典算法，本文算法的主客观一致性较高，达到了0.8以上，运行时间较快，过到1.2 s。此外本文还给出了块大小对算法影响以及单特征对图像的评价结果，证明算法选择的图像块大小和图像特征符合质量评价的需要。 结论 针对无人机图像所包含的多失真构建质量评价综合模型，该模型可满足无人机图像质量需求。
关键词
无人机图像; 多失真混杂; 图像质量评价; 自然场景统计
Li Congli, Xue Song, Lu Wenjun Abstract
Objective The problem of image quality assessment based on hybrid multi-distortion remains challenging in the computer vision field. Unmanned aerial vehicle (UAV) images are affected by the imaging conditions of hybrid multi-distortion. Accurate evaluation of image quality is critical in the performance of image quality assessment. An evaluation model of distance measurement based on natural scene statistics is introduced and improved, and a blind image quality assessment method for UAV with multi-distortion is proposed. Method The features of image quality sensitivity are studied and extracted from three different aspects of image structure, information integrity, and color. In reality standards of surveying and mapping an image library for an original image, Mualem-van Genuchten characteristic parameters are obtained as reference to solve the problem of blind evaluation lacking a training set. The UAV image quality database is constructed with a real fly image as sample, and the data set and evaluation reference are provided for studying the problems. Result In view of the constructed database, this paper makes a comparison between the subjective and objective consistency and the running time of the algorithm. Compared with other classical algorithms, the subjective and objective consistency of this algorithm is higher, reaching more than 0.8, Running time is faster, for 1.2 s. In addition, this paper also gives the effect of block size on the algorithm and the evaluation results of single feature to UAV images. This image block size and image feature which are selected by the algorithm are proved to meet the needs of quality evaluation. Conclusion In this study, a comprehensive model of quality evaluation for the multi-distortion of UAV images is constructed. This model can meet the requirements of UAV image quality.
Key words
UAV reconnaissance image; multi distortion; image quality assessment; natural scene statistics (NSS)
0 引言
随着未来无人作战模式的兴起和自动化水平的提升，无人机将会发挥不可替代的作用。可以预见不久的将来无人机会具备自主学习并适应环境的能力，这些能力的形成依赖于无人机“视觉”系统的支持，而无人机“视觉”系统获取的图像质量是制约其后续处理的关键环节之一。无人机在飞行过程中会受到姿态变化、相对运动、镜头离焦、机械振动、编解码误差以及信道传输干扰等因素的影响，获取的图像产生将会产生模糊、块效应、噪声等失真，同时成像设备像差、运动速度的变化也会带来图像颜色丢失、漂移失真，这就使得无人机图像呈现典型的多失真混杂的特点，本文针对这一问题展开质量评价问题研究。
近10年来，有关图像质量评价理论的研究发展迅猛，其中无参考评价方法是目前关注的重点[1]，研究的焦点由限定失真评价向非限定失真评价发展、由主观得分已知向主观得分未知发展、由单一失真评价向混杂失真评价发展。限定失真典型的方法有BIQI[2]、DIIVINE[3]、BRISQUE[4]。BIQI算法首先使用广义高斯模型(GGD)提取图像的特征，然后使用支持向量回归(SVR)分别对每一类失真进行评价，上述算法需要获知图像的失真类型因而具有一定的局限性。在非限定失真研究中人们设计了全局法，在不区分失真类型的情况下，借助于机器学习寻找图像特征到质量的有效映射，从而实现质量评估，典型的算法有BLIINDS[5]、BLIINDS-Ⅱ[6]、CORNIA[7]等。主观得分未知是指这类算法不需要训练图像的主观评分，典型代表是QAC[8]算法，该算法借用全参考算法先评价训练图像，相当于构造了“主观评分”，Bovik等人进而提出了NIQE[9]及IL-NIQE[10]算法，通过计算训练样本和测试样本模型参数的马氏距离获得质量得分。
自2012年来，关于多失真混杂图像质量评价问题研究受到重视，文献[11]认为多失真混杂图像质量评价是当前图像质量评价领域的重大挑战之一，并且对单一失真评价处理的简单合并不能有效解决此问题。学者们专门构建了用于多失真图像评价的图像数据库MLIVE[12]和MDID2013[13]，并提出了一些方法[13-16]，在此方面虽然取得了一些进步但仍存在一些困难：一是未能将多失真看做是一个整体进行处理，而是分阶段处理不同失真造成准确率下降和计算成本增加；二是依赖于参考的失真数据库，对未包含失真图像的处理有效性缺乏。另外上述方法均对地面拍摄图像进行研究评价的，本文研究的是无人机空中平台拍摄的多失真图像评价问题，因此借助于现有方法难以有效解决，必须针对图像失真和特点研究新的评价方法。
针对空基平台拍摄图像的评价工作文献较少，丁文锐等人[17]针对无人机拍摄的压缩、传输后的简单失真图像提出的图像质量评价方法；勾志阳等人[18]利用无人机飞行实验所获得的控制数据，分别从像片重叠度、航带弯曲、像片旋转角及航高差等方面对无人机航空摄影质量进行评定。但上述工作均未考虑多失真混杂情况下的图像质量评价问题。
1 无人机图像特征分析及提取
1.1 图像特性分析
基于空基平台拍摄的无人机图像受多种因素影响呈现不同于陆基平台拍摄图像的显著特性，可从以下3个方面进行分析：
1) 图像信息结构性。无人机成像过程中相机相对地面做高速运动，同时受到载机振动、气流扰动等因素影响[19]，造成无人机成像模糊，图像质量下降，细节辨识度差，图像的整体结构产生了一定的偏差。因此图像是否保留了相对完整的结构信息将是衡量图像质量的重要标准之一。
2) 图像信息的完整性。无人机图像在获取、转码以及传输的时候，由于受到某些不可预知的干扰，获取的图像会包含一些噪声，造成了图像信息的缺失。因此准确衡量图像信息的完整性是构建算法模型的另一重要标准。
3) 图像信息的颜色性。无人机飞行在变温层中，高度每上升1 000 m，温度降低6.5℃，这就不可避免地影响到相机的性能，图像在传输中出现色彩信息损失、颜色饱和度不一等色彩失真。因此无人机图像的颜色特性是构建图像质量模型的又一标准。
如图 1所示，在一次飞行过程中会出现多类失真，有时某一失真明显，有时混杂在一起，图 1中给出4类典型失真，限于篇幅，其他失真未列出。
本文不针对某一类失真进行处理，而是将多失真看做是一个整体，当做一个总的失真--“多混叠失真”进行处理，按照上述各类失真对无人机图像降质总叠加效果产生的结构性、完整性、颜色性失真3个方面考虑，基于降质效果分析，分别提取对应的结构性、完整性、颜色性的3类图像质量特征，在一定程度上达到了选取的特征应与图像失真类型无关，而与图像的失真程度相关的要求。
1.2 基于空域自然场景统计的图像结构性测度
自然场景统计能够显著地揭示失真图像的质量衰退程度[20-21]，被广泛用于建立图像质量评价算法。这里将其作为一类特征因子用于无人机图像信息结构的度量。学者Ruderman指出，自然灰度图像的局部归一化亮度因子服从高斯分布[22]，这个归一化过程可以描述为
| $ {I_{{\rm{MSCN}}}}\left( {i,j} \right) = \frac{{{I_{{\rm{gray}}}}\left( {i,j} \right) - \mu \left( {i,j} \right)}}{{\sigma \left( {i,j} \right) + 1}} $ | (1) |
| $ \mu \left( {i,j} \right) = \sum\limits_{k = - K}^K {\sum\limits_{l = - L}^L {{w_{k,l}}{I_{{\rm{gray}}}}} } (i + k,j + l) $ | (2) |
| $ \sigma \left( {i,j} \right) = \sqrt {\sum\limits_{k = - K}^K {\sum\limits_{l = - L}^L {{w_{k,l}}} } {{[{I_{{\rm{gray}}}}\left( {i + k,j + l} \right) - \mu \left( {i,j} \right)]}^2}} $ | (3) |
式(2)(3)分别计算了图像的局部均值和方差，其中
由于图像中的MSCN因子高度相似，4个方向上相邻的两个因子间存在着规律性的结构，因此采用经验分布函数分别在MSCN因子两侧的水平、垂直、主对角线、次对角线共4个方向上提取相邻两个因子，即
| $ {I_{H{\rm{pair}}\_{\rm{MSCN}}}}\left( {i,j} \right) = {I_{{\rm{MSCN}}}}\left( {i,j} \right)\cdot{I_{{\rm{MSCN}}}}\left( {i,j + 1} \right) $ | (4) |
| $ {I_{V{\rm{pair\_MSCN}}}}\left( {i,j} \right) = {I_{{\rm{MSCN}}}}\left( {i,j} \right)\cdot{I_{{\rm{MSCN}}}}(i + 1,j) $ | (5) |
| $ {I_{D1{\rm{pair\_MSCN}}}}\left( {i,j} \right) = {I_{{\rm{MSCN}}}}\left( {i,j} \right)\cdot{I_{{\rm{MSCN}}}}(i + 1,j + 1) $ | (6) |
| $ {I_{D2{\rm{pair\_MSCN}}}}\left( {i,j} \right) = {I_{{\rm{MSCN}}}}\left( {i,j} \right)\cdot{I_{{\rm{MSCN}}}}(i + 1,j - 1) $ | (7) |
将每个方向上的因子进行均值计算获得两个参数，将这两个成对参数分别记为特征
式(4)-式(7)所示的4个方向的MSCN相邻因子统计规律如图 4所示。
此外，式(3)所计算的局部标准差σ(
| $ \xi \left( {i,j} \right) = \frac{{\sigma \left( {i,j} \right)}}{{\mu (i,j)}} $ | (8) |
因此，标准差σ(
由以上分析可知无人机图像结构性测度由5个不同的，用以度量图像结构特性的特征组成形成了特征向量，记为[
1.3 基于信息熵的图像完整性测度
为了较好地描述无人机图像信息的完整性，这里提出了一种基于信息熵的测度。熵可以用来描述体系混乱的程度，对于图像而言，熵可以描述灰度信息的丰富程度[18]。高质量的无人机图像应具有较为明显的对比度和较为清晰的边缘信息，可有效区分不同的地物特征。而由于噪声的存在，会使得图像的对比度下降，边缘信息模糊，图像信息熵的下降变低。因此可以通过描述成信息熵为了构建质量评价模型。
首先计算图像的对比度熵
| $ CE\left( {{I_c}} \right) = \frac{{\alpha \cdot Z\left( {{I_c}} \right)}}{{Z\left( {{I_c}} \right) + \alpha \cdot\kappa }} - {\tau _c} $ | (9) |
| $ Z\left( {{I_c}} \right) = \sqrt {{{\left( {{I_c} \otimes {h_h}} \right)}^2} + {{\left( {{I_c} \otimes {h_v}} \right)}^2}} $ | (10) |
式中，α表示Z(Ic)的最大值，κ表示对比度增益，τc为当前图像颜色通道的噪声阈值，符号⊗表示卷积，hh和hv分别是高斯函数的水平和垂直二阶导数，c∈{gray,
| $ \begin{array}{l} gray = 0.299R + 0.587G + 0.114B\\ yb = 0.5\left( {R + G} \right) - B\\ rg = R - G \end{array} $ |
根据文献[24]定义gray、
对比度熵可预测自然图像的局部对比度[23]。迄今为止已经提出了很多简单的提取图像对比度的方法，例如迈克尔逊对比度和韦伯分数。图像在空域中通过高斯二阶导数差分滤波器分解，分解后的滤波器响应被整合，然后这些响应通过限定阈值来排除噪声干扰[23]。在每个独立的颜色分量gray，
其次由于无人机图像细节特征损失较多，有效地细节较少，因此使用图像熵IE作为一个特征
| $ IE = - \sum\limits_{\forall i} {p({h_i})} {\rm{lg}}\left[ {p\left( {{h_i}} \right)} \right] $ | (11) |
其中，p(
1.4 基于HSV模型的图像颜色性测度
无人机在高空高速飞行，由于快速飞行，机身抖动，编解码信息损失等因素会造成颜色漂移、损失、模糊等色彩失真，此类失真用前两类因子无法表征，需提取颜色失真的相关因子。由于H分量与人感知彩色的方式紧密相关，故HSV色彩空间更适合于感知彩色特性的处理[24]，如图 5所示H分量能够显著地区分出图像中的不同物体(植被、道路、河流等)。
因此首先将图像由RGB彩色空间转换至HSV彩色空间，而后在H通道中计算图像的色调Ihue、色度(CF)[24]，即
| $ {I_{{\rm{hue}}}}\left( {i,j} \right) = {I_{{\rm{HSV}}}}(i,j,1) $ | (12) |
| $ CF = \sigma _{rg}^2 + \sigma _{yb}^2 + \mu _{rg}^2 + \mu _{yb}^2 $ | (13) |
式中，IHSV表示为图像由RGB转换为HSV后的图像空间，
上述所提取的3类11个特征因子汇总如表 1所示。
表 1
提取的无人机图像特征汇总表
Table 1
Image features extracted from UAV images
| 特征 | 特征描述 | 对应公式 | |
| 结构性测度 | MSCN因子 | (1) | |
| 4个方向上MSCN因子的成对参数 | (4)-(7) | ||
| 锐度 | (3) | ||
| 锐度方差 | (8) | ||
| 完整性测度 | 对比熵(灰度级，黄蓝、红绿通道) | (9) | |
| 图像熵 | (11) | ||
| 颜色性测度 | HSV图像色调 | (12) | |
| 色度 | (13) |
2 多失真图像质量评价模型构建
2.1 多元高斯模型
考虑无人机空基平台成像模式和地物特征，在构建基准MVG模型时不能选择常见的陆基拍摄清晰图像作为参考，由于飞行过程中图像蕴含场景细节和地貌特征也不断变化，即使在良好天候条件下飞行获得的图像也会包含不同程度的失真，为解决此问题，专门选择了由专业测绘部门利用空中平台拍摄和后期筛选的高度相似的高分辨率(7 360×4 912像素)测绘图像作为原始基准图像，另外在此基准图像集中按照无人机航迹路线以Overlap方式选取P×P大小的1 000幅图像作为样本库。选8名志愿者(两人一组，对比检验)分别挑选出包含植被、土壤、人工目标、水体等4类典型地物各100幅清晰图像共400幅作为基准图像；然后再请9位志愿者从400幅图像中挑选出90幅图像作这最后的原始基准图像，如图 6所示。
针对上述90幅基准图像，采用p×p进行分块，对每一子块进行相应3类特征提取，形成
| $ \begin{array}{l} \;\;\;f\left( \boldsymbol{x} \right) = \frac{1}{{{{(2\pi )}^{m/2}}{{\left| \boldsymbol{\mathit \Sigma} \right|}^{1/2}}}} \times \\ {\rm{exp}}( - 12{\left( {\boldsymbol{x} - \boldsymbol{\mu} } \right)^{\rm{T}}}{\boldsymbol{\mathit \Sigma} ^{ - 1}}(\boldsymbol{x} - \boldsymbol{\mu} )) \end{array} $ | (14) |
式中，(μ, Σ)分别表示清晰图像的均值向量和协方差矩阵。
2.2 评价模型及指标
在上述基准MVG模型构建成功后，采用类似构建过程，对待评价无人机图像进行了分块得到
| $ {q_i} = \sqrt {{{\left( {\boldsymbol{\mu} - {\boldsymbol{\mu} _i}} \right)}^{\rm{T}}}{{\left( {\frac{{\boldsymbol{\mathit \Sigma} + {\boldsymbol{\mathit \Sigma} _i}}}{2}} \right)}^{ - 1}}(\boldsymbol{\mu} - {\boldsymbol{\mu} _i})} $ | (15) |
式中，(μ
有文献在进行质量得分Pooling策略计算时考虑不同块的权重[25]，由于无人机图像包含了多种类型失真，分布随机，难以有效区分不同块的降质影响，因此对整幅图像采用均值方法得到其质量等分。
| $ q = \frac{{\sum\limits_{i = 1}^k {{q_i}} }}{k} $ | (16) |
3 实验结果及分析
3.1 参数设置和实验数据库
设定从标准测绘图中选取的图像大小P×P为1 024×768像素；子块规模p×p为8×8像素。实验数据由5段无人机飞行实拍视频截取的图像构成，共835幅。为便于实验对比分析，还给出了所有实验图像的平均主观评分差值(DMOS)，其值越高表示图像质量越差，反之表示质量越好，范围为[0, 100]。
3.2 评价实验结果
对比实验算法选择了7种经典的无参考算法BIQI[2]、DIIVINE[3]、BRISQUE[4]、BLIINDS-Ⅱ[6]、QAC[8]、NIQE[9]、IL-NIQE[10]和两种多失真混杂的评价算法SISBLM[13]和GWH-GLBP[14]。SISBLIM算法考虑了不同失真之间影响，采用分阶段对不同失真进行评价最后综合的处理方法。GWH-GLBP通过计算图像梯度图的局部二值模式构建多失真的图像质量评价模型。由于客观评价结果对主观评价分数的预测关系存在一定的非线性[26]，本文实验采用式(17) (18)所示的对数函数进行非线性补偿
| $ q\left( x \right) = {\beta _1}l\left( {{\beta _2}\left( {x - {\beta _3}} \right)} \right) + {\beta _4}x + {\beta _5} $ | (17) |
| $ l\left( {\tau ,x} \right) = \frac{1}{2} - \frac{1}{{1 + {\rm{exp}}(\tau x)}} $ | (18) |
式中，
选用2个评价指标来衡量算法的性能：皮尔逊线性相关系数(PLCC)和斯皮尔曼等级相关系数(SROCC)，其中PLCC用于评测质量模型预测的准确性，SROCC用于评测质量模型预测的单调性，两个指标越大均表明准确性和单调性越好。对比上述8种算法，以无人机图像数据库为实验对象，与本文算法实验对比结果如表 2所示。
表 2
算法性能对比结果
Table 2
Algorithm performance comparison
| 算法 | 评价指标 | |
| SROCC | PLCC | |
| BIQI | 0.314 4 | 0.395 2 |
| BLIINDS-Ⅱ | 0.039 2 | 0.012 5 |
| DIIVINE | 0.613 6 | 0.545 3 |
| QAC | 0.029 3 | 0.752 1 |
| BRISQUE | 0.778 4 | 0.813 5 |
| NIQE | 0.686 5 | 0.655 3 |
| IL-NIQE | 0.562 9 | 0.632 0 |
| SISBLIM | 0.790 5 | 0.912 3 |
| GWH-GLBP | 0.249 6 | 0.599 4 |
| 本文 | 0.817 4 | 0.964 6 |
为进一步直观观察模型预测与主观分数的一致性，绘制了对比算法预测质量值与DMOS对比的散点图，如图 7所示。
3.3 结果对比分析
从表 2可以看出本文算法相较于其他8种算法，SROCC和PLCC均取得了最大值，具备较好的单调性和准确性，由于针对多失真进行评价，SISBLIM算法取得了次优结果。
在图 7中每个蓝点代表一幅测试图像，横坐标值为模型预测质量值，纵坐标值为DMOS值。根据散点图的收敛情况可以发现：
1) 算法BIQI、BLIINDS-Ⅱ预测质量值总体上与DMOS相关性最差，这是因为该两种算法仅对JPEG和JPEG2000失真评价较好，算法仅提取了图像的部分简单的特征，而对于无人机图像则显得特征较少，难以描述，这也是算法对于常见的5种失真综合评价效果较差的原因；
2) 算法BRISQUE、NIQE、IL-NIQE预测值与DMOS相关性较前算法有所提高，这是因为3种算法都是基于空域的自然场景统计方法，该算法能够较好地评价自然图像，但对于无人机这类高空平台拍摄的图像，性能仍然略显不足；
3) SISBLIM算法考虑了噪声、模糊和JPEG块效应3类失真，与本文的切合度较高，因此取得了较优结果。而GWH-GLBP采用支持向量回归方法对所提取的梯度局部二值模式特征进行预测学习，采用的训练样本为普通地面拍摄图像而非空中成像平台，所以对测试样本的适合度较差，因此造成算法评价性能偏低。
4) 本文算法预测值与DMOS相关性显著地高于所有算法，也反映了本文提取的图像特征与质量评价结果敏感度高，对于空基平台质量评价问题具有很强的针对性和准确性。
3.4 分块实验、运行代价及特征贡献
对图像子块p×p的大小选择对评价的结果影响进行了实验，块大小分别选取了4×4像素、8×84像素、16×164像素、32×324像素、64×644像素、96×964像素、128×1 284像素计算本文算法的SROCC、PLCC，结果如表 3所示。
表 3
不同块大小对本文算法性能结果
Table 3
Different block size on the results of this algorithm
| 评价指标 | 块大小/像素 | ||||||
| 4×4 | 8×8 | 16×16 | 32×32 | 64×64 | 96×96 | 128×128 | |
| PLCC | 0.962 7 | 0.964 6 | 0.964 4 | 0.962 3 | 0.963 8 | 0.963 4 | 0.963 4 |
| SROCC | 0.795 2 | 0.817 4 | 0.8125 | 0.806 5 | 0.806 2 | 0.799 0 | 0.801 7 |
由表 3中不同块大小的实验结果可知：块大小为8×8时效果最佳，与文献[27]得出的块选择结果相一致。此外，为评估算法开销，在64位Windows 7操作系统中，以Matlab02014a为实验环境。计算机硬件：主频3.1 GHz，采用Intel-Core-i5-3350CPU处理器，内存8 GB。算法测试时间结果如表 4所示。
表 4
算法的运行时间结果
Table 4
Time results
| 算法 | 运行时间/s |
| BIQI | 0.8 |
| BLIINDS-Ⅱ | 46.8 |
| DIIVINE | 15.2 |
| QAC | 0.2 |
| BRISQUE | 0.3 |
| NIQE | 0.4 |
| IL-NIQE | 5.4 |
| SISBLIM | 1.8 |
| GWH-GLBP | 2.0 |
| 本文 | 1.2 |
从表 4可以发现本文算法对一幅图像评价平均时间为1.2 s，高于BIQI、QAC、BRISQUE和NIQE，但大大低于BLIINDS-Ⅱ和DIIVINE，优于IL-NIQE，SISBLIM和GWH-GLBP，表现出较强的运行效率。
本文算法还计算了结构性测度、完整性测度、颜色性测度3类特征对算法的贡献度，在无人机图像数据库中分别对每一类特征进行单独测试，求得基于单类特征的算法性能指标，如表 5所示。
表 5
3类特征的算法评测结果
Table 5
Algorithm evaluation results of three kinds of features
| 评价指标 | 结构性测度 | 完整性测度 | 颜色性测度 |
| PLCC | 0.953 1 | 0.377 7 | 0.399 9 |
| SROCC | 0.804 9 | 0.107 0 | 0.206 1 |
由表 5可以发现：1) 就单类特征而言，算法指标略差于整体特征；2) 在3类特征中，结构性测度表现出了较为良好的性能，这也证明了基于自然场景统计的方法能够有效地表征无人机图像的特性；3) 完整性测度和颜色性测度单独评测性能较差，但对整个算法性能起到了提升的作用。
综上所述，本文算法无论是在主客观一致性上还是在算法运行效率上，相对于对比算法，都达到了较优的水平。这是因为本文算法是一种专门针对无人机这类高空成像平台拍摄的、具有失真混杂特性的一类图像，针对该类图像，分析并提取了能够表征图像特性的特征因子。且对于训练样本，同样采用了与无人机图像成像手段相似，并具有相同特性的航拍图像，保证了算法训练结果的准确性。为了进一步说明，对本文算法以及对比算法在图 1所示的4幅图像上进行横向单一测试，其中算法QAC结果介于01之间，数值越大，表明图像质量越好；其余算法结果介于0100之间，数值越小，表明图像质量越好。测试结果如表 6所示。
表 6
算法对单幅图像评测结果
Table 6
Algorithm for single image evaluation results
| 算法 | 运动模糊 | 条纹干涉 | 噪声 | 色彩失真 |
| BIQI | 42.450 1 | 74.048 3 | 31.616 9 | 42.446 2 |
| BLIINDS-Ⅱ | 45 | 37.5 | 17 | 71.5 |
| DIIVINE | 51.904 9 | 96.075 1 | 65.915 6 | 43.113 1 |
| QAC | 0.638 4 | 0.704 7 | 0.721 4 | 0.473 2 |
| BRISQUE | 43.872 1 | 83.045 | 87.431 3 | 90.609 7 |
| NIQE | 6.225 5 | 16.175 3 | 20.615 7 | 10.286 8 |
| IL-NIQE | 45.924 8 | 88.752 8 | 59.880 4 | 54.725 3 |
| SISBLIM | 25.336 1 | 33.406 1 | 40.072 6 | 26.408 6 |
| GWH-GLBP | 13.246 7 | 31.789 2 | 36.276 | 27.536 7 |
| 本文 | 9.613 7 | 28.575 5 | 26.517 9 | 25.959 7 |
对表 6分析可知，本文算法对这4类失真类型的单个图像评价结果，相对于对比算法取得了较低的评价分数，说明本文算法比其余算法评价性能更好，进一步结合表 2分析可知，本文算法不仅有着较好的主客观一致性，且评价结果较为准确，符合人眼视觉感知。
4 结论
针对含有多类失真的无人机图像评价问题，本文提出一种面向多失真混杂的评价解决方法，提取了结构性测度、完整性测度、颜色性测度等3类共11个特征因子，以分块处理方法计算清晰图像MVG模型与待测图像MVG模型的马氏距离，取其平均作为最后的质量得分。实验结果表明，本文算法具有较高的主客观一致性，可满足无人机图像质量评价要求。后续研究过程中，将考虑进一步完善评价模型以及图像特征的提取方法。随着深度学习理论的飞速发展，在丰富无人机飞行图像数据库的同时，将其引入评价模型构建也是下一步研究的重点。
参考文献
-
[1] Wang Z M. Review of no-reference image quality assessment[J]. Acta Automatica Sinica , 2015, 41 (6) : 1062–1079. [ 王志明. 无参考图像质量评价综述[J]. 自动化学报 , 2015, 41 (6) : 1062–1079. DOI:10.16383/j.aas.2015.c140404 ]
-
[2] Moorthy A K, Bovik A C. A two-step framework for constructing blind image quality indices[J]. IEEE Signal Processing Letters , 2010, 17 (5) : 513–516. DOI:10.1109/LSP.2010.2043888
-
[3] Moorthy A K, Bovik A C. Blind image quality assessment:from natural scene statistics to perceptual quality[J]. IEEE Transactions on Image Processing , 2011, 20 (12) : 3350–3364. DOI:10.1109/TIP.2011.2147325
-
[4] Mittal A, Moorthy A K, Bovik A C. No-reference image quality assessment in the spatial domain[J]. IEEE Transactions on Image Processing , 2012, 21 (12) : 4695–4708. DOI:10.1109/TIP.2012.2214050
-
[5] Saad M A, Bovik A C, Charrier C. A DCT statistics-based blind image quality index[J]. IEEE Signal Processing Letters , 2011, 17 (6) : 583–586. DOI:10.1109/LSP.2010.2045550
-
[6] Saad M A, Bovik A C, Charrier C. Blind image quality assessment:a natural scene statistics approach in the DCT domain[J]. IEEE Transactions on Image Processing , 2012, 21 (8) : 3339–3352. DOI:10.1109/TIP.2012.2191563
-
[7] Ye P, Kumar J, Kang L, et al. Unsupervised feature learning framework for no-reference image quality assessment[C]//Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition. Providence, Rhode Island, USA:IEEE, 2012, 6:1098-1105. [DOI:10.1109/CVPR.2012.6247789].
-
[8] Xue W F, Zhang L, Mou X Q. Learning without human scores for blind image quality assessment[C]//Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition. Portland, OR, USA:IEEE, 2013, 6:995-1002. [DOI:10.1109/CVPR.2013.133].
-
[9] Mittal A, Soundararajan R, Bovik A C. Making a "Completely Blind" image quality analyzer[J]. IEEE Signal Processing Letters , 2013, 20 (3) : 209–212. DOI:10.1109/LSP.2012.2227726
-
[10] Zhang L, Zhang L, Bovik A C. A feature-enriched completely blind image quality evaluator[J]. IEEE Transactions on Image Processing , 2015, 24 (8) : 2579–2591. DOI:10.1109/TIP.2015.2426416
-
[11] Chandler D M. Seven challenges in image quality assessment:past, present, and future research[J]. ISRN Signal Processing , 2013, 2013 : #905685. DOI:10.1155/2013/905685
-
[12] Jayaraman D, Mittal A, Moorthy A, et al. Objective quality assessment of multiply distorted images[C]//Proceedings of Conference Record of the Forty Sixth Asilomar Conference on Signals, Systems and Computers. Pacific Grove, CA, USA:IEEE, 2012, 11:1693-1697. [DOI:10.1109/ACSSC.2012.6489321].
-
[13] Gu K, Zhai G T, Yang X K, et al. Hybrid no-reference quality metric for singly and multiply distorted images[J]. IEEE Transactions on Broadcasting , 2014, 60 (3) : 555–567. DOI:10.1109/TBC.2014.2344471
-
[14] Li Q H, Lin W S, Fang Y M. No-reference quality assessment for multiply-distorted images in gradient domain[J]. IEEE Signal Processing Letters , 2016, 23 (4) : 541–545. DOI:10.1109/LSP.2016.2537321
-
[15] Gu K, Zhai G T, Liu M, et al. FISBLIM:a five-step blind metric for quality assessment of multiply distorted images[C]//Proceedings of 2013 IEEE Workshop on Signal Processing Systems. San Diego, California, USA:IEEE, 2013, 10:241-246. [DOI:10.1109/SiPS.2013.6674512].
-
[16] Lu Y N, Xie F Y, Liu T L, et al. No reference quality assessment for multiply-distorted images based on an improved bag-of-words model[J]. IEEE Signal Processing Letters , 2015, 22 (10) : 1811–1815. DOI:10.1109/LSP.2015.2436908
-
[17] Ding W R, Ling Y B, Zhang Q S. A UAV reconnaissance image quality assessing method[J]. Radio Engineering of China , 2007, 37 (3) : 19–21. [ 丁文锐, 伶雨兵, 张其善. 一种无人机侦察图像质量评价模型[J]. 无线电工程 , 2007, 37 (3) : 19–21. DOI:10.3969/j.issn.1003-3106.2007.03.007 ]
-
[18] Gou Z Y, Zhao H Y, Yan L. Aerial photogrammetric quality evaluation of the UAV[J]. Image Technology , 2007 (2) : 49–52. [ 勾志阳, 赵红颖, 晏磊. 无人机航空摄影质量评价[J]. 影像技术 , 2007 (2) : 49–52. DOI:10.3969/j.issn.1001-0270.2007.02.014 ]
-
[19] Chen G L. Research of restoration for degraded image based on UAV[D]. Chengdu:Chengdu University of Technology, 2013. [陈国梁.基于无人机降质图像恢复的研究[D].成都:成都理工大学, 2013.]
-
[20] Geisler W S. Visual perception and the statistical properties of natural scenes[J]. Annual Review of Psychology , 2008, 59 : 167–192. DOI:10.1146/annurev.psych.58.110405.085632
-
[21] Simoncelli E P, Olshausen B A. Natural image statistics and neural representation[J]. Annual Review of Neuroscience , 2001, 24 : 1193–1216. DOI:10.1146/annurev.neuro.24.1.1193
-
[22] Ruderman D L. The statistics of natural images[J]. Network:Computation in Neural Systems , 1994, 5 (4) : 517–548. DOI:10.1088/0954-898X/5/4/006
-
[23] Hasler D, Suesstrunk S E. Measuring colorfulness in natural images[C]. Proc. SPIE, 2003, 5007(1):87-95. [DOI:10.1117/12.477378].
-
[24] Groen I I, Ghebreab S, Prins H, et al. From image statistics to scene gist:Evoked neural activity reveals transition from low-level natural image structure to scene category[J]. The Journal of Neuroscience , 2013, 33 (48) : 18814–18824. DOI:10.1523/JNEUROSCI.3128-13.2013
-
[25] Zhang L, Zhang L, Mou X Q, et al. FSIM:a feature similarity index for image quality assessment[J]. IEEE Transactions on Image Processing , 2011, 20 (8) : 2378–2386. DOI:10.1109/TIP.2011.2109730
-
[26] Corriveau P, Webster A. The Video quality experts group:evaluates objective methods of video image quality assessment[C]//Proceedings of the 140th SMPTE Technical Conference and Exhibit. Pasadena Convention Center:IEEE, 1998, 10:1-8. [DOI:10.5594/M00304].
-
[27] Liu L X, Liu B, Huang H, et al. No-reference image quality assessment based on spatial and spectral entropies[J]. Signal Processing:Image Communication , 2014, 29 (8) : 856–863. DOI:10.1016/j.image.2014.06.006
