Print

发布时间: 2018-10-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.170539
2018 | Volume 23 | Number 10




    遥感图像处理    




  <<上一篇 




  下一篇>> 




针对质量评价的环境星遥感真实图像库构建
expand article info 徐琳, 陈强
南京理工大学计算机科学与工程学院, 南京 210094
收稿日期: 2017-10-25; 修回日期: 2018-04-24
基金项目: 中央高校基本科研业务费专项基金资助（30920140111004）
第一作者简介: 徐琳, 1993年生, 女, 硕士研究生, 主要研究方向为图像处理。E-mail:379275486@qq.com.
中图法分类号: TP751.1
文献标识码: A
文章编号: 1006-8961(2018)10-1604-13

摘要

目的 随着遥感信息爆炸时代的来临，海量的遥感图像信息不断地从太空中传来。如何有效地利用这些遥感数据成为学者们新的研究热点。遥感图像质量评价不仅能筛选出有价值的图像以供后续的图像处理，如地物分类、目标识别等，还能对卫星设备的运转情况进行检测，而目前还没有公开的针对质量评价的遥感图像库。为此，构建了一个针对质量评价的环境星HJ-1A/1B真实遥感图像专家评分库。方法 遥感图像专家评分库包含70组，每组包含同一地点的5个不同时间点的图像，共350幅真实遥感图像以及每幅图像对应的主观评价质量分数。并通过基于卷积神经网络的图像质量评价算法来验证该遥感图像专家库的可用性。结果 将本文算法和4种效果较好的无参考图像质量评价算法在本文数据库上进行性能检测，并对各算法性能与训练测试集规模的关系进行对比实验。实验结果表明，目前针对仿真图像的无参考图像质量评价算法并不适用于该遥感图像库，验证了遥感真实图像与自然仿真图像的巨大差异，而基于卷积神经网络的算法结果则表明该数据库具有质量评价研究价值。结论 本文构建的基于环境星遥感真实图像库能够为遥感图像质量评价提供验证平台，并且数据规模可以为深度学习在遥感图像处理领域的应用提供支持。

关键词

遥感图像质量评价; 遥感图像库; 真实图像; 环境星; 卷积神经网络

Remote sensing authentic image database for quality assessment based on environmental satellite
expand article info Xu Lin, Chen Qiang
School of Computer Science and Engineering, Nanjing University of Science and Technology, Nanjing 210094, China
Supported by: The Fundamental Research Funds for the Central Universities(30920140111004)

Abstract

Objective Advances in space technology have resulted in the rapid increase of satellites in orbit and the ever-increasing scale of remote sensing image data.However, the ineffective utilization of remote sensing data has become a common issue.Remote sensing image quality assessment (RSIQA) not only selects valuable images for other image processing tasks, such as target recognition and object classification, but also monitors the service condition of satellite equipment according to the changing trend of remote sensing image quality.The choice on whether to adjust parameters or repair or replace satellite equipment depends on the assessment reports.RSIQA can be performed either subjectively or objectively.Subjective RSIQA is limited by time and cost considerations, and it can be easily influenced by experimental conditions.These limitations prohibit the extensive use of subjective quality assessment for remote sensing.According to the degree of assessment of a reference image, objective quality assessment can be classified as full, reduced, or no-reference methods.Most RSIQA methods separately model the different distortion types.Therefore, these methods may have not considered the interaction among different distortion types.Furthermore, most methods are based on simulated images because remote sensing data are difficult to obtain, but complex distortions are also difficult to simulate.Although the research on authentic remote sensing images has practical value, a public authentic remote sensing image database for quality assessment has still not been established in China.In other words, RSIQA may still lack a credible verification platform. Method This study builds an authentic remote sensing image database for quality assessment that refers to several existing databases, such as the LIVE simulated image database and usability-based remote sensing image database.Most remote sensing image data are either confidential or for sale, which renders it difficult to acquire resources.By contrast, resources from environmental satellites are public and free.For instance, images of a place taken at different times are easy to collect.Therefore, we choose environmental satellite HJ-1A/1B with a resolution of 30 m to obtain remote sensing image data with a per image size of 600×600.For database universality, we select different surface types, including farmland, river, city, airport, mountain, and port.After the light and geometric consistency corrections, 70 representative groups are selected for the database.Given the difficulty of distinguishing surface form in images with low resolution, subjective assessment cannot refer to traditional principles.Hence, we propose principles of quality grading from six aspects:contrast of the entire image, discernibility degree of large-scale surfaces, definition of wide roads, definition of city skyline, discernibility degree of city internal details, and definition of mountain lines.To ensure the objectivity and universality of the subjective quality scores, we choose personnel with two different knowledge backgrounds who will oversee the assessment.One is a non-professional staff whose expertise is image processing but not image quality assessment, and the other is a professional personnel with image quality assessment expertise.They label each remote sensing image according to the principles mentioned above and their own experience in image processing.The experimental equipment, assessment process, and experimental environment are also considered.For the convenience of subjective assessment, we construct the image quality grading system.We also analyze and screen the assessment scores.After the unreasonable scores are eliminated, we obtain the final subjective quality score, i.e., the mean opinion score.Thus, the database contains 350 authentic remote sensing images with corresponding subjective quality scores, including 70 groups of images.Each group contains 5 images of the same location at 5 different times.The distortion of an authentic remote sensing image is more complex than that of a simulated one.An image may contain several distortion types, and the effect of every distortion type of an image may interact with that of another image.Moreover, the features are difficult to extract in traditional machine learning metrics.Therefore, we verify the usability of the database with the RSIQA method based on the convolutional neural network because of its superior performance in feature extraction.The input of this network is a remote sensing image patch with a corresponding subjective quality score.The main architecture consists of fifty 7×7 convolutional kernels, one 26×26 max pooling, and two full connection layers with a size of 800.The output of the network is the predicted quality score. Result In the experiment, we compare the performance of the proposed metric and the four up-to-date no-reference image quality assessment metrics (FEDM, DⅡVINE, BRISQUE, and SSEQ) with that of the authentic remote sensing image database.The result indicates that the existing no-reference image quality assessment metrics for simulated images are unsuitable for this new remote sensing image database, which indicates a major difference between simulated images and authentic remote sensing images.The result of the method based on convolutional neural network demonstrates the usability of our new database.In addition, we analyze the relationship between the performance and the scale of the training and testing sets because the performance of a traditional machine learning algorithm depends on extracted features, Moreover, in convolutional neural networks, an important aspect is the scale of the training data.Therefore, the performances of traditional image quality assessment metrics are stable with the decreasing scale of training data.Despite the decline in the performance of the proposed convolutional neural network-based metric, it is still superior to traditional metrics a certain extent. Conclusion This study proposes a database for RSIQA.Here, the database contains 350 images of 70 different places captured at different times.We verify the reasonability of our database through the metric based on convolutional neural network.The performance of the proposed metric demonstrates the ability of the database to provide a verification platform for RSIQA.Furthermore, the proposed metric can support the application of deep learning on remote sensing image processing.

Key words

remote sensing image quality assessment; remote sensing image database; authentic image; environmental satellite; convolutional neural network

0 引言

随着摄影技术和遥感技术的快速发展，卫星可通过多角度观察地球。近年来，我国的航天遥感事业进入了高速发展期，更多的多功能卫星被送入太空。军用卫星一般都具有较高分辨率但普通大众不易获取，而环境和气象等卫星图像的分辨率一般较低，所以对中低分辨率的遥感图像的处理成为了研究热点。遥感数据的时效性在国家经济和社会发展中的作用越来越重要，但是这种即时数据在我国极为缺乏。改善卫星硬件条件，对遥感图像质量进行跟踪监测并使用合适的图像处理方法提高图像质量，能够方便研究者对遥感图像的研究。目前，遥感图像处理得到了研究者们的重视，但是对于遥感图像质量评价还需要更加系统和广泛的研究。

遥感图像质量评价可分为主观评价和客观评价，主观评价是评分者对图像质量直接进行打分。主观评价是衡量客观图像质量评价方法算法精度的参考依据[1]。因此，主观评价分数一直以来都是作为准确的图像质量分数，是衡量客观图像质量评价效果优劣的标准。由于遥感图像数量不计其数，每幅图像都通过专业人员进行主观评价是不可行的，所以客观遥感图像质量评价必不可少。客观图像质量评价是通过设计数学模型，使计算机对图像质量的评价越来越符合人眼感知。而由于遥感图像失真类型的复杂性，客观评价算法发展较缓慢。相对于仿真图像，遥感图像很难找到或者几乎没有标准图像，并且遥感图像在拍摄、传输、压缩、存储等过程中会受到不同种类不同程度的失真影响，即噪声、模糊、块效应等失真同时出现在一幅遥感图像中，导致难以对图像进行建模评价，这是遥感图像质量评价的难点。

根据参考原始图像的程度，客观图像质量评价可分为全参考图像质量评价[1-2]、部分参考图像质量评价[3-4]和无参考图像质量评价[5-6]。而由于遥感图像的标准图像很难获取，所以在遥感图像质量评价领域，无参考质量评价算法是最具实用性和研究价值的。在遥感图像中，模糊和噪声是两种最常见且影响大的失真类型，并且人眼对这两种失真类型的感知相互抑制，在空域和频域的表现也都相互影响且相互抑制，所以很难对这两种失真同时建模，评价精度普遍较低。

在客观遥感图像质量评价的发展初期，研究者们常常基于信号处理的方法进行评价。调制传递函数(MTF)[7]、峰值信噪比(PSNR)[8]、均方根误差(RMSE)[9]等是最常用的方法，这些方法虽然时间效率较高且编码方便，但是由于这些算法并没有结合人类视觉特性，导致实验效果与主观评价的结果相差较大。后来，国内外的研究者们逐渐在遥感图像质量评价算法中加入了人类视觉系统(HVS)特性，如刚辨差(JND)[10]，使得评价效果有一定的提高，但仍然具有一定的局限性。美国在早年制定了相关的国家图像解译度分级标准(NIIRS)[11]，航空委员会根据遥感系统参数和NIIRS间的关系，采用概率统计模型提出了通用图像质量方程GIQE (general image quality equation)[12]，可以在遥感参数已知的基础上得到遥感图像质量的初步评价。

目前的大多数方法都是将模糊和噪声的失真程度分开评价，再通过某种加权方式对总体的失真程度进行评价[13-15]。邵宇等人[13]利用人类视觉系统对模糊和噪声这两种失真类型给出不同的响应，并发现模糊失真对图像边缘和纹理细节丰富区域影响较大，噪声失真对图像平滑区域影响较大，提出了一种结合结构相似度和人类视觉感知特性的无参考遥感图像质量评价。由于遥感图像在小波域中，子带系数均值近似线性关系，张飞艳等人[14]通过分析噪声和模糊失真对这个线性关系的影响方式和程度对图像质量进行评价。除了对失真类型建模的难点，遥感图像质量评价目前最大的难点是数据源，包括上述3个文献以及文献[16-17]，使用的遥感图像数据都是仿真图像，即对若干清晰度较高的图像进行高斯模糊或加入高斯噪声得到失真图像，并且数据量不大。而目前较为流行的深度学习算法需要大量的训练样本，所以深度学习还没有被很好地应用到遥感图像质量评价中。实验数据使用的仿真图像虽然是加入了一种或两种失真类型，但仍然和真实图像相差较多，所以建立一个遥感真实图像库，可以为研究提供更多的数据，并且基于真实图像的算法更具有研究价值和实用性。

目前国内外还没有公开的针对遥感图像质量评价的数据库，研究者们很难进行系统的评价研究，遥感图像质量评价的统一标准还没有出现。因此，针对遥感图像质量评价的遥感图像数据库的构建刻不容缓。

1 环境星遥感真实图像库

1.1 总体设计

本文环境星遥感真实图像库是参考LIVE图像质量评价数据库[18]、TID2008图像数据库[19]和基于可利用性的遥感图像库[20]的构建方法，以及美国国家图像解译度分级标准NIIRS，并且结合了我国卫星遥感图像的实际情况，构建适合国产卫星的遥感真实图像专家评分库。总体设计流程如图 1。本文的真实图像专家评分库为研究低分辨率遥感真实图像质量评价方法提供主观验证。除了为遥感图像质量评价研究提供平台外，使用与数据库中主观评分一致性较高的客观评价算法可以对环境星发射周期内的海量数据进行自动化的系统分析。根据遥感图像的质量分析结果可以判断环境星上硬件运行的稳定性，估计卫星当前的工作状态能否满足图像应用的需求，同时可以为预估卫星寿命提供依据。



图 1 基于环境星1A/1B的遥感真实图像库构建流程图
Fig. 1 Flowchart of constructing theauthentic remote sensing image database based on HJ-1A/1B

1.2 图像数据源

环境1A/1B卫星(HJ-1A/1B)是我国“环境与灾害监测预报小卫星星座”中的前两颗卫星，于2008年9月6日上午11点25分成功发射。HJ-1A星搭载了CCD相机和超光谱成像仪(HSI)，HJ-1B星搭载了CCD相机和红外相机(IRS)。在HJ-1A卫星和HJ-1B卫星上装载的两台CCD相机设计原理相同。这两颗卫星的主要任务是对生态破坏、环境污染和自然灾害进行大范围、全天候、全天时动态监测，及时反映生态环境和自然灾害发生、发展的过程，对其发展变化趋势进行预测，对灾情进行快速评估，并结合其他手段，为紧急救援、灾后救助和重建工作提供科学依据[21]，是我国具有代表性的民用卫星系统。HJ-1A/1B卫星距今已经成功发射8年多，已生产大量的遥感图像数据。目前国内外公开且可免费获取的高分辨率的遥感图像并不多，大多是像环境星一样的低分辨率遥感图像，因此，深入研究并合理利用大量的低分辨率遥感图像是非常重要的。并且环境星的图像是开源免费的，对于获取相同地点的不同图像更为便利。所以本文针对图像质量评价的环境星遥感真实图像库就是在环境星可见光波段30 m分辨率的图像数据的基础上建立的，遥感图像数据从中国资源卫星应用中心网站可免费下载[22]。为加强数据的对比性，本文收集并整理出环境星拍摄的同一地点不同时间点的遥感图像数据。为使数据库中的图像大小统一并且易于实验研究，我们从整幅遥感图像中裁剪的每个地点的大小都统一为600×600像素，并且每个地点选择5个不同时间点的遥感图像数据，即为1组。为了更加有针对性地区分环境星遥感图像质量特性，通过从上千幅环境星遥感真实图像中筛选、截取和校正后生成图像库中所使用的70组350幅图像。筛选过程中的评判依据包括：1)各样本需包含常见的遥感数据地貌种类，如城市、河流、山脉和农田等，这样可以降低数据库对于特定地貌的依赖性，保证图像库的普适性；2)经过对海量遥感数据内固定地理位置的区域进行校对，并筛选得到5幅质量等级差异性较大且地貌信息类似图像构成的样本组，这样的样本组对遥感图像质量评级有更加准确的区分和定义。因此，本文的环境星遥感真实图像库中选取的图像能够较好地表征海量的环境星遥感图像数据，并对环境星遥感数据质量提供评价标准。

1.3 图像一致性校正

将采集的图像加入遥感真实图像专家评分库之前，需要对图像进行光照一致性校正和几何一致性校正。

由于遥感图像在获取时会受到硬件设备以及云层、大气等的影响，导致光照不均、曝光不足、曝光过度等后果，并且成像时间不同也会造成不同图像的光照条件不同。不同的光照条件会对图像质量产生影响，而该库的建立主要是为了检测卫星硬件的运行状况，与光照条件无关，所以在建立图像库之前，先对所有采集的图像进行光照一致性校正，以减少光照因素对主观评价的影响。传统的光照一致性校正方法主要针对单幅图像，不能同时校正多幅图像。本文采用一种基于奇异值分解的光照一致性校正技术[23]对多幅图像进行光照一致性校正，该方法对于相同场景和不同场景的图像都适用，具有一定的普适性。只要图像具有相同规格，可对任意多幅图像的光照一致性进行校正，这种技术为建立有效完善的遥感真实图像专家评分库提供了良好的数据支持。

70组图像构成的图像库中的每一组都为相同地点，为方便质量评价算法的研究，需要对每一组图像进行几何一致性校正。遥感图像几何一致性校正技术的关键是图像配准。传统的基于灰度配准方法充分利用了图像的灰度信息，但由于对噪声和光照变化敏感，导致计算的稳定性不高。基于图像特征的配准方法是目前的研究热点，其中图像特征的提取与匹配是最重要的步骤，而图像的局部特征描述符又是图像特征提取与匹配的核心。SIFT描述符[24]和SURF描述符[25]是目前较流行的基于图像局部不变量描述符算法，但是SIFT描述符计算复杂且耗时较长，SURF描述符虽然在速度上相比于SIFT算法提高了3~4倍，但是SURF在旋转不变性上性能较弱。因此我们使用了一种新的分配DAISY描述符主方向的方法进行几何一致性校正[26]。该方法将SURF特征点和DAISY描述符[35]进行结合，解决了SURF描述符旋转不变性较弱的问题。这样不仅保持了检测过程的快速性和准确性，还增强了SURF描述符的旋转不变性，以此获得更多的正确匹配点。

1.4 图像质量分级原则

专家库中的每一组都是环境星拍摄同一地点不同时间的遥感真实图像数据，根据地物清晰程度和图像纹理细节丢失程度对图像进行质量分级。由于该数据库中遥感图像的分辨率比较低，地物形态不易分辨，所以该图像的分级标准不能按照一些典型的目标地物可辨识度来确定，且由于拍摄环境和条件的差异，导致不同地点的图像质量的差异不明显，所以本专家库根据同一地点不同时间段的几幅遥感图像之间的质量差异来设定图像的等级。每一组图像在进行质量比较时，由于地物内容相同，且大部分地物难以分辨，所以制定了若干原则来对图像的质量等级进行判定(如表 1)，实例图像如图 2，其中每组第1行是原始图像，第2行是局部细节放大图，从左至右，图像质量依次降低。

表 1 针对图像质量的环境星遥感真实图像专家库分级原则
Table 1 Principles of grading for authentic remote sensing image quality

下载CSV
原则1图像的清晰度和对比度。如图 2(c)从左至右图像清晰度和对比度依次降低，图像越清晰，对比度越高，图像质量等级越高。
原则2大型地物的可辨识程度。如图 2(a)，大型地物可辨识度依次降低，大型建筑、农田越清晰可辨，图像质量等级越高。
原则3宽阔道路的清晰度。如图 2(b)，重要道路清晰程度依次降低，道路边界越清晰，周边地物对比度越高，图像质量等级越高。
原则4城市街道轮廓是否明显。如图 2(a)，城市街道轮廓存在较明显差异，差异越明显，图像质量等级越高。
原则5城市内部细节。如图 2(c)，城市内部细节存在较明显差异，细节信息越多，图像质量等级越高。
原则6山脉线明显程度。如图 2(d)，山脊和山谷的区别差异较明显，差异越明显，图像质量等级越高。



图 2 针对图像质量的环境星遥感真实图像专家库示例图
Fig. 2 Examples of authentic remote sensing image database of environmental satellites for image quality
((a) the first group; (b) the second group; (c) the third group; (d) the fourth group)

1.5 主观评价人员选择

为使主观分数更客观公正并具有普适性，主观评价的测评者应当具有不同的背景，本文选择如下两类：图像处理和分析方向但不是研究图像质量评价的业余测评者和图像质量评价研究方向的专业测评者。在测评者根据个人感觉和制定的分级原则对待评测图像给出主观评价质量分数后，对所有分数加权平均得到最终的主观质量分数。

在选择对环境星遥感真实图像专家库进行主观评价的测评人员时，不仅对测评者的知识基础有一定要求，对其生理健康方面也有一定限制：1)测评者的视觉不能有任何缺陷，如色弱、色盲等；2)测评者来自不同背景；3)测评者对卫星遥感图像需要有一定的认知。在本次主观评价实验中共选取了50位测评者，在进行评价之前，给他们针对该遥感真实图像库的情况进行了详细的介绍，并为他们补充了相应的遥感知识基础。

1.6 实验设备、流程与环境

屏幕的大小、分辨率、亮度等设置会直接影响测评者对待评价图像的主观评判，因此，在主观评价过程中，确保实验设备及其设置一致是必要的。本次主观评分实验采用内存512 MB的主机，HP LE2001w型号显示器，并且为了保证测评的速度，实验共配备8台电脑，每台电脑配置完全一致。

不仅硬件条件会影响测评者的主观评价结果，评估图像质量时的心理状态也会有很大影响，所以主观评价实验需要在特定环境下进行。主观评价过程中，测评者需要避免外界环境干扰，保持稳定的情绪，这样可以增加评价结果的稳定性和可靠性。同时，评测场所的温度、亮度和测评者的疲劳程度也会对测评者的心理状况带来很大影响，所以，实验环境的稳定对主观评价结果非常重要。

在此次主观评价过程中选择较有利于观察待评价图像的暗室作为评测场所。测试过程中制定相关要求，避免无关人员的频繁进出对测评者的心理状况造成干扰。并且为避免测评者长时间进行评价导致视觉疲劳影响主观评价结果，主观评测时采用30 min轮换交替评测制度。

1.7 评价方法

主观评价分为绝对评价和相对评价两大类。绝对评价是测评者凭借个人经验，根据制定的评价尺度对待评价图像给出质量分数，相对评价则是给测评者展示一组图像，让评测者对这组图像进行比较，给出相对的质量等级。由于环境星遥感真实图像数据库中每个相同地点有5个时间点的真实图像，而且质量差异并不明显，图像之间的对比更能凸显出图像质量的差异，所以相对评价更加适合。在实验中，每次给测评者展示同一地点的一组图像，凭借直观感受和个人经验给出质量等级。

为方便测评者的主观评价，搭建了相应的图像评分系统，软件界面如图 3所示。



图 3 基于环境星的遥感图像主观评价软件界面
Fig. 3 Software interface of subjective assessment

图 3中，1号按钮可以查看环境星遥感图像评分示例和评分准则；2号按钮可以返回；3号区域可以选择图像的放大倍数，以便于更准确地进行主观评价；4号按钮是在图像放大后可以返回原始图像大小；5号和10号按钮分别是查看上一组和下一组图像；6号区域显示测评进度；7号区域是选择对该图像的主观评价分数，每幅图只能选择一个分值，其中1表示图像质量最好，5表示图像质量最差；8号按钮表示返回当前待评价图像的位置；9号区域展示当前待评价图像；11号区域显示鼠标所在位置的$X$, $Y$坐标值；12号按钮可对当前评价的一组图像全部重新进行评价；13号按钮表示确认评分，把当前组的评分结果保存至数据库，并自动切换至下一组图像的评分界面。

图 4中，1号按钮表示返回评价界面；2号区域展示了主观评价的分级标准；3号区域和4号区域是评价示例图以及质量分数，1分表示图像质量最好，5分表示质量最差；5号和7号按钮分别可以查看上一组和下一组示例图；6号区域可选择图像的放大倍数；8号按钮可在放大图像后返回原图像；9号显示$X$和$Y$坐标值。



图 4 基于环境星的数据库评价示例图界面
Fig. 4 Interface of an assessment example

在评价过程中，每30 min实行休息轮换制度，并在每次重新进入测评时，首先查看主观评价的分级原则和示例图，才能保证测评结果的有效性。

1.8 主观评价结果的筛选与处理

在测评过程中，不可避免地会发生一些突发情况，如测评者的情绪波动、环境的干扰等，都会造成个别偏差较大的评价结果，在整理主观评价结果时需要将这些偏差较大的结果剔除。通过对主观评价结果进行分析后发现，业余评测者和专业评测者的评价结果相似，因此在后续处理中，将两组人员的评价结果合并处理。然后统计其余所有的评价分数，求得均值与方差，对实验结果进行分析，可以验证主观评价结果的可靠性。取每一幅真实图像的所有测评分数的均值作为该图像的平均主观分数(MOS)，即

$ {{\bar \mu }_j} = \frac{1}{N}\sum\limits_{i = 1}^N {{\mu _{ij}}} $ (1)

式中，$i$表示测评人员编号，$j$表示待评价图像编号，$N$表示测评人员总数。

2 针对环境星遥感真实图像库的无参考图像质量评价算法

2.1 基于卷积神经网络(CNN)的无参考遥感图像质量评价

深度学习是近几十年来人工智能方面最重要的突破之一。在展示了其在信号和图像处理方面的强大优势后，得到了学者们的广泛关注。在深度学习的算法中，对卷积神经网络的研究和应用尤为普遍，特别是在目标识别方面[27-28]。相比于传统的模式识别方法，基于深度学习算法最大的不同是提取特征的方法。传统模式识别方法是依赖于个人经验，手工提取特征，不同的特征组合会对实验结果带来很大差异，而深度学习可以从大数据中自动学习出图像的最本质特征，它在语音识别、计算机视觉、图像视频分析等领域都取得了巨大的成功。

卷积神经网络是最常用的深度学习算法，几乎不需要预处理工作，并且对简单的几何变形有很好的鲁棒性。目前，已经被广泛应用在仿真图像的质量评价中[29-30]，但是由于遥感图像质量评价领域还没有公开的数据库，而该算法需要大量的训练样本，所以还没有被应用到这一领域。卷积神经网络在图像处理方面相比于其他神经网络有以下优点：1)输入图像能够和卷积神经网络的拓扑结构很好的吻合；2)特征提取和模式分类可以同时进行；3)权值共享减少了神经网络中的训练参数，网络结构变得简单，鲁棒性增强。对于本文的真实遥感图像库，其失真类型复杂，不同失真类型相互混叠，通过传统方法很难对其进行特征提取，而卷积神经网络近年来在图像处理领域的特征提取方面效果显著；其次，卷积神经网络的输入需要大量的样本，它在本文数据库上的实验结果也能验证数据库的规模是否足够作为遥感图像质量评价的验证平台。所以在实验中，使用如图 5所示的卷积神经网络结构。



图 5 针对环境星遥感图像质量评价的卷积神经网络结构
Fig. 5 Convolutional neural network construction for remote sensing image quality assessment of environmental satellites

为验证环境星遥感真实图像库的合理性，选取较为简单的网络结构。采用的网络结构包括输入层和输出层共6层。其中，输入层为32×32像素的图像块，由于卷积神经网络需要大量的输入样本，所以实验将取图像块时的跨度设为8，即每一幅真实遥感图像都能取到5 000个图像块，并且对图像块进行了垂直和水平翻转以获得更多样本，减小网络误差。图像的失真对于整幅图像是均匀的，所以每个图像块的质量分数即为它所在遥感图像的质量分数。第2层为卷积层，实验选取50个7×7像素大小的卷积核，不考虑边缘像素，每一个图像块在卷积层会产生50个26×26像素大小的特征图。第3层为池化层，使用最大池来将卷积层产生的大量参数转化为一个大小为50的1维向量，每一个特征图只保留其最大值作为特征，在保持实验效果的同时能够提高效率。第4层和第5层都是全连接层，激活函数使用ReLU (rectified linear units)。ReLU是目前最常用的激活函数，表达式为$f\left( x \right) = \max \left( {0, x} \right)$，即只取非负值，所以为保持特征的完整性，在卷积层和池化层中使用线性激活函数，而不使用ReLU激活函数。在输出层，每个图像块都会得到一个相应的质量分数预测值。

2.2 实验结果与分析

在自然图像的质量评价算法中，一般选取图像库中80%的图像作为训练集，其余20%的图像作为测试集。但是基于环境星的遥感真实图像库中的图像均为多种失真混合，分辨率较低，且失真程度严重，对图像质量进行质量评价较为困难。所以在本次实验中相对增加了训练集的样本数，减少了测试集的样本数，并选取了图像库中90%的图像进行训练，其余10%进行测试。

LCC (Pearson’s linear correlation coefficient)和SROCC (Spearman’s rank ordered correlation coefficient)是图像质量评价算法的两个最常用的评价指标，表示算法结果和主观评价结果的相关性，值域为[0, 1]，值越接近于1，表示算法越接近人眼主观评价，即精度越高。本次实验中随机选择图像进行交叉检验100次，将LCC和SROCC的均值作为最终结果。另外作为对比选择目前在自然图像质量评价领域较流行的几种无参考图像质量评价算法，包括FEDM[31]、DIIVINE[32]、BRISQUE[33]和SSEQ[34]与CNN算法。对比实验结果如表 2所示。

表 2 各算法在环境星遥感真实图像库上的性能对比表
Table 2 Performance comparison of every algorithm on authentic remote sensing image database of environmental satellites

下载CSV
  图像质量评价算法LCCSROCCTIME/s
FEDM[30]0.354 80.354 583
DIIVINE[31]0.574 20.609 4120
BRISQUE[32]0.656 10.628 70.9
SSEQ[33]0.434 90.393 15
CNN0.827 10.816 311
注：加粗数据为该项性能指标最优值。

从表 2中可以看出，现有的针对自然图像的无参考图像质量评价算法并不完全适用于遥感真实图像，无法在同时具有多种失真类型的遥感图像上取得较好的实验效果。这些算法都是通过手工提取特征来表征图像质量，而遥感图像主要包含噪声和模糊等失真，而这些失真会在很多图像特征上相互抑制，导致实验效果不佳。例如对于FEDM中的自由能特征，其值随着模糊程度的增加而减小，但又随着噪声程度的增加而增大，所以FEDM的效果最差。而SSEQ方法主要是计算图像块的熵，而真实遥感图像细节非常丰富，导致图像块的熵差距较小，统计特征不明显。DIIVINE和BRISQUE都是基于自然统计特性(NSS)的方法，而每组遥感图像的质量差距不大，并且遥感图像的失真类型复杂多样，各种失真类型对NSS的影响也相互作用，所以NSS的统计特性也较不明显。因此，这几种针对自然仿真图像库的无参考质量评价方法在环境星真实遥感图像库上的效果并不理想。而基于CNN的算法相对于上述几种方法，不需要手动提取特征，能够自动学习对图像有更本质刻画的特征，所以本文算法得到了较好的结果，说明该遥感图像库中的图像包含能够较好地表征图像质量的特定特征，目前还没有找出可以描述该特征的方法。基于该遥感真实图像库找出能够表示遥感真实图像质量的特征是接下来研究的重点方向。为了验证各算法性能与选取的训练集和测试集比例的关系，分别从数据库中随机选取10%、20%、30%、40%和50%作为测试集，剩余图像作为训练集，实验结果如表 3。传统机器学习算法对训练样本的数量没有很高的要求，所以本文选取的4种无参考图像质量评价算法性能并没有随着数据集比例的变化产生很大的波动。而基于卷积神经网络的算法对样本数量要求较高，测试集增大，则训练集数量减少，因此本文算法的性能有一定程度的下降，但还是优于传统算法。

表 3 不同测试集比例对各算法的LCC性能影响
Table 3 Effect of different percentage of testing set for LCC of every algorithm

下载CSV
图像质量评价算法测试集比例
10%20%30%40%50%
FEDM[30]0.354 80.396 30.375 10.399 60.400 1
DIIVINE[31]0.574 20.563 70.516 80.559 60.574 6
BRISQUE[32]0.656 10.551 20.543 00.585 80.629 0
SSEQ[33]0.434 90.468 90.389 10.423 60.366 3
CNN0.827 10.778 40.757 20.713 00.716 4
注：加粗数据为该项性能指标最优值。

3 结论

本文针对遥感图像质量评价，构建了一个基于环境星HJ-1A/1B的遥感真实图像专家库。该图像库共包含70组同一地点不同时间的共350幅遥感图像数据，并且每一幅图像有对应的主观评价质量分数，可用于遥感图像质量评价领域。通过现有的无参考图像质量评价算法和基于卷积神经网络的质量评价算法的对比，也验证了针对自然图像和仿真图像的质量评价算法并不适用于真实的遥感图像，而卷积神经网络的实验效果表明真实遥感图像具有能够较好地表征图像质量的特征，同时也体现了该遥感图像库的可利用价值。接下来将基于该遥感真实图像库对遥感图像质量评价进行进一步研究。本文的数据是分辨率较低的环境星真实遥感图像，如今，中国高分辨率卫星不断升空，也产生了越来越多的高分辨率图像，获取并对这些高分辨率遥感图像质量进行研究是下一步的目标。

参考文献

  • [1] Sheikh H R, Bovik A C. Image information and visual quality[J]. IEEE Transactions on Image Processing, 2006, 15(2): 430–444. [DOI:10.1109/TIP.2005.859378]
  • [2] Tong Y B, Konik H, Cheikh F, et al. Full reference image quality assessment based on saliency map analysis[J]. Journal of Imaging Science and Technology, 2010, 54(3): #30503. [DOI:10.2352/J.ImagingSci.Technol.2010.54.3.030503]
  • [3] Mocanu D C, Exarchakos G, Ammar H B, et al.Reduced reference image quality assessment via Boltzmann Machines[C]//IFIP/IEEE International Symposium on Integrated Network & Service Management.Ottawa, ON, Canada: IEEE, 2015: 1278-1281.[DOI: 10.1109/INM.2015.7140481]
  • [4] Hou W L, He L H, Gao F. Reduced-reference image quality assessment based on fuzzy classification[J]. Journal of Xidian University, 2013, 40(5): 200–204. [侯伟龙, 何立火, 高飞. 部分参考型图像质量的模糊分类评价[J]. 西安电子科技大学学报:自然科学版, 2013, 40(5): 200–204. ] [DOI:10.3969/j.issn.1001-2400.2013.05.032]
  • [5] Hou WL, Gao X B, Tao D C, et al. Blind image quality assessment via deep learning[J]. IEEE Transactions on Neural Networks and Learning Systems, 2015, 26(6): 1275–1286. [DOI:10.1109/TNNLS.2014.2336852]
  • [6] Sun T, Zhu X J, Pan J S, et al.No-reference image quality assessment in spatial domain[C]//Proceeding of the Eighth International Conference on Genetic and Evolutionary Computing.Cham: Springer, 2015: 381-388.[DOI: 10.1007/978-3-319-12286-1_39]
  • [7] Wang Z, Bovik A C. A universal image quality index[J]. IEEE Signal Processing Letters, 2002, 9(3): 81–84. [DOI:10.1109/97.995823]
  • [8] Avcibas I, Sankur B, Sayood K. Statistical evaluation of image quality measures[J]. Journal of Electronic Imaging, 2002, 11(2): 206–223. [DOI:10.1117/1.1455011]
  • [9] Wang Z, Bovik A C, Sheikh H R, et al. Image quality assessment:from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600–612. [DOI:10.1109/TIP.2003.819861]
  • [10] Webster A A, Jones C T, Pinson M H, et al.Objective video quality assessment system based on human perception[C]//Proceedings Volume 1913, Human Vision, Visual Processing, and Digital Display Ⅳ. San Jose, CA, United States: SPIE, 2001: 15-26.[DOI: 10.1117/12.152700]
  • [11] IRARS Committee.Civil NⅡRS reference guide[DB/OL].[2017-10-25] http://www.fas.org/irp/imint/niirs_c/guide.htm.2017.9.29
  • [12] Leachtenauer J C, Malila W, Irvine J, et al. General image-quality equation:GIQE[J]. Applied Optics, 1997, 36(32): 8322–8328. [DOI:10.1364/AO.36.008322]
  • [13] Shao Y, Sun F C, Li H B. No-reference remote sensing image quality assessment method using visual properties[J]. Journal of Tsinghua University:Science & Technology, 2013, 53(4): 550–555. [邵宇, 孙富春, 李洪波. 基于视觉特性的无参考型遥感图像质量评价方法[J]. 清华大学学报:自然科学版, 2013, 53(4): 550–555. ] [DOI:10.16511/j.cnki.qhdxxb.2013.04.014]
  • [14] Zhang F Y, Xie W, Lin L Y, et al. No-reference remote sensing image quality assessment based on natural scene statistical in wavelet domain[J]. Journal of Electronics & Information Technology, 2011, 33(11): 2742–2747. [张飞艳, 谢伟, 林立宇, 等. 基于小波域自然影像统计特性的无参考遥感影像质量评价[J]. 电子与信息学报, 2011, 33(11): 2742–2747. ] [DOI:10.3724/SP.J.1146.2011.00491]
  • [15] Wang J C, Ye Y X, Shen L, et al.Research on relationship between remote sensing image quality and performance of interest point detection[C]//IEEE International Geoscience and Remote Sensing Symposium.Milan, Italy: IEEE, 2015: 545-548.[DOI: 10.1109/IGARSS.2015.7325821]
  • [16] Shao Y, Sun F C, Li H B.A no-reference remote sensing image quality assessment method using visual information fidelity index[C]//Proceedings of 2013 Chinese Intelligent Automation Conference.Berlin, Heidelberg: Springer, 2013: 325-332.
  • [17] He Z X, Wang M F, Yang S H, et al. Research on objective quality assessment of remote sensing image[J]. Journal of Engineering Graphics, 2011, 32(6): 47–52. [何中翔, 王明富, 杨世洪, 等. 遥感图像客观质量评价方法研究[J]. 工程图学学报, 2011, 32(6): 47–52. ] [DOI:10.3969/j.issn.1003-0158.2011.06.009]
  • [18] Sheikh H R, Wang Z, Cormack L, et al.LIVE image quality assessment database release 2[DB/OL].http://live.ece.utexas.edu/research/quality.
  • [19] Wang Z, Bovik A C. Mean squared error:love it or leave it? A new look at signal fidelity measures[J]. IEEE Signal Processing Magazine, 2009, 26(1): 98–117. [DOI:10.1109/MSP.2008.930649]
  • [20] Yang X C, Sun Q S, Wang T S. A usability-based subjective remote sensing image quality assessment database[J]. Signal, Image and Video Processing, 2017, 11(4): 697–704. [DOI:10.1007/s11760-016-1012-4]
  • [21] Jin Y, Zhang Y, Niu Z C, et al. The feasibility application of environmental satellite HJ-1 CCD data in ecological environmental monitoring and assessment[J]. Environmental Monitoring and Forewarning, 2010, 2(4): 29–35. [金焰, 张咏, 牛志春, 等. 环境一号卫星CCD数据在生态环境监测和评价工作中的应用价值研究[J]. 环境监控与预警, 2010, 2(4): 29–35. ] [DOI:10.3969/j.issn.1674-6732.2010.04.009]
  • [22] [中国航天.中国资源卫星应用中心[DB/OL].http://www.cresda.com/CN/index.shtml.2017.9.30]
  • [23] Zhang G J, Chen Q, Sun Q S. Illumination normalization among multiple remote-sensing images[J]. IEEE Geoscience and Remote Sensing Letters, 2014, 11(9): 1470–1474. [DOI:10.1109/LGRS.2013.2295794]
  • [24] Ke Y, Sukthankar R.PCA-SIFT: a more distinctive representation for local image descriptors[C]//Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Washington: IEEE, 2004: 506-513.[DOI: 10.1109/CVPR.2004.1315206]
  • [25] Bay H, Tuytelaars T, Van Gool L.SURF: speeded up robust features[C]//Proceedings of the 9th European Conference on Computer Vision.Graz, Austria: Springer, 2006: 404-417.[DOI: 10.1007/11744023_32]
  • [26] Luo N, Sun Q S, Chen Q, et al. Image matching algorithm combining SURF feature point and DAISY descriptor[J]. Computer Scrence, 2014, 41(11): 286–290. [罗楠, 孙权森, 陈强, 等. 结合SURF特征点与DAISY描述符的图像匹配算法[J]. 计算机科学, 2014, 41(11): 286–290. ] [DOI:10.11896/j.issn.1002-137X.2014.11.056]
  • [27] Zhang Y Y, Zhao D, Sun J D, et al. Adaptive convolutional neural network and its application in face recognition[J]. Neural Processing Letters, 2016, 43(2): 389–399. [DOI:10.1007/s11063-015-9420-y]
  • [28] Garcia-Garcia A, Gomez-Donoso F, Garcia-Rodriguez J, et al.PointNet: A 3D convolutional neural network for real-time object class recognition[C]//Proceeding of International Joint Conference on Neural Networks.Vancouver, BC, Canada: IEEE, 2016: 1578-1584.[DOI: 10.1109/IJCNN.2016.7727386]
  • [29] Fu J, Wang H L, Zuo L X.Blind image quality assessment for multiply distorted images via convolutional neural networks[C]//IEEE International Conference on Acoustics, Speech and Signal Processing.Shanghai, China: IEEE, 2016: 1075-1079.[DOI: 10.1109/ICASSP.2016.7471841]
  • [30] Kang L, Ye P, Li Y, et al.Convolutional neural networks for no-reference image quality assessment[C]//Proceeding of Conference on Computer Vision and Pattern Recognition.Columbus: IEEE, 2014: 1733-1740.[DOI: 10.1109/CVPR.2014.224]
  • [31] Zhai G T, Wu X L, Yang X K, et al. A psychovisual quality metric in free-energy principle[J]. IEEE Transactions on Image Processing, 2012, 21(1): 41–52. [DOI:10.1109/TIP.2011.2161092]
  • [32] Moorthy A K, Bovik A C. Blind image quality assessment:from natural scene statistics to perceptual quality[J]. IEEE Transactions on Image Processing, 2011, 20(12): 3350–3364. [DOI:10.1109/TIP.2011.2147325]
  • [33] Mittal A, Moorthy A K, Bovik A C. No-Reference image quality assessment in the spatial domain[J]. IEEE Transactions on Image Processing, 2012, 21(12): 4695–4708. [DOI:10.1109/TIP.2012.2214050]
  • [34] Liu L X, Liu B, Huang H, et al. No-reference image quality assessment based on spatial and spectral entropies[J]. Signal Processing:Image Communication, 2014, 29(8): 856–863. [DOI:10.1016/j.image.2014.06.006]
  • [35] Tola E, Lepetit V, Fua P. DAISY:An Efficient Dense Descriptor Applied to Wide-Baseline Stereo[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(5): 815–830. [DOI:10.1109/TPAMI.2009.77]