Print

发布时间: 2016-10-25
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.20161003
2016 | Volumn 21 | Number 10




    图像处理和编码    




  <<上一篇 




  下一篇>> 




非下采样四元数剪切波变换域的图像融合
expand article info 殷明, 段普宏, 褚标, 梁翔宇
合肥工业大学数学学院, 合肥 230009
收稿日期: 2016-04-11; 修回日期: 2016-06-11
基金项目: 国家自然科学基金项目（11172086）；安徽省自然科学基金项目（1308085MA09）；安徽省教育厅自然科学研究重点基金项目（KJ2013A216）
第一作者简介: 殷明(1962-),男,教授,2012年于合肥工业大学获计算机技术专业博士学位,主要研究方向为小波分析及图像处理等。E-mail:ymhfut@126.com
中图法分类号: TP301.6
文献标识码: A
文章编号: 1006-8961(2016)10-1289-09

摘要

目的 由于一些光学镜头聚焦范围的有限性，很难对同一场景中所有物体都清晰地成像在一幅图像中，而将同一场景中的多幅源图像进行融合可以得到一幅全景更加清晰的图像,为了增强融合图像的质量，提出了一种新的非下采样四元数剪切波变换（NSQST）的图像融合算法。 方法 首先将源图像经过NSQST分解得到低频子带系数和高频子带系数；其次，对低频子带，提出了一种改进的稀疏表示（ISR）的融合规则；对于高频子带，提出一种改进的空间频率、边缘能量和局部区域相似匹配度相结合的融合规则；最后通过NSQST逆变换得到融合图像。 结果 与其他5种融合方法进行对比，本文方法获得了较好的客观指标和视觉效果，其中与NSCT-SR算法相比，本文方法获得的4个客观指标分别提高了3.6%、2.9%、1.5%、5.2%，3.7%、3.2%、3.2%、3.0%和6.2%、3.8%、3.4%、8.6%。 结论 通过多聚焦图像进行融合实验，实验结果表明该方法可进一步应用于目标识别、医学诊断等领域。

关键词

非下采样四元数剪切波变换; 多聚焦图像融合; 稀疏表示; 改进的空间频率

Image fusion based on non-subsampled quaternion shearlet transform
expand article info Yin Ming, Duan Puhong, Chu Biao, Liang Xiangyu
School of Mathematics, Hefei University of Technology, Hefei 230009, China
Supported by: National Natural Science Foundation of China (11172086); Natural Science Foundation of Anhui Province, China (1308085MA09)

Abstract

Objective Obtaining an image that contains all objects in focus is difficult because of limited depth of focus of optical lenses. Image fusion target aims to generate a sharper image by integrating complementary information from multiple source images of the same scene. To improve fused-image quality, a novel algorithm based on non-subsampled quaternion shearlet transform (NSQST) is proposed in this paper. Method First, source images are decomposed by NSQST to obtain low- and high-frequency sub-band coefficients. For low-frequency sub-band coefficients, improved sparse representation-based fusion rule is presented; then, for high-frequency sub-band coefficients, a scheme that combines new, improved spatial frequency, edge energy, and local similarity-matched degree is presented. Finally, a fused image is obtained by performing inverse NSQST. Results The proposed method can obtain better visual effects and objective evaluation criteria compared with other five fusion methods. Fusion quality indexes have increased by 3.6%, 2.9%, 1.5%, 5.2%, 3.7%, 3.2%, 3.2%, 3.0%, 6.2%, 3.8%, 3.4%, and 8.6% compared with the result of the NSCT-SR method. Conclusion A multi-focus image is used in our experiment, and experimental results show that this method can be further applied in target recognition, medical diagnosis, and other fields.

Key words

non-subsampled quaternion shearlet transform; multi-focus image fusion; sparse representation; improved spatial frequency

0 引言

多聚焦图像融合是把来自于同一场景中聚焦目标不同的多幅图像有效地合成一幅高质量图像的过程。融合后的图像比单一图像更加全面、清晰地反映了场景中的信息，有助于肉眼观察和计算机处理等工作。图像融合技术已经广泛应用于计算机视觉、军事和医学诊断等多个领域。

目前图像融合算法大致分为两类：一类是在空间域进行的融合算法[1]，直接利用图像中像素进行取大、取小以及加权求和等操作，这类方法容易出现细节信息丢失、边缘模糊不清、对比度降低等现象；第二类是在变换域中进行的融合算法[2-3]，其中比较常用的是基于多尺度变换的融合方法，主要包括梯度金字塔变换、拉普拉斯金字塔变换、小波变换和多尺度变换等。但由于传统小波变换的方向性有限，不能有效地表示图像的轮廓、边缘、线等高维特征信息，并且它还不具有平移不变性，使得融合的图像出现伪吉布斯现象。Contourlet变换[4]虽然拥有较好的方向选择性和各向异性，但是它仍不具有平移不变性，导致子带存在频谱混叠现象。为了解决这一缺点，Cunha等人[5]提出了非下采样轮廓波变换 (NSCT)，其后被广泛应用于图像融合中[6]，取得相对较好的效果，但计算复杂度高。于是Easley等人[7]提出了平移不变剪切波变换 (SIST)，它拥有更高的计算效率，被广泛应用于图像处理[8]中。然而SIST中非下采样金字塔变换的冗余度为2J(J为分解尺度)，随着尺度的增加算法冗余度越高。

由于四元数小波[9](QWT)的冗余度为常数4，不会随着尺度的增加而增大，且拥有丰富的相位信息和近似的平移不变性等优点。自然地，我们想到通过将SIST中平移不变剪切波滤波器组(SF)和QWT结合起来构造一种新的多尺度图像表示方法，即非下采样四元数剪切波变换(NSQST)。因此NSQST拥有了QWT和SIST的主要优点。将NSQST用于多聚焦图像融合中，从而可以很好地表示图像细节信息和纹理特征等。其次，融合规则对融合图像的质量也起着重要的作用。近年来，由于稀疏表示[10]( SR)拥有良好的稀疏能力，于是人们将SR应用到图像融合中，如2012年，Li等人[11]将SR应用在医学图像的融合及去噪中，有效地改善了融合图像的质量。但此算法在单尺度下直接对源图像进行稀疏融合，而图像在不同尺度和方向下通常表示不同的特征信息，从而导致融合图像中边缘等细节信息变得模糊。于是，为了解决这一缺点，2013年，Yan等人[12]将SR和小波变换结合应用在图像去噪中。随后，2015年，Liu等人[13]将这一思想应用于图像融合中。但文献[13]中低频的SR在选择稀疏系数时采用的是范数取最大值规则，只是根据单个指标来选择，容易丢失图像的部分信息。因此，提出了一种改进的稀疏表示(ISR)，即将S函数引入到SR中，并结合稀疏系数的改进的拉普拉斯能量和11范数双指标来自适应地选择稀疏系数。

由以上分析，结合NSQST和SR的各自的优点，提出了一种NSQST和SR的多聚焦图像融合算法。对低频子带系数，先对其进行稀疏表示，再结合区域加权能量、11范数和S函数选取稀疏表示后的低频系数；对高频系数，通过一种新的改进的空间频率和边缘能量双指标来提取图像的特征，再利用局部区域相似匹配度来选择高频系数。最后利用NSQST逆变换得到融合图像。

1 NSQST原理

1.1 QWT

QWT是一种新的多尺度图像分析工具，它是四元数代数、实小波和2维Hilbert变换相结合而形成的。它是利用4个DWT而构成的。其中，第1个DWT为QWT的实部；第2~4个DWT分别对应QWT的3个虚部，是由第1个DWT经过Hilbert变换所得到的。更多有关QWT具体的过程可参考文献[9]。

1.2 NSQST

NSQST是通过级联QWT和SF，得到一种新的多尺度几何变换。其具体实现步骤为：1）利用QWT对图像进行多尺度剖分，去获得一个实部和3个虚部子带。2）对每个虚部进行方向局部化。先将标准的SF从伪极化坐标系统映射到笛卡儿坐标系统；再利用“Meyer”小波函数构造窗函数生成SF；然后将虚部子带系数与窗函数进行2维卷积；最后通过逆离散傅里叶变换得到NSQST的高频方向子带。与SIST相比较，NSQST有两个优点：一是将SIST中非下采样金字塔滤波器替换为QWT的分解结构，从而将原来的1个高频子带替换为12个不同的方向子带，因此NSQST能够高效地表达图像中丰富的细节信息和纹理特征等；二是非下采样金字塔变换的冗余度为2J(J为分解尺度)，而QWT的冗余度为4，因此随着尺度的增加，NSQST的冗余度与SIST相比会越来越小。图 1是NSQST的分解结构示意图。



图 1 NSQST的分解结构示意图
Fig. 1 The decomposition diagram of NSQST

2 稀疏表示的基本理论

稀疏表示[10]是将原始信号用过完备字典中少量的非零原子线性组合来表示，即对一信号$x\in {{\text{R}}^{n}}$，可以在过完备字典$D\in {{R}^{n\times m}}(n＜m)$下表示为$x\approx D\alpha (\alpha \in {{R}^{m}})$，α为稀疏信号。但由于字典是过完备的，从而有许多可行的方法来表示原信号，稀疏表示的目标是在过完备字典中寻找最少的非零原子来表示原始信号。因此稀疏表示模型可表示为：

$\alpha =\text{arg}\ \underset{\operatorname{a}}{\mathop{\text{min}}}\,{{\left\| \alpha \right\|}_{0}}\quad \text{s}\text{.t}\text{.}\quad {{\left\| x-D\alpha \right\|}_{2}}＜\varepsilon $ (1)

式中，$\left\| \cdot \right\|$表示10范数，常数ε为误差。可以看出，式(1) 是一个NP-hard问题，为了解决这个问题，人们提出了许多算法：匹配追踪算法[14]、基追踪算法[15]和正交匹配追踪算法[16](OMP)等等。其中，由于基追踪算法复杂度相对较高以及匹配追踪算法原子相互之间不正交等缺点，使得两种算法逐渐地不能满足许多需求；而OMP能有效克服这两个缺点，并能达到最优收敛，从而成为目前使用较广泛的一种稀疏分解方法。因此，本文采用OMP来稀疏表示图像。而过完备字典D决定信号的稀疏能力，因此如何设计一个过完备字典成为稀疏表示的一个关键问题，当前主要有两类常用的过完备字典：一类是基于解析方法获得的字典，如离散余弦变换、曲线波和轮廓波等，通过这种方法获得的字典主要依赖信号本身特点，适应性差；另一类是通过训练样本来获得过完备字典，这种方法获得的字典初始结构不固定，而在训练中产生适应信号的结构，具有很好的适应性。由于图像属于2维信号，拥有复杂的特征，因此本文采用图像样本集来训练字典。

3 基于NSQST和改进的稀疏表示的图像融合算法

3.1 基本框架

假设源图像都是已经经过几何配准处理的，那么本文融合框架如图 2所示,具体如下：



图 2 图像融合的算法框架图
Fig. 2 The framework of the proposed image fusion algorithm

1）利用NSQST对源图像进行分解，得到低频子带和高频子带。

2）对低频子带系数采用改进的稀疏表示进行融合，即利用基于低频样本学习的训练字典对其进行稀疏表示，再对稀疏后的系数利用区域加权能量和10范数双指标提取信息，随后采用S函数自适应地选择低频子带系数。

3）对高频子带系数，利用新的改进的空间频率和边缘能量双指标来提取高频子带特征信息，再结合局部区域相似匹配度来选择融合后的子带。

4）对处理后的低频和高频系数进行NSQST逆变换，得到最终的融合图像。

3.2 低频融合规则

源图像经NSQST分解得到的低频系数，包含了源图像的大部分能量，是源图像的近似部分。但当前在低频系数的融合处理上大多采用平均规则[17]，虽然该方法实现比较简单，但是它却影响融合后图像的质量，降低了图像的视觉效果。本文通过随机采样的低频样本图像构造训练字典，再利用训练字典对低频子带进行稀疏表示，从而得到相应的低频稀疏系数。在文献[13]中只考虑低频系数中单个像素的特征，而没有考虑像素之间的相关性，从而降低了融合图像的视觉效果；文献[18]中对稀疏表示系数采用基于空间频率取大的规则，只是基于单个指标来来提取特征，不够全面。鉴于此，本文对稀疏表示系数提出了区域加权能量和10范数双指标来提取信息，再通过S函数自适应地选择融合后的系数。

区域加权能量定义为

$ME(i,j)=\frac{1}{M\times N}\sum\limits_{i=1}^{M}{\sum\limits_{j=1}^{N}{w(i,j){{L}^{2}}(i,j)}}$ (2)

这里Li,j表示在(i,j)处的低频系数，w表示权值矩阵，取值为

$w=\frac{1}{16}\left[ \begin{matrix} 1 & 2 & 1 \\ 2 & 4 & 2 \\ 1 & 2 & 1 \\ \end{matrix} \right]$ (3)

具体的低频融合规则如下:

1) 利用步长为1的滑动窗对低频子带${{L}_{k}}\text{(}k\text{=A,B)}$进行分块得到低频子带块$\text{ }\!\!\{\!\!\text{ }Z_{A}^{i}\text{ }\!\!\}\!\!\text{ }_{i=\text{1}}^{N}$和$\text{ }\!\!\{\!\!\text{ }Z_{B}^{i}\text{ }\!\!\}\!\!\text{ }_{i=\text{1}}^{N}$，N为总的块数，然后将低频子带块排列成列向量$\text{ }\!\![\!\!\text{ }{{Z}_{\text{A}}},{{Z}_{\text{B}}}\text{ }\!\!]\!\!\text{ }$。

2) 从列向量$\text{ }\!\![\!\!\text{ }{{Z}_{\text{A}}},{{Z}_{\text{B}}}\text{ }\!\!]\!\!\text{ }$中随机选取部分样本构成样本集，再用K-SVD算法[19]训练样本集获得过完备字典D。

3) 通过字典D和OMP算法计算稀疏系数${{R}_{k}}\text{(}k\text{=A,B)}$。

4) 利用区域加权能量、11范数和S函数选取融合后的稀疏系数，即

${{R}_{\text{F}}}\text{(}i,j\text{)}=\omega \text{(}i,j\text{)}{{R}_{A}}\text{(}i,j\text{)}+\text{(}1-\omega \text{(}i,j\text{))}{{R}_{B}}\text{(}i,j\text{)}$ (4)

式中，$\omega (i,j)$表示权值，$\omega (i,j)$由S函数确定，本文提出改进的S函数为

$\omega (i,j)=\frac{{{t}^{k}}}{1+{{t}^{k}}}$ (5)

式中，k为S函数的收缩因子且大于1，根据大量实验得出，k取5时取得较好的结果，因此本文设置为5。

$t=\frac{M{{E}^{\text{A}}}\text{(}i,j\text{)}\cdot {{\left\| {{\operatorname{R}}_{\text{A}}} \right\|}_{1}}}{M{{E}^{\text{B}}}\text{(}i,j\text{)}\cdot {{\left\| {{\operatorname{R}}_{\text{B}}} \right\|}_{1}}}$ (6)

式中，$M{{E}^{k}}\text{(}i,j\text{)(}k=\text{A,B)}$表示低频稀疏子带块的区域加权能量，${{\left\| {{\operatorname{R}}_{k}} \right\|}_{1}}\text{(}k\text{=A,B)}$表示低频稀疏子带块的11范数。从改进的S函数可以看出，当t趋向于0时，$\omega (i,j)$趋向于0，此时融合后的系数主要来自于图像B的低频；当t远大于1时，$\omega (i,j)$趋向于1，此时融合后的系数主要来自于图像A的低频；当t趋向于1时，$\omega (i,j)$趋向于1/2，此时相当于取平均。因此，$\omega (i,j)$可以根据低频系数的特征自适应地选择相应的权值，克服了传统上单个特征取大的缺点。

5) 将融合后的稀疏系数RF按相应的位置转化为融合后的低频子带系数LF。

3.3 高频融合规则

高频子带系数包含了源图像中许多的细节信息，如边缘、纹理、曲线等特征信息。但由于传统的高频子带的融合方法大多采用“绝对值取大”，导致源图像中冗余信息丢失和引入了人工信息等缺点。图像局部区域的空间频率反映了图像的总体活跃度，且图像的局部区域加权边缘能量 (EOE) 可以很好地反映图像中边缘信息，同时还可以表征图像的微小细节反差。因此本文对高频系数提出了基于边缘能量、改进的空间频率和局部区域相似匹配度相结合的融合规则。但传统的空间频率只考虑了图像的行频率和列频率，不能充分反映图像的特征信息。本文中改进的空间频率在原有的基础上考虑了两个对角的频率。其具体表达式为

$MSF=\frac{1}{M\times N}\sum\limits_{i=1}^{M}{\sum\limits_{j=1}^{N}{(RF+CF+MDF+SDF)}}$ (7)

$\left\{ \begin{align} & RF={{[H(i,j)-H(i,j-1)]}^{2}} \\ & CF={{[H(i,j)-H(i-1,j)]}^{2}} \\ & MDF={{{[H(i,j)-H(i-1,j-1)]}^{2}}}/{\sqrt{2}}\;+ \\ & \quad \quad \quad {{{[H(i,j)-H(i+1,j+1)]}^{2}}}/{\sqrt{2}}\; \\ & MDF={{{[H(i,j)-H(i-1,j+1)]}^{2}}}/{\sqrt{2}}\;+ \\ & \quad \quad \quad {{{[H(i,j)-H(i+1,j-1)]}^{2}}}/{\sqrt{2}}\; \\ \end{align} \right.$ (8)

式中，H(i,j)表示在(i,j)处的高频系数。

具体的高频融合规则如下：

1) 计算源图像A、B高频的局部区域加权边缘能量得到EOEA和EOEB，即

$EO{{E}^{l,k}}\text{(}i,j\text{)}=\sum\limits_{i,j\in \operatorname{D}}{w\text{(}i,j\text{)}}L{{E}^{l,k}}\text{(}i,j\text{)}$ (9)

这里D表示3×3的滑动窗口，ω为权重因子，取为

$\omega =\frac{1}{16}\left[ \begin{matrix} 1 & 2 & 1 \\ 2 & 4 & 2 \\ 1 & 2 & 1 \\ \end{matrix} \right]$ (10)

LE的定义为

$\begin{align} & L{{E}^{l,k}}\text{(}i,j\text{)}={{\text{(}{{E}_{1}}*{{H}^{l,k}}\text{(}i,j\text{))}}^{2}}+ \\ & {{\text{(}{{E}_{2}}*{{H}^{l,k}}\text{(}i,j\text{))}}^{2}}+{{\text{(}{{E}_{3}}*{{H}^{l,k}}\text{(}i,j\text{))}}^{2}} \\ \end{align}$ (11)

其中Hl,k(i,j)表示l尺度k方向的高频系数，Ek(k=1,2,3)为方向滤波算子。

${{E}_{1}}=\left[ \begin{matrix} -1 & -1 & -1 \\ 2 & 2 & 2 \\ -1 & -1 & -1 \\ \end{matrix} \right],{{E}_{2}}=\left[ \begin{matrix} -1 & 2 & -1 \\ -1 & 2 & -1 \\ -1 & 2 & -1 \\ \end{matrix} \right],{{E}_{3}}=\left[ \begin{matrix} -1 & 0 & -1 \\ 0 & 4 & 0 \\ -1 & 0 & -1 \\ \end{matrix} \right]$ (12)

2) 利用式(7) 计算图像A、B高频的改进的局部区域空间频率得到MSFA和MSFB。

3) 计算两幅源图像高频子带的局部区域相似匹配度，即

$M(i,j)=\frac{2\sum\limits_{a=-1}^{1}{\sum\limits_{b=-1}^{1}{\left| {{T}_{A}}(i+a,j+b){{T}_{B}}(i+a,j+b) \right|}}}{\sum\limits_{a=-1}^{1}{\sum\limits_{b=-1}^{1}{{{\left| {{T}_{A}}(i+a,j+b) \right|}^{2}}+\sum\limits_{a=-1}^{1}{\sum\limits_{b=-1}^{1}{{{\left| {{T}_{B}}(i+a,j+b) \right|}^{2}}}}}}}$ (13)

式中，M(i,j)表示高频子带对应位置特征的相似程度，取值为0~1。值越大，则表明对应位置相似度越大；反之，值越小，则表示对应位置的相似程度越小。其中对应位置的特征取为

$\left\{ \begin{align} & {{T}_{A}}(i,j)=MS{{F}_{A}}(i,j)\cdot EO{{E}_{A}}(i,j) \\ & {{T}_{B}}(i,j)=MS{{F}_{B}}(i,j)\cdot EO{{E}_{B}}(i,j) \\ \end{align} \right.$ (14)

4) 计算高频的融合系数。设T为预设的临界匹配度阈值,若M(i,j)＜T，表示两个区域的相似度很小，则融合后的高频系数为

${{H}_{F}}(i,j)=\left\{ \begin{align} & {{H}_{A}}(i,j)\quad {{T}_{A}}(i,j)\ge {{T}_{B}}(i,j) \\ & {{H}_{B}}(i,j)\quad {{T}_{A}}(i,j)＜{{T}_{B}}(i,j) \\ \end{align} \right.$ (15)

否则

${{H}_{\text{F}}}\text{(}i,j\text{)}=\left\{ \begin{align} & v(i,j){{H}_{A}}(i,j)+(1-v(i,j)){{H}_{B}}(i,j) \\ & \quad \quad {{T}_{A}}(i,j)\ge {{T}_{B}}(i,j) \\ & \text{(}1-v\text{(}i,j)\text{)}{{H}_{A}}(i,j)+v(i,j){{H}_{B}}(i,j) \\ & \quad \quad {{T}_{A}}(i,j)＜{{T}_{B}}(i,j) \\ \end{align} \right.$ (16)

式中，HF(i,j)表示融合后的高频系数，Hk(k=A,B)表示高频子带，其中权值定义为

$v(i,j)=\frac{1}{2}+\frac{1-M(i,j)}{2(1-T)}$ (17)

式中，M(i,j)为高频子带的相似度，v(i,j)表示权值，它会根据两个高频子带之间匹配度的不同而动态地选择加权平均法。T为预设的阈值(通常取为0.5~1)，从式(17) 可以看出，随着T值的增加，权值逐渐趋向于0.5，这时相当于传统的平均值法。本文T值主要参考文献[20]，取为0.85。

4 实验结果和性能分析

为了检验本文所提图像融合算法的融合性能，选取了3对多聚焦图像进行融合实验。为了进行比较，将本文提出的方法与另外5种融合方法进行了对比。方法1、方法2和方法3分别选用DWT、QWT和SIST作为多尺度分解工具 (分别记为DWT-SR、QWT-SR和SIST-SR)，其低频和高频融合规则与本文一致；方法4采用基于SR的融合算法[10] (记为SR)，直接对源图像进行稀疏融合，不引入多尺度变换；方法五采用文献[13]中的方法 (记为NSCT-SR)，将SR引入到NSCT的低频中，而高频利用绝对值取大的融合规则，然后从主观和客观两个方面进行对比分析。为了客观评价多聚焦图像的融合效果，本文选用互信息[21] (MI)、边缘信息保留量[21] QAB/F、平均梯度[21] (AG)和QE[22] 4个指标作为客观评价指标。MI表示融合后的图像从源图像中提取的信息量；QAB/F衡量源图像中转移到融合后图像的边缘信息量大小；AG表示融合图像的清晰度；QE用来度量融合图像中边缘的信息量；MI、QAB/F、AG和QE 4个指标的值越大就说明融合效果越好。实验的环境都是在Matlab R2014a上运行，电脑的配置为2.27 GHz主频，Corei3处理器，2 G内存，500 G硬盘。图像分块的大小为8×8 像素，字典大小为64×256 像素。

图 3-图 5为3对多聚焦图像(“Pesi”、“Clock”、“Lab”)通过6种不同方法融合得到的实验结果图。从主观视觉来看，这几种方法都可以实现融合的目的，但由于不同的多尺度分解工具和融合规则，使得融合后的质量也不一样。在利用DWT-SR的融合方法中，融合后的图像变得模糊，出现失真现象，这是由于DWT进行了下采样操作，使得子带出现频谱混叠现象；而QWT-SR融合方法相对于DWT-SR方法融合图像就变得清晰，因为QWT具有近似平移不变性和丰富的相位信息，但QWT分解的方向数有限，不能很好地表达图像的细节信息；文献[10]中的方法，由于没有引入多尺度分解工具，导致融合图像出现边缘模糊，不能清晰地显示图像的轮廓；文献[13]中的方法将NSCT和SR结合，使得融合图像边缘变得清晰，但是由于融合规则的不足，降低了融合图像的对比度；虽然结合SIST和本文所提的融合规则提高了融合图像的视觉效果，但由于SIST不是最优的多尺度分解工具，融合效果仍然不理想；本文算法采用新的多尺度分解工具NSQST，再利用提出的融合规则，使得融合图像的边缘更清晰、细节信息更加丰富，有效地改善了多聚焦图像融合的质量。



图 3 不同方法对“Pesi”多聚焦图像融合的实验结果图
Fig. 3 Fusion results of “Pesi” multi-focus images using different methods ((a) left focus image; (b) right focus image; (c) fusion result of the DWT-SR; (d) fusion result of the QWT-SR; (e) fusion result of the SIST-SR; (f) fusion result of the NSCT-SR; (g) fusion result of the SR; (h) fusion result of our method)



图 4 不同方法对“Clock”多聚焦图像融合的实验结果图
Fig. 4 Fusion results of “Clock” multi-focus images using different methods ((a) left focus image; (b) right focus image; (c) fusion result of the DWT-SR; (d) fusion result of the QWT-SR; (e) fusion result of the SIST-SR; (f) fusion result of the NSCT-SR; (g) fusion result of the SR; (h) fusion result of our method)



图 5 不同方法对“Lab”多聚焦图像融合的实验结果图
Fig. 5 Fusion results of “Lab” multi-focus images using different methods ((a) left focus image; (b) right focus image; (c) fusion result of the DWT-SR; (d) fusion result of the QWT-SR; (e) fusion result of the SIST-SR; (f) fusion result of the NSCT-SR; (g) fusion result of the SR; (h) fusion result of our method)

其次，从客观上来分析不同融合算法的效果。从表 1可以看出，本文提出的多尺度分解方式和融合策略取得的融合效果最好，因为通过实验取得的MI、QAB/F、AG和QE 4个客观指标都是最高，这也与主观视觉效果一致。再通过DWT-SR、QWT-SR、SIST-SR和本文算法(NSQST-SR)的客观数据进行对比，由于这几种方法的融合规则一致，仅仅图像分解工具不同，但基于NSQST方法获得的客观指标要略高于其他的小波变换，从而也验证了本文构造的NSQST要优于其他小波变换的融合方法，能够更好地提取源图像中的有效信息。因此本文提出的融合算法能够获得更好的实现多聚焦图像的融合。此外，通过表 1的算法运行时间可以看出，本文算法的运行时间要低于文献[13]中算法运行时间；与DWT-SR、QWT-SR和SIST-SR相比较，本文算法的运行时间较长，但是却提高了融合图像的质量。

表 1 不同方法处理3组多聚焦图像的客观指标
Table 1 The objective assessment of the multi-focus images using different methods

下载CSV
图像评价标准DWT-SRQWT-SRSIST-SRNSCT-SR[13]SR[10]本文
Pesi(256×256像素)MI7.203 47.724 68.157 57.942 77.970 68.225 9
QAB/F0.682 60.718 80.736 40.724 60.734 80.745 4
AG3.607 13.808 74.054 44.004 03.967 04.061 5
QE0.502 70.571 20.610 70.596 00.612 00.627 1
时间/s22.978 748.516 990.778 5204.778 697.821 8125.940 9
Clock(256×256像素)MI6.972 37.479 58.13157.973 58.096 78.263 9
QAB/F0.663 80.702 50.73020.716 90.723 60.739 6
AG4.663 45.223 15.50335.405 45.465 25.577 8
QE0.506 30.554 60.58890.574 30.564 50.591 4
时间/s24.164 350.685 288.385 8205.395 1102.811 5121.960 8
Lab(240×320像素)MI7.243 57.587 48.159 07.824 97.671 88.309 4
QAB/F0.692 10.728 50.745 50.729 80.720 30.757 3
AG4.521 94.791 45.045 14.981 54.902 85.148 7
QE0.521 30.576 90.683 90.640 60.629 40.695 3
时间/s25.159654.358 192.869 6218.128 6112.049 8130.012 2

5 结论

通过级联QWT和SF，本文构造了一种新的多尺度分解工具NSQST。NSQST作为一种新的图像分解工具，可以在不同尺度多个方向上描述图像，能捕获源图像更加丰富的边缘细节和纹理信息。然后结合本文所提的融合规则，将其应用在多聚焦图像融合中。通过实验验证，本文所提的融合算法在视觉效果和客观指标上更好地实现了多聚焦图像的融合。由于本文算法的运行时间相对较长，所以下一步工作主要是减少算法的运行时间以及将本文算法应用于彩色多聚焦图像的融合中。

参考文献

  • [1] Huang W, Jing Z L. Evaluation of focus measures in multi-focus image fusion[J]. Pattern Recognition Letters , 2007, 28 (4) : 493–500. DOI:10.1016/j.patrec.2006.09.005]
  • [2] Li W, Zhu X F. An image fusion algorithm based on second generation wavelet transform and its performance evaluation[J]. Acta Automatica Sinica , 2007, 33 (8) : 817–822. [ 李伟, 朱学峰. 基于第二代小波变换的图像融合方法及性能评价[J]. 自动化学报 , 2007, 33 (8) : 817–822. DOI:10.1360/aas-007-0817 ]
  • [3] Wang H H. A new multiwavelet-based approach to image fusion[J]. Journal of Mathematical Imaging and Vision , 2004, 21 (2) : 177–192. DOI:10.1023/B:JMIV.0000035181.00093.e3]
  • [4] Do M N, Vetterli M. The contourlet transform: an efficient directional multiresolution image representation[J]. IEEE Transactions on Image Processing , 2005, 14 (12) : 2091–2106. DOI:10.1109/TIP.2005.859376]
  • [5] Da Cunha A L, Zhou J P, Do M N. The nonsubsampled contourlet transform: theory, design, and applications[J]. IEEE Transactions on Image Processing , 2006, 15 (10) : 3089–3101. DOI:10.1109/TIP.2006.877507]
  • [6] Yang B, Li S T, Sun F M. Image fusion using nonsubsampled contourlet transform[C]//Proceeding of the 4th International Conference on Image and Graphics. Chengdu, China: IEEE, 2007: 719-724.[DOI: 10.1109/ICIG.2007.124]
  • [7] Easley G, Labate D, Lim W Q. Sparse directional image representations using the discrete shearlet transform[J]. Applied and Computational Harmonic Analysis , 2008, 25 (1) : 25–46. DOI:10.1016/j.acha.2007.09.003]
  • [8] Liu W, Yin M, Luan J, et al. Image fusion algorithm based on shift-invariant shearlet transform[J]. Acta Photonica Sinica , 2013, 42 (4) : 496–503. [ 刘卫, 殷明, 栾静, 等. 基于平移不变剪切波变换域图像融合算法[J]. 光子学报 , 2013, 42 (4) : 496–503. DOI:10.3788/gzxb20134204.0496 ]
  • [9] Bayro-Corrochano E. The theory and use of the quaternion wavelet transform[J]. Journal of Mathematical Imaging and Vision , 2006, 24 (1) : 19–35. DOI:10.1007/s10851-005-3605-3]
  • [10] Yang B, Li S T. Multifocus image fusion and restoration with sparse representation[J]. IEEE Transactions on Instrumentation and Measurement , 2010, 59 (4) : 884–892. DOI:10.1109/TIM.2009.2026612]
  • [11] Li S T, Yin H T, Fang L Y. Group-sparse representation with dictionary learning for medical image denoising and fusion[J]. IEEE Transactions on Biomedical Engineering , 2012, 59 (12) : 3450–3459. DOI:10.1109/TBME.2012.2217493]
  • [12] Yan R M, Shao L, Liu Y. Nonlocal hierarchical dictionary learning using wavelets for image denoising[J]. IEEE Transactions on Image Processing , 2013, 22 (12) : 4689–4698. DOI:10.1109/TIP.2013.2277813]
  • [13] Liu Y, Liu S P, Wang Z F. A general framework for image fusion based on multi-scale transform and sparse representation[J]. Information Fusion , 2015, 24 : 147–164. DOI:10.1016/j.inffus.2014.09.004]
  • [14] Mallat S G, Zhang Z F. Matching pursuits with time-frequency dictionaries[J]. IEEE Transactions on Signal Processing , 1993, 41 (12) : 3397–3415. DOI:10.1109/78.258082]
  • [15] Chen S S, Donoho D L, Saunders M A. Atomic decomposition by basis pursuit[J]. SIAM Review , 2001, 43 (1) : 129–159. DOI:10.1137/S003614450037906X]
  • [16] Tropp J A, Gilbert A C. Signal recovery from random measurements via orthogonal matching pursuit[J]. IEEE Transactions on Information Theory , 2007, 53 (12) : 4655–4666. DOI:10.1109/TIT.2007.909108]
  • [17] Xing X X, Liu F, Shang W W, et al. Medical image fusion in compressed sensing based on non-subsampled contourlet transform[C]//Proceedings of the 9th IEEE International Conference on Mobile Ad-hoc and Sensor Networks. Dalian: IEEE, 2013: 490-493.[DOI: 10.1109/MSN.2013.92]
  • [18] Cheng J, Liu H J, Liu T, et al. Remote sensing image fusion via wavelet transform and sparse representation[J]. ISPRS Journal of Photogrammetry and Remote Sensing , 2015, 104 : 158–173. DOI:10.1016/j.isprsjprs.2015.02.015]
  • [19] Aharon M, Elad M, Bruckstein A. K-SVD: an algorithm for designing overcomplete dictionaries for sparse representation[J]. IEEE Transactions on Signal Processing , 2006, 54 (11) : 4311–4322. DOI:10.1109/TSP.2006.881199]
  • [20] Zhou A P, Liang J Z. Adaptive image fusion based on the second generation curvelet and wavelet transform[J]. Laser & Infrared , 2010, 40 (9) : 1010–1016. [ 周爱平, 梁久祯. 基于二代curvelet与wavelet变换的自适应图像融合[J]. 红外与激光 , 2010, 40 (9) : 1010–1016. DOI:10.3969/j.issn.1001-5078.2010.09.021 ]
  • [21] Zhang X L, Li X F, Li J. Validation and correlation analysis of metrics for evaluating performance of image fusion[J]. Acta Automatica Sinica , 2014, 40 (2) : 306–315. [ 张小利, 李雄飞, 李军. 融合图像质量评价指标的相关性分析及性能评估[J]. 自动化学报 , 2014, 40 (2) : 306–315. DOI:10.3724/SP.J.1004.2014.00306 ]
  • [22] Piella G, Heijmans H. A new quality metric for image fusion[C]//Proceedings of the 2003 International Conference on Image Processing. Barcelona, Spain: IEEE, 2003, 2: III-173-6.[DOI: 10.1109/ICIP.2003.1247209]