Print

发布时间: 2016-10-25
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.20161004
2016 | Volumn 21 | Number 10




    图像处理和编码    




  <<上一篇 




  下一篇>> 




多目标粒子群优化PCNN参数的图像融合算法
expand article info 王佺, 聂仁灿, 周冬明, 金鑫, 贺康建, 余介夫
云南大学信息学院, 昆明 650500
收稿日期: 2016-02-17; 修回日期: 2016-06-01
基金项目: 国家自然科学基金项目（61365001，61463052）
第一作者简介: 王佺(1990-),男,云南大学信号与信息处理专业在读硕士研究生,主要研究方向为人工神经网络、图像处理、优化算法。E-mail:ynwangquan@126.com
中图法分类号: TP391.41
文献标识码: A
文章编号: 1006-8961(2016)10-1298-09

摘要

目的 脉冲耦合神经网络（PCNN）在图像融合上往往因为参数设置问题而达不到最佳效果，为了提高图像融合的质量，提出了一种基于多目标粒子群优化PCNN参数的图像融合算法。 方法 首先用多目标粒子群对PCNN模型参数进行优化得到最优PCNN参数模型，然后利用双复树小波（DTCWT）对图像多尺度分解，将高频分量通过优化好的PCNN模型进行高频融合，低频分量通过拉普拉斯分量绝对和（SML）来进行低频融合，最后通过DTCWT逆变换实现图像的融合。 结果 分别与DTCWT，拉普拉斯金字塔变换（LP）以及非下采样Contourlet变换（NSCT）进行实验对比，融合图像Clock，Lab的融合结果在客观指标上的互信息（8.062 3，7.908 5）、图像的品质因数（0.716 2,0.714 2）和标准差（51.213,47.671）都优于其他方法，熵和其他方法差不多，融合结果能够获得更好的视觉效果以及较大的互信息值和边缘信息保留值。 结论 该方法有较好融合图像的能力，可适用于计算机视觉、医学、遥感等领域。

关键词

图像融合; 多目标优化; 粒子群; 脉冲耦合神经网络; 双复树小波; 拉普拉斯能量绝对能量和

Image fusion algorithm using PCNN model parameters of multi-objective particle swarm optimization
expand article info Wang Quan, Nie Rencan, Zhou Dongming, Jin Xin, He Kangjian, Yu Jiefu
Information College, Yunnan University, Kunming 650500, China
Supported by: National Natural Science Foundation of China (61365001, 61463052)

Abstract

Objective Pulse-coupled neural networks (PCNN) often cannot achieve optimum efficiency in image fusion because of parameter-setting problems of the PCNN model. The PCNN model has many parameters, all of which are intrinsically linked to overcome PCNN parameter-setting problems. A novel technique that uses PCNN model parameters of multi-objective particle swarm optimization (PSO), is presented in this paper. Method The method consists of three steps. First, the PCNN model parameters are optimized using multi-objective PSO, and the optimal PCNN model is obtained. Then, the paper uses dual-tree complex wavelet transform (DTCWT) for multi-scale decomposition of source images. High-frequency image components are processed by the optimal PCNN model while low-frequency image components are fused by sum of modified Laplacian(SML). Finally, the fused image is reconstructed based on inverse DTCWT. Results Compared with many fusion methods, such as DTCWT, Laplace pyramid algorithm, and non-subsample contourlet transform, quantitative analysis is conducted for the fused image under indexes, such as mutual information, entropy, image quality factor, and standard deviation. The proposed method can obtain better visual effects, and higher values of edge information retention and mutual image information. Conclusion Image fusion is an important research field in image processing technology. This study proposes a novel method that combines PSO and PCNN to complete image fusion. Experimental results show that the proposed method performs effectively in image fusion, which can be applied to the fields of computer vision, medicine, and remote sensing.

Key words

image fusion; multi-objective optimization; particle swarm; pulse coupled neural networks; dual-tree complex wavelet transform; sum of modified Laplacian

0 引言

图像融合是图像处理技术研究中的一个重要研究领域，它将来自同一场景的两幅或多幅源图像融合为一幅新的单一图像[1]，已成为计算机视觉、目标识别、机器人以及军事领域等研究中的一个关键技术问题[2-3]。由于光学镜片景深的有限性，获取的图像不可能处处聚焦，即场景中的一个目标聚焦，其他的则将是离焦[4]，因此，为了获取某一场景内所有目标均聚焦的图像，需要将来自该场景聚焦在不同目标上的一系列图像进行融合，这就是多聚焦图像融合[5]。

图像融合方法通常分为像素级、特征级、决策级融合[6]。其中像素级融合分为基于空间域的图像融合方法和基于变换域的图像融合方法[7]。而基于变换域的融合方法在图像融合中比较常用，主要有：金字塔变换、小波变换、Curvelet变换以及下非采样Contourlet变换（NSCT）。文献[8]在小波域的基础上，对图像进行拉普拉斯金字塔变换，由于两维小波具有各向同性，不能有效地描述图像轮廓和纹理特征，并且只能扑捉有限的方向信息[9]。文献[10]提出一种基于邻域和兄弟信息的NSCT域多聚图像融合方法，该方法的低频融合过于简单，只是简单地取均值。

脉冲耦合神经网络(PCNN)是第3代人工神经网络的模型，因具有同步激发、变阈值等特性而被应用在图像融合领域。文献[11]首先对图像进行小波多尺度分解，然后将图像的变换特征送入PCNN处理以实现特征聚类，从而根据图像变换特征的聚类频图实现了图像融合，由于文献[11]中PCNN参数使用的是固定的经验值，因此效果并不是很理想。而文献[12]只是对PCNN的链接强度系数β进行自适应计算，其他参数仍然采用实验或经验来预设定一个数值。上述方法虽然在不同的应用中有针对性地解决了一些问题，但都依然面临一个共同的挑战，即参数选取的不好确定的问题。特别地，文献[13]曾针对此问题阐述过，PCNN模型存在很多参数，并且PCNN所有的参数都是有内在联系的，独立去优化其中一个参数往往达不到最佳效果，因而参数寻优的问题应该作为将来仍将不断研究的工作。以PCNN的简化模型为例，其包含4个重要的参数：链接强度β、初始阈值θ、衰减指数aθ和放大系数Vθ。这些参数的不同取值会给融合结果带来很大影响，针对此问题，引入具有较好的自适应学习能力优化算法，目前，比较典型的多目标优化算法有SPEA（strength pareto EA）NSGA-2 (non-dominated sorting genetic algorithms），MOPSO（multi-objective particle swarm optimization）等。文献[14]的研究表明MOPSO相比于其他的优化方法具有较好的优化性能。

基于上述分析，提出了一种基于多目标粒子群优化PCNN参数的图像融合算法，首先用多目标粒子群对PCNN模型参数进行优化得到最优PCNN模型，然后利用双复树小波变换（DTCWT）对图像多尺度分解，将高频分量通过优化好的PCNN模型来进行高频融合，低频分量通过SML来进行低频融合，最后通过DTCWT逆变换实现整幅图像的融合，实验结果有效地验证了该方法的有效性。

1 相关的模型

1.1 简化PCNN模型

PCNN是依据猫、猴等动物的大脑皮层上的同步脉冲发放现象提出的一种不同于传统神经网络的新型神经网络。它是由若干个神经元连接组成的反馈型网络，每个神经元都由3个部分组成，即接受部分、调制部分和脉冲发生部分。在图像处理中，作用于图像处理时，神经元和图像像素一一对应，神经元数量和像素个数相同[15]。简化的PCNN模型如图 1所示，数学模型为

${{F}_{ij}}\left( n \right)={{S}_{ij}}$ (1)

${{L}_{ij}}\left( n \right)={{V}^{L}}\sum\limits_{kl}{{{W}_{kj}}{{Y}_{ijkl}}\left( n-1 \right)}$ (2)

${{U}_{ij}}\left( n \right)={{F}_{ij}}\left( n \right)\left[ 1+\beta {{L}_{ij}}\left( n \right) \right]$ (3)

${{\theta }_{ij}}\left( n \right)={{e}^{-{{a}^{\theta }}}}{{\theta }_{ij}}\left( n-1 \right)+V_{ij}^{\theta }{{Y}_{ij}}\left( n-1 \right)$ (4)

$\begin{align} & {{Y}_{ij}}\left( n \right)=step\left( {{U}_{ij}}\left( n \right)-{{Y}_{ij}}\left( n \right) \right)= \\ & \left\{ \begin{matrix} 1 & {{U}_{ij}}\left( n \right)>{{\theta }_{ij}}\left( n \right) \\ 0 & 其他 \\ \end{matrix} \right. \\ \end{align}$ (5)



图 1 PCNN 简化模型
Fig. 1 Simplified PCNN model

对于神经元(i,j)，式（1）表述的F通道输入和式（2）表述的L通道构成了神经元的接受域，其中神经元的F通道接受外部激励输入Sij，即图像的像素值，L通道接受邻域神经元(k,l)的脉冲激励输入，Wkj为邻域联接权，VL是通道幅值。在调制域，神经元的反馈输入Fij和链接输入Lij经过非线性的相乘调制形成了神经元的内部状态值U,β为调制域中L通道输出的链接强度。当内部状态值U大于神经元的阈值θij时，神经元发出脉冲，即Yij=1。在迭代计算过程中，阈值θij做非线性的指数衰减变化，衰减指数为aθ，但在发出脉冲后，θij在进行指数衰减的同时还叠加了一个幅值系数Vijθ[16]。

PCNN的神经元由于接受邻域神经元的脉冲耦合输入，这使得那些具有相似外部输入的神经元将在逐次迭代计算中逐步实现脉冲发放的同步，这在图像处理中体现了特征聚类的作用，同时该种现象一般可由神经元的点火频率矩阵FM图来描述。

$FM\left( i,j \right)=\frac{\sum\limits_{K=1}^{N}{{{Y}_{ij}}\left( n \right)}}{N}$ (6)

式中，N表示PCNN的迭代次数，Yij(n)表示第n次迭代输出的结果。

1.2 双复树小波变换

由于下采样特点，普通的小波算法具有移动变化性，同时在采样时还会出现混叠现象。在实验过程中会使输入信号的微小移动导致输出的小波系数变化非常大。为了克服这个问题，Kingsbury提出了一种具有平移不变性、良好的方向选择性、有限的数据冗余和高效的计算效率的小波变换算法[17]。

DTCWT可以将2维图像通过两组并行的滤波器组实现，每组滤波器分别产生一个实的离散小波变换系数集来作为尺度上的实部和虚部。在每一层，DTCWT都会产生6个定向子带，方向分别为：±15°，±45°和±75°。2维DTCWT将2维图像f分解成不同尺度xj，即

$\eqalign{ & x = \left\{ {{x^1},{x^2}, \ldots ,{x^J},{y^J}} \right\} \cr & {x^j} = \left\{ {\matrix{ {x_{{\mathop{\rm Re}\nolimits} ,1}^j\left( {l,k} \right),x_{{\mathop{\rm Re}\nolimits} ,2}^j\left( {l,k} \right), \ldots ,x_{{\mathop{\rm Re}\nolimits} ,6}^j\left( {l,k} \right)} \cr {x_{{\mathop{\rm Im}\nolimits} ,1}^j\left( {l,k} \right),x_{{\mathop{\rm Im}\nolimits} ,2}^j\left( {l,k} \right), \ldots ,x_{{\mathop{\rm Im}\nolimits} ,6}^j\left( {l,k} \right)} \cr } } \right. \cr} $ (7)

式中，xj表示第j层的高频系数，yJ为最后一层的低频系数，xj是由6个子带方向的实部和虚部构成的，(l,k)表示频带系数的空间位置。

2 多目标粒子群优化PCNN参数

2.1 多目标优化

多目标优化问题（MOP）又称为多标准优化问题，多性能优化问题或者多矢量优化问题。一个具有n个决策变量、m个目标函数的多目标优化问题可表述为[14]

$\begin{align} & \min y=F(x)=\left( {{f}_{1}}\left( x \right),{{f}_{2}}\left( x \right),{{f}_{3}}\left( x \right),\cdots ,{{f}_{m}}\left( x \right) \right) \\ & s.t.\quad {{g}_{i}}\left( x \right)\le 0,i=1,2,3\cdots ,q \\ & {{h}_{j}}\left( x \right)=0,j=1,2,3,\cdots ,p \\ & x=\left( {{x}_{1}},{{x}_{2}},{{x}_{3}},\cdots ,{{x}_{n}} \right)\in X\subset {{R}^{n}} \\ & y=\left( {{y}_{1}},{{y}_{2}},{{y}_{3}},\cdots ,{{y}_{n}} \right)\in Y\subset {{R}^{m}} \\ \end{align}$ (8)

式中$x=\left( {{x}_{1}},{{x}_{2}},{{x}_{3}},\cdots ,{{x}_{n}} \right)\in X\subset {{R}^{n}}$为决策变量，X是n维的决策空间；$y=\left( {{y}_{1}},{{y}_{2}},{{y}_{3}},\cdots ,{{y}_{n}} \right)\in Y\subset {{R}^{m}}$称为目标函数，Y是m维的目标空间；目标函数F定义了映射函数和同时需要优化的m个目标；${{g}_{i}}\left( x \right)\le 0\left( i=1,2,3,\cdots ,q \right)$定义了q个不等式约束；${{h}_{j}}\left( x \right)=0\left( j=1,2,3,\cdots ,p \right)$定义了p个等式约束。在此基础上，给出以下几个重要的定义。

1）可行解。对于$x\in X$，如果x满足约束条件${{g}_{i}}\left( x \right)\le 0\left( i=1,2,\ldots ,q \right)$和${{h}_{j}}\left( x \right)=0\ (j=1,2,\cdots ,p)$，则x称为可行解。由X中所有的可行解组成的集合称为可行解集合${{X}_{f}}\left( {{X}_{f}}\subseteq X \right)$。

2）Pareto-占优。假设$x,{{x}^{*}}\in {{X}_{f}},{{x}^{*}}$是多目标优化问题的两个可行解，则与x相比，x*是Pareto-占优的，当且仅当

$\begin{align} & \left( \forall i\in \left\{ 1,2,3,\cdots ,m \right\}:{{f}_{i}}\left( {{x}^{*}} \right)\le {{f}_{i}}\left( x \right) \right)\wedge \\ & \left( \exists k\in \left\{ 1,2,3,\cdots ,m \right\}:{{f}_{k}}\left( {{x}^{*}} \right)＜{{f}_{k}}\left( x \right) \right) \\ \end{align}$ (9)

记${{x}^{*}}\succ x$，也称为x*支配x。

3）Pareto-最优解。一个解${{x}^{*}}\in {{X}_{f}}$被称为Pareto-最优解，当且仅当满足

$\neg \exists x\in {{X}_{f}}x\succ {{x}^{*}}$

Pareto-最优解也称非劣解，所有的最优解组成的集合为非支配解集。

与单目标优化相比，多目标优化的复杂程度大大增加了，它需要同时优化多个目标。但是这些被优化的目标函数往往是不可比较的，一个目标的提高有时候会引起另一个目标的降低。因此多目标优化问题的解通常不是唯一的，而是存在一个最优解集。

2.2 粒子群算法

粒子群算法（PSO），由Kenndy 和 Eberhart首次提出，它是一种模拟鸟群社会行为的群优化算法，每只鸟代表一个粒子，一个集合的粒子组成一个群[18]。粒子群中的每个粒子都代表一个潜在优化问题的解。假设vi和xi分别表示第i个粒子在2维搜索空间的速度和位置，pbesti是第i个粒子的最优位置，称为局部最优解（记录每个粒子的）；gbesti是所有粒子的最优位置，即为全局最优解。速度vi和位置xi更新为

${{v}_{i}}^{t+1}=w{{v}_{i}}^{t}+{{c}_{1}}{{r}_{1}}(p_{bes{{t}_{i}}}^{t}-x_{i}^{t})+{{c}_{2}}{{r}_{2}}(g_{bes{{t}_{i}}}^{t}-x_{i}^{t})$ (10)

$x_{i}^{t+1}=x_{i}^{t}+v_{i}^{t+1}$ (11)

式中，$w\in \left[ 0,1 \right]$表示惯性权重，r1、r2为[0,1]区间的两个独立随机数，c1、c2是学习因子或者加速系数，t表示优化过程中的迭代次数。

粒子群多目标优化算法（MOPSO）是粒子群优化算法的推广，用来处理多目标优化问题。该算法主要包括：初始化，评价，和通过OPS和Pareto-占优准则重新搜索粒子群[19]。在这个过程中，粒子首先要进行评价并检查该粒子在种群中优劣关系，将得到的非支配解储存在REP(储存池)中，REP的大小是可变的，从而可以通过提供算法的性能来节省优化计算的时间。

2.3 粒子群优化PCNN参数模型

在利用 PSO进化方法对脉冲耦合神经网络图像融合模型参数优化时，每个粒子表示为一个4维向量，即X=(X1，X2，X3，X4)=(β,θ,αθ,Vθ)，其中每个粒子的第1维表示模型中链接强度β参数，第2维表示模型初始阈值参数θ，第3维和第4维分别表示模型阈值衰减指数aθ和阈值放大系数Vθ。

图像融合效果的好坏除了通过肉眼辨别外，客观的方法还是通过众多的评价标准进行衡量[20]。因而利用进化学习自适应寻优也应该以这些评价标准来构造目标函数。但是，由于图像融合评价标准众多繁杂，选择哪些评价准则来构造目标函数是一个开放的问题。本文选择了两个较常用的评价准则：互信息MI和边缘信息保留量QAB/F来尝试构造粒子群进化学习的目标函数[21]。

基于多目标粒子群算法对PCNN模型参数进行优化，其具体的优化过程如下:

1) 初始化种群中的每个粒子，粒子即为PCNN模型参数，粒子的速度即为模型参数的变化速率；

2) 在种群中计算每个粒子的目标函数值，目标函数即为融合图像的评价指标，称为优化目标；

3) 根据Pareto-占优准则，将不被占优的粒子储存在REP中；

4) 通过式（13）（14）更新每个粒子的位置和速度；

5) 再次计算每个粒子的目标函数，同时更新REP中的内容，将当前不被占优的粒子储存在REP中；

6) 优化次数t加1，当t<tmax返回到第4）步；

7) 迭代结束，输出REP中的Pareto最优解。

图 2表示多目标粒子群优化PCNN参数模型的流程图。



图 2 多目标粒子群优化PCNN参数模型流程图
Fig. 2 Flow diagram of multi-objective particle swarm optimization parameters of PCNN model

3 图像融合

基于多目标粒子群优化PCNN参数的图像融合算法的基本思路是：首先，采用双复树小波对源图像进行多层分解，其中将图A，B的高频分量通过已经优化的PCNN模型进行融合，然后，低频分量通过SML进行融合，最后，利用双复树小波重构算法实现最终的融合图像。该算法的框架如图 3所示。



图 3 融合算法框架
Fig. 3 The fusion algorithm framework

3.1 高频子带融合规则

对于两幅源图像A和B，设它们在高频尺度上的DTCWT分解分别为xAj和xBj，通过相应PCNN模型的点火频率矩阵为FMA和FMB，则图像在该DTCWT分解高频上的融合结果xj描述为

$\left\{ \begin{align} & {{x}^{j}}\left( i,j \right)=\frac{x_{A}^{j}\left( i,j \right)+x_{\text{B}}^{j}\left( i,j \right)}{2} \\ & \left| F{{M}_{\text{A}}}\left( i,j \right)-F{{M}_{\text{B}}}\left( i,j \right) \right|\le 0.015 \\ & {{x}^{j}}\left( i,j \right)=x_{A}^{j}\left( i,j \right) \\ & \left| F{{M}_{\text{A}}}\left( i,j \right)-F{{M}_{\text{B}}}\left( i,j \right) \right|>0.015且 \\ & F{{M}_{\text{A}}}\left( i,j \right)>F{{M}_{\text{B}}}\left( i,j \right) \\ & ^{j}\left( i,j \right)=x_{\text{B}}^{j}\left( i,j \right) \\ & \left| F{{M}_{\text{A}}}\left( i,j \right)-F{{M}_{\text{B}}}\left( i,j \right) \right|>0.015且 \\ & F{{M}_{\text{A}}}\left( i,j \right)＜F{{M}_{\text{B}}}\left( i,j \right) \\ \end{align} \right.$ (12)

由于FMA，FMB中的元素一般不会绝对地相等，所以本文设0.015为相等的边界值，即当它们差值的绝对值小于或等于0.015时，我们认为二者基本相等。

3.2 低频子带的融合规则

由文献[22-23]可知，拉普拉斯分量绝对能量和（SML）在一定程度上能很好地反映图像的边缘变化程度，恰当地描述图像的灰度突变信息，同时还能克服块效应，具有很好的清晰度判别能力。SML在低频子带系数的融合上具有优势，可由式（13）（14）来描述。

像素（x，y）的拉普拉斯梯度的分量绝对和（ML）为

$\begin{align} & \nabla _{\text{ML}}^{\text{2}}f\left( x,y \right)=\left| 2f\left( x,y \right)-f\left( x-n,y \right)-f\left( x+n,y \right) \right| \\ & +\left| 2f\left( x,y \right)-f\left( x,y-n \right)-f\left( x,y+n \right) \right| \\ \end{align}$ (13)

${{S}_{\text{ML}}}\left( i,j \right)=\sum\limits_{x-N}^{x+N}{{}}\sum\limits_{y-N}^{y+N}{\nabla _{ML}^{2}f\left( i,j \right)},\nabla _{\text{ML}}^{\text{2}}f\left( i,j \right)\ge T$ (14)

式中，n表示用离散差分求拉普拉斯梯度时采用的空域间隔，一般n=1，N=4,T=0为门限值。

源图像A和B经过DTCWT后的低频分别为xAJ和xBJ，则低频分量的融合结果xJ描述为

${{x}^{J}}\left( i,j \right)=\left\{ \begin{array}{*{35}{l}} x_{\text{A}}^{J}\left( i,j \right) & SML_{A}^{J}\left( i,j \right)>SML_{B}^{J}\left( i,j \right) \\ x_{B}^{J}\left( i,j \right) & 其他 \\ \end{array} \right.$ (15)

式中，xAJ，xBJ表示图像A，B在J尺度上的低频系数。

3.3 具体算法步骤

根据基于粒子群优化PCNN参数和构造多个目标函数，提出了基于多目标粒子群优化PCNN参数的图像融合算法如下：

1) 初始化种群粒子的速度和位置以及PCNN模型（包括输出、点火、脉冲等信息）；

2) 设置粒子群的大小，优化的次数及每个优化参数的范围；

3) 通过图 2MOPSO-PCNN流程返回最优Pareto解集，即最优参数β、θ、αθ、Vθ，得到最优PCNN模型；

4) 将配准好的源图像A,B通过双复树小波进行多层分解；

5) 将图像A,B的高频分量通过已经优化的PCNN模型进行融合，低频分量通过SML进行融合；

6) 利用双复树小波重构算法实现最终的融合图像。

4 实验结果及分析

4.1 实验参数设置

由于粒子群优化算法已经是比较成熟的优化方法，对于它的参数的研究已经非常深入，根据文献[24]可设置MOPSO的参数为：c1=2,c2=2，寻优次数为50；DTCWT的分解层数为2层；通过优化得到的PCNN参数的最优解集（非支配解集）如表 1所示。

表 1 最优解集
Table 1 Optimal solution set

下载CSV
组号βθαθVθ
10.805 41.153 42.638 10.239 9
20.751 20.500 67.952 30.700 4
30.694 82.000 010.1401.000 0
40.817 71.165 011.2120.753 6
50.951 61.250 216.1941.000 0
60.751 21.218 612.6080.785 3
70.978 61.176 415.7520.815 1
80.751 21.173 213.5640.811 6

表 1中所示为4个参数的8组最优解，本文选取其中一组作为PCNN模型的最优参数：β=0.978 6，θ=1.176 4，αθ=15.752 0，Vθ=0.815 1。另外，VL=1，迭代次数N=100,W=[0.5 1 0.5;1 0 1;0.5 1 0.5]。

为了验证本文融合算法的有效性，选取了两组比较常用的多聚图像Lab，Clock进行融合实验，并将融合结果分别与基于DTCWT-PCNN、LP-PCNN、NSCT-PCNN等方法融合结果进行比较。其中DTCWT-PCNN、LP-PCNN、NSCT-PCNN中的PCNN模型参数都是采用传统的参数设置：β=0.1、θ=0、αθ=20、Vθ=0.2，VL=1、迭代数N=100,W=[0.5 1 0.5;1 0 1;0.5 1 0.5]，DTCWT的参数设置和本文中DTCWT参数设置一致，LP的分解层数为3层，NSCT的分解层数及各层的方向数是1,2,8,16,16，金字塔滤波器为‘maxflat’，方向滤波器为‘dmaxflat7’，融合规则都是高频通过PCNN进行融合，低频取SML最大的方法。

4.2 实验结果及分析

图 4(a)—(d)为Lab，Clock两组左聚焦和右聚焦源图像，图 4(e)—(h)为两组图在不同方法下的融合图像。从实验的结果可以看出，在Lab图像的融合结果中，LP-PCNN、DTCWT-PCNN和NSCT-PCNN的结果图中出现明显的失真，如图 4(e)—(f)中箭头所标记的地方出现了白色的阴影，同样在Clock图像中，对比方法的失真情况则出现边缘部分，如图 4(i)—(k)中矩形标记所示，其中DTCWT-PCNN方法的融合结果的边缘有不平滑的现象，而DTCWT-PCNN和NSCT-PCNN则出现了模糊的情况。从主观评价看，本文的方法优于其他对比方法。



图 4 多聚焦源图像及融合结果
Fig. 4 Multi-focus source images and fusion images ((a) Lab original image A; (b) Lab original image B; (c) Clock original image A; (d) Clock original image B; (e) LP-PCNN; (f) DTCWT-PCNN; (g) NSCT-PCNN; (h) our algorthm)

为了客观上评价上述的融合方法，选取了QAB/F [25]、MI[26]、标准差(STD)和熵 (EN)这4个比较常用的评价指标对不同的融合结果进行定量评估。其中，QAB/F反映的是源图像与融合图像的边缘信息保留量，该指标越接近1说明图像融合质量越好，MI则表示的是融合图像从源图像获取的信息丰富程度，该指标越大说明图像的融合质量越高[21]，同时STD和EN也反映了图像的信息丰富程度，指标越大说明融合图像越丰富。不同融合方法的客观评价结果如表 2所示。从表 2中也可以看出，本文算法融合结果的客观评价指标QAB/F、MI和STD均优于其他算法，通过客观指标分析说明，本文融合算法所得到的结果更接近源图像，包含了更多的细节，融合结果更真实，这也从客观上验证了本文算法好于其他算法。

表 2 不同融合方法性能比较
Table 2 Performance comparison of different fusion algorithms

下载CSV
源图像评价指标LP-PCNNDTCWT-PCNNNSCT-PCNN本文算法
ClockMI6.362 66.680 27.605 38.062 3
QAB/F0.675 40.657 20.695 40.716 2
STD50.37650.14150.27251.213
EN7.286 77.367 57.310 67.330 8
LabMI6.880 77.474 37.579 07.908 5
QAB/F0.698 60.707 30.702 20.714 2
STD46.83146.67346.76347.671
EN7.023 27.069 47.03287.049 3

表 3给出了融合方法的时间，运行的环境为Intel Corel 2，CPU 3 GHz，内存2 GB，Windows XP 操作系统，MATLAB R2009a，时间单位为秒。从表 3可以看出，通过粒子群优化算法进行自适应学习之后，虽然图像的质量得到明显的提高，但不可避免地增加了运行的时间。

表 3 运行时间
Table 3 The running time

下载CSV
/s
源图像LP-PCNNDTCWT-PCNNNSCT-PCNN本文算法
Clock23.142 149.794 3627.9011 219.24
Lab23.927 548.478 1628.2341 218.86

5 结论

综合PCNN的生物学特点及人眼的视觉特性，提出了一种基于多目标粒子群优化PCNN参数的图像融合算法，首先，采用双复树小波对源图像进行多层分解，其中将源图像的高频分量通过已经优化的PCNN模型进行融合，然后，低频分量通过SML进行融合，最后，利用双复树小波重构算法实现最终的融合图像。实验结果表明本文提出的算法不管是在主观视觉上，还是在客观评价指标上均优于本文中的其它算法。由于粒子群在优化PCNN参数过程中计算量比较大，因此仿真实验耗时较长，这也是今后研究中需要解决的问题

参考文献

  • [1] Agrawal D, Singhai J. Multifocus image fusion using modified pulse coupled neural network for improved image quality[J]. IET Image Processing , 2010, 4 (6) : 443–451. DOI:10.1049/iet-ipr.2009.0194]
  • [2] Zhu L, Sun F, Xia F L, et al. Review on image fusion research[J]. Transducer and Microsystem Technologies , 2014, 33 (2) : 14–18. [ 朱炼, 孙枫, 夏芳莉, 等. 图像融合研究综述[J]. 传感器与微系统 , 2014, 33 (2) : 14–18. DOI:10.3969/j.issn.1000-9787.2014.02.004 ]
  • [3] Petrović V, Dimitrijević V. Focused pooling for image fusion evaluation[J]. Information Fusion , 2015, 22 : 119–126. DOI:10.1016/j.inffus.2014.05.002]
  • [4] Li S T, Kwok J T, Wang Y N. Multifocus image fusion using artificial neural networks[J]. Pattern Recognition Letters , 2002, 23 (8) : 985–997. DOI:10.1016/S0167-8655(02)00029-6]
  • [5] Aslantas V, Kurban R. Fusion of multi-focus images using differential evolution algorithm[J]. Expert Systems with Applications , 2010, 37 (12) : 8861–8870. DOI:10.1016/j.eswa.2010.06.011]
  • [6] Li S T, Yang B. Hybrid multiresolution method for multisensor multimodal image fusion[J]. IEEE Sensors Journal , 2010, 10 (9) : 1519–1526. DOI:10.1109/JSEN.2010.2041924]
  • [7] Liu Y P, Jin J, Wang Q, et al. Region level based multi-focus image fusion using quaternion wavelet and normalized cut[J]. Signal Processing , 2014, 97 : 9–30. DOI:10.1016/j.sigpro.2013.10.010]
  • [8] Jin X, Nie R C, Zhou D M, et al. Multifocus color image fusion based on NSST and PCNN[J]. Journal of Sensors , 2016, 2016 : #8359602. DOI:10.1155/2016/8359602]
  • [9] Zhang Q, Wang L, Li H J, et al. Similarity-based multimodality image fusion with shiftable complex directional pyramid[J]. Pattern Recognition Letters , 2011, 32 (13) : 1544–1553. DOI:10.1016/j.patrec.2011.06.002]
  • [10] Qu X B, Xie G F, Yan J W, et al. Image fusion algorithm based on neighbors and cousins information in nonsubsampled contourlet transform domain[C]//Proceedings of International Conference on Wavelet Analysis and Pattern Recognition. Beijing: IEEE, 2007: 1797-1802.[DOI: 10.1109/ICWAPR.2007.4421745]
  • [11] Kong W W, Liu J P. Technique for image fusion based on nonsubsampled shearlet transform and improved pulse-coupled neural network[J]. Optical Engineering , 2013, 52 (1) . DOI:10.1117/1.OE.52.1.017001]
  • [12] Zhang Y X, Chen L, Zhao Z H, et al. Multi-focus image fusion based on robust principal component analysis and pulse coupled neural network[J]. Optik-International Journal for Light and Electron Optics , 2014, 125 (17) : 5002–5006. DOI:10.1016/j.ijleo.2014.04.002]
  • [13] Wang Z B, Ma Y D, Cheng F Y, et al. Review of pulse-coupled neural networks[J]. Image and Vision Computing , 2010, 28 (1) : 5–13. DOI:10.1016/j.imavis.2009.06.007]
  • [14] Zhang P P, Chen H M, Liu X G, et al. An iterative multi-objective particle swarm optimization-based control vector parameterization for state constrained chemical and biochemical engineering problems[J]. Biochemical Engineering Journal , 2015, 103 : 138–151. DOI:10.1016/j.bej.2015.07.004]
  • [15] Wang N Y, Wang W L, Guo X R. Multisource image fusion based on DWT and simplified pulse coupled neural network[J]. Applied Mechanics and Materials , 2014, 457-458 : 736–740. DOI:10.4028/www.scientific.net/AMM.457-458.736]
  • [16] Li H H, Jin X, Yang N, et al. The recognition of landed aircrafts based on PCNN model and affine moment invariants[J]. Pattern Recognition Letters , 2015, 51 : 23–29. DOI:10.1016/j.patrec.2014.07.021]
  • [17] Sahu V, Sharma G. A hybrid approach of image fusion using modified DTCWT with high boost filter technique[J]. International Journal of Computer Applications , 2015, 117 (5) : 22–27. DOI:10.5120/20552-2929]
  • [18] Gosciniak I. A new approach to particle swarm optimization algorithm[J]. Expert Systems with Applications , 2015, 42 (2) : 844–854. DOI:10.1016/j.eswa.2014.07.034]
  • [19] Cheng S, Chen M Y, Fleming P J. Improved multi-objective particle swarm optimization with preference strategy for optimal DG integration into the distribution system[J]. Neurocomputing , 2015, 148 : 23–29. DOI:10.1016/j.neucom.2012.08.074]
  • [20] Wang J J, Li Q, Jia Z H, et al. A novel multi-focus image fusion method using PCNN in nonsubsampled contourlet transform domain[J]. Optik-International Journal for Light and Electron Optics , 2015, 126 (20) : 2508–2511. DOI:10.1016/j.ijleo.2015.06.019]
  • [21] Yang Y, Tong S, Huang S Y. Image fusion based on fast discrete curvelet transform[J]. Journal of Image and Graphics , 2015, 20 (2) : 219–228. [ 杨勇, 童松, 黄淑英. 快速离散Curvelet变换域的图像融合[J]. 中国图象图形学报 , 2015, 20 (2) : 219–228. DOI:10.11834/jjg.20150208 ]
  • [22] Lee S H, Jung K H, Kang D W, et al. Multi-focus image fusion by using a pixel-based SML comparison map[M]//Park J J, Stojmenovic I, Jeong H Y, et al. Computer Science and its Applications: Ubiquitous Information Technologies. Berlin Heidelberg: Springer, 2015, 330: 615-621.[DOI: 10.1007/978-3-662-45402-2_87]
  • [23] Huang W, Jing Z L. Evaluation of focus measures in multi-focus image fusion[J]. Pattern Recognition Letters , 2007, 28 (4) : 493–500. DOI:10.1016/j.patrec.2006.09.005]
  • [24] Catalao J P S, Pousinho H M I, Mendes V M F. Hybrid wavelet-PSO-ANFIS approach for short-term wind power forecasting in Portugal[J]. IEEE Transactions on Sustainable Energy , 2011, 2 (1) : 50–59. DOI:10.1109/TSTE.2010.2076359]
  • [25] Yang B, Li S T. Pixel-level image fusion with simultaneous orthogonal matching pursuit[J]. Information Fusion , 2012, 13 (1) : 10–19. DOI:10.1016/j.inffus.2010.04.001]
  • [26] Li S T, Yang B, Hu J W. Performance comparison of different multi-resolution transforms for image fusion[J]. Information Fusion , 2011, 12 (2) : 74–84. DOI:10.1016/j.inffus.2010.03.002]