Print

发布时间: 2021-09-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.200803
2021 | Volume 26 | Number 9




    综述    




  <<上一篇 




  下一篇>> 





多尺度变换像素级医学图像融合:研究进展、应用和挑战
expand article info 周涛1,2, 刘珊1, 董雅丽1, 霍兵强1, 马宗军3
1. 北方民族大学计算机科学与工程学院, 银川 750021;
2. 宁夏智能信息与大数据处理重点实验室, 银川 750021;
3. 宁夏医科大学总医院骨科, 银川 750004

摘要

基于多尺度变换的像素级图像融合是计算机视觉领域的研究热点,广泛应用于医学图像处理等领域。本文对多尺度变换的像素级图像融合进行综述,阐述多尺度变换图像融合的基本原理和框架。在多尺度分解方面,以时间为序梳理了塔式分解、小波变换和多尺度几何分析方法的发展历程。在融合规则方面,围绕Piella框架和Zhang框架,讨论通用的像素级图像融合框架;在低频子带融合规则方面,总结基于像素、区域、模糊理论、稀疏表示和聚焦测度的5种融合规则;在高频子带融合规则方面,综述基于像素、边缘、区域、稀疏表示和神经网络的5种融合规则。总结12种跨模态医学图像融合方式,讨论该领域面临的主要挑战,并对未来的发展方向进行展望。本文系统梳理了多尺度变换像素级图像融合过程中的多尺度分解方法和融合规则,以及多尺度变换在医学图像融合中的应用,对多尺度变换像素级医学图像融合方法的研究具有积极的指导意义。

关键词

多尺度变换; 像素级融合; 医学图像; Zhang框架; Piella框架

Research on pixel-level image fusion based on multi-scale transformation: progress application and challenges
expand article info Zhou Tao1,2, Liu Shan1, Dong Yali1, Huo Bingqiang1, Ma Zongjun3
1. College of Computer Science and Engineering, North Minzu University, Yinchuan 750021, China;
2. Ningxia Key Laboratory of Intelligent Information and big data Processing, Yinchuan 750021, China;
3. Department of Orthopedics, General Hospital of Ningxia Medical University, Yinchuan 750004, China
Supported by: National Natural Science Foundation of China(62062003)

Abstract

Medical images can be classified as anatomical images and functional images. The high resolution in anatomical images can provide information about the anatomical structure and morphology of human body organs but cannot reflect the functional information of organs. There is some information about the metabolic functions of organs in functional images; however, it has low resolution and cannot display the anatomical details of organs or lesions. With the continuous development of medical imaging technology, how to use medical images comprehensively to avoid the shortcomings of different medical imaging modalities has become a complex problem. Image fusion has aimed to fuse value-added information from two images to one image in terms of the constraints of single sensor. Effective diagnose and treat diseases have been beneficial to acquire qualified fusion image of organs and tissues and lesions simultaneously via fusing positron emission tomography(PET) images and computed tomography images(CT). Research on pixel-level image fusion based on multi-scale transformation has been focused nowadays. A fusion image with rich edge information has been easy use under the circumstances of image registration. The detailed information for image fusion has been obtained via moderate image decomposition option and fusion strategical implementation. Pixel-level image fusion based on multi-scale transformation has been prior to medical image processing, video surveillance image processing, remote sensing image processing and other tasks. Pixel-level image fusion based on multi-scale transformation has been analyzed and summarized on the following five aspects: 1) mechanism of multi-scale image fusion transformation; 2) multiscale decomposition analysis; 3) a consensus pixel-level fusion framework; 4) subband fusion rules under high and low frequency; and 5) pixel-level image fusion based on multi-scale transformation application in medical image processing. First, the mechanism and framework of image fusion based on multi-scale transformation have been proposed. Next, the multi-temporal decomposition have been summarized via the pyramid decomposition evolvement, wavelet transform and multi-scale geometric analysis. Such as, the advantages of pyramid decomposition are simple implementation and fast calculation speed. The disadvantage of pyramid decomposition is that it has no directionality, sensitive to noise, has no stability during reconstruction, and there is redundancy between the layers of the pyramid. Wavelet transform does not have direction selectivity and shift invariance. The advantage of multi-scale geometric analysis is that it has multiple directions. The original image is decomposed into high-frequency subbands in different directions by nonsubsampled contourlet transform(NSCT), which can enhance the edge details of the image from many directions. Then, two consensus pixel-level fusion frameworks has been illustrated. The Zhang framework has demonstrated four analyses including activity level measurement, coefficient grouping method, coefficient combination method and consistency verification. The Piella framework has consisted of four ways on the aspects of matching measurement, activity measurement, decision module and synthesis module. Low frequency fused sub bands and high frequency fused sub-bands have been categorized. The low frequency fused sub band has been subdivided into five categories: pixel based, region based, fuzzy theory based, sparse representation based and focus metric based. Pixel-based fusion rules include average fusion rules, coefficient maximum fusion rules, etc., region-based fusion rules include regional variance maximum fusion rules, and local energy maximum fusion rules, etc., fuzzy theory fusion rules include fuzzy inference system fusion rules, etc. Fusion rules based on sparse representation include new sum of modified Laplacian, and extended sum of modified Laplacian and other fusion rules. Fusion rules based on focal measures include spatial frequency fusion rules, and local spatial frequencies fusion rules, etc. The high frequency fused sub band rules have been subdivided into five categories: pixel based, edge based, region based, sparse representation based and neural network based. Edge-based fusion rules include edge strength maximum fusion rules and guided filter-based fusion rules, etc., region-based fusion rules include average gradient fusion rules and improved average gradient fusion rules, etc., fusion rules based on sparse representation include multi-scale convolution sparse representation fusion rules and separable dictionary learning method fusion rules, etc. Fusion rules based on neural networks include parameter adaptive dual-channel pulse-coupled neural network, and adaptive dual-channel pulse-coupled neural network fusion rules, simplified pulse-coupled neural network and other fusion rules. At last, 12 pixel-level image fusion based on multi-scale transformation have been summarized for multi-modal medical image fusions. Two-mode medical image fusion and three-mode medical image fusion have been identified. The two-mode medical image fusion has been subdivided into 11 categories. The CT/magnetic resonance image(MRI)/PET has been analyzed in three-mode medical image fusion. At last, the further 4 research areas of pixel-level image fusion based on multi-scale transformation have been summarized: 1) accurate registration of image preprocessing issue; 2) fusion of ultrasonic images with other multimodal medical images issue; 3) integration of multi-algorithms for cascading decomposition; 4) multi-scale decomposition methods and fusion rules for pixel-level image fusion and the application of multi-scale transformation in medical image fusion have been summarized. This article systematically summarizes the multi-scale decomposition methods and fusion rules in the pixel-level image fusion process based on multi-scale transformation, as well as the application of multi-scale transformation in medical image fusion, and the research on the pixel-level medical image fusion method based on multi-scale transformation has a positive guiding significance.

Key words

multi-scale transformation; pixel-level fusion; medical images; Zhang framework; Piella framework

0 引言

在医学图像处理领域,单模态医学图像不能综合提供病变部位的解剖和细节特征,不利于医生快速精准地诊断和治疗疾病(Wang等,2020)。针对单模态医学图像的不足,多模态医学图像融合技术应运而生。多模态医学图像融合充分利用不同模态图像的互补性和冗余性,对同一病灶部位不同模态的医学影像进行融合,得到比原图像信息更丰富、更精准的融合图像(Rajalingam等,2019)。多模态医学图像融合一经提出,就在诊疗疾病和提高计算机辅助系统的性能和精度方面有着广泛的应用,例如,CT(computed tomography)和PET(positron emission tomography)图像的融合可用于非小细胞肺癌的诊断和治疗决策(张英杰和李建彬,2019),PET和MRI(magnetic resonance image)融合在神经退行性疾病发病机制、早期诊断和鉴别诊断中有重要价值(宋杨美惠等,2019),此外,FDG(fluoro deoxy glucose)-PET和MRI的特征级融合可以进行骨肉瘤分类(Baskaran等,2018)。由此可见,对医学图像融合技术的深入研究具有重要意义。

图像融合分为决策级融合、特征级融合和像素级融合(Li等,2017)。像素级图像融合过程简单易懂,是决策级融合和特征级融合的基础。像素级图像融合必须以图像精确配准为前提,对两幅或多幅原图像使用分解变换方法分别进行分解,得到不同频率层次的图像,然后将两幅图像对应的低频系数和高频系数分别进行融合,获得融合系数,最后将融合后的系数进行逆变换,得到最终的融合图像(Liu等,2019b)。其中,多尺度变换方法是像素级图像融合算法的主流(Liu等,2020),具有与人类视觉相一致的图像尺度定位和空间特征定位功能,解决传统空间域融合算法对比度低、光谱失真等问题(黄福升,2018)。因此,多尺度变换像素级医学图像融合方法是医学图像融合领域的研究热点。

本文系统地梳理了基于多尺度变换像素级医学图像融合方法的研究现状。1)阐述基于多尺度变换的像素级图像融合的基本原理和框架;2)综述塔式分解、小波变换和多尺度几何分析的发展历程;3)归纳总结基于像素、区域、模糊理论、稀疏表示和聚焦测度的5种低频子带融合规则,以及基于像素、边缘、区域、稀疏表示和神经网络的5种高频子带融合规则;4)总结基于跨模态多尺度变换像素级图像融合技术在医学影像领域的应用;5)讨论当前的研究热点以及待解决的问题,为今后学者在研究多尺度变换医学图像融合算法方面提供建议。

1 多尺度变换图像融合基本原理

基于多尺度变换像素级医学图像的融合过程可以概括为以下3个步骤:1)选择一种多尺度分解方法对多模态医学图像分别进行分解,得到不同频率层次的高频子带和低频子带;2)根据高频子带和低频子带不同的特征分别设计最优的融合计算方法作为融合策略,对高频子带系数和低频子带系数分别进行融合运算;3)将最终的融合系数进行逆变换生成融合图像。基于多尺度变换的像素级图像融合方法可以根据不同子带的特征设计合适的融合策略,融合图像的细节信息丰富,冗余性低。基于多尺度变换像素级医学图像融合的框架如图 1所示。其中,分解方法和融合规则的选择是融合过程中的关键部分,决定融合图像能否保留原图像更多的信息(Kulkarni和Rege,2020)。

图 1 基于多尺度变换的像素级医学图像融合框架
Fig. 1 Pixel-level medical image fusion framework based on multi-scale transformation

2 多尺度分解方法

在多尺度变换像素级医学图像融合的过程中,多尺度分解方法的选择是关键。多尺度分解方法分为塔式分解、小波变换和多尺度几何分析3类。与其他方法相比,多尺度分解方法具有较高的图像表征能力。其分类如图 2所示。多尺度分解方法的优缺点如表 1所示。

图 2 多尺度分解方法分类
Fig. 2 Classification by multi-scale decomposition method

表 1 多尺度分解方法的优缺点
Table 1 Advantages and disadvantages of multi-scale decomposition methods

下载CSV
序号 多尺度分解方法 优点 缺点
1 塔式分解 开辟了多尺度变换像素级图像融合研究的基本思路,实现简单,运算速度快。 无方向性,对噪声敏感,重构时不具有稳定性,金字塔各层之间存在冗余。
2 小波变换 有良好的时频局部性,有方向性,无冗余,图像频段信息利用率高。 不具有方向选择性和平移不变性,对图像的边缘信息提取较弱。
3 多尺度几何分析 有时频局部性,多方向性,对图像的高维奇异性和稀疏性进行较好的逼近和描述。 不具有平移不变性,容易在奇异点附近出现伪吉布斯现象,高计算复杂性。

2.1 塔式分解

Burt和Adelson (1984)首次将拉普拉斯金字塔变换用于图像融合,开创了多尺度变换图像融合方法的先河。塔式分解图像融合的过程如下:1)将两幅原图像分别进行金字塔滤波处理,生成两个不同频率层的金字塔结构;2)设计融合规则对两个金字塔的各个对应层进行融合;3)使用生成金字塔的逆过程进行重构,得到最终的融合图像。塔式分解的优点是实现简单,运算速度快;缺点是不具有方向性,对噪声敏感,重构时不具有稳定性,金字塔各层之间存在冗余。针对这些不足,学者们对塔式分解进行了深入研究。

针对拉普拉斯金字塔得到的融合图像存在对比度不足的问题,Toet等人(1989b)提出低通比率金字塔和对比度金字塔,通过求高斯金字塔中各层图像之间的比率生成对比度金字塔,较好地增强融合图像的对比度。同年,Toet(1989a)提出形态学金字塔,将数学形态学算子代替拉普拉斯金字塔中的高斯线性滤波,融合后的图像保留较多的原图像细节信息。针对对比度金字塔融合算法中噪声敏感问题,Burt(1992)提出梯度金字塔,通过对高斯金字塔各分解层进行梯度方向滤波,在每个分解层上均得到0°,45°,90°,135°这4个方向的细节图像,梯度金字塔分解算法的优点是抗噪性较强,稳定性较好,运算速度快。陈锦和曾东(2007)在传统拉普拉斯金字塔的基础上提出Spline金字塔,在Spline金字塔融合过程中,同时进行滤波和采样,图像清晰度得到提升。针对中值滤波有较好的鲁棒性、对图像自适应光滑等优点,胡学龙和沈洁(2008)提出中值金字塔融合算法,将中值滤波与金字塔相结合成功运用到图像融合领域。针对上述金字塔变换均不具有方向性问题,崔颢(2011)Freeman和Adelson(1991)提出的方向可控金字塔变换引入图像融合领域中,方向可控金字塔变换通过递归卷积和抽样操作完成,具有平移不变性和旋转不变性,可避免图像出现混叠现象。刘斌等人(2017)在对比度金字塔分解的基础上,提出方向对比度金字塔变换,该变换对高频分量进行方向滤波,得到不同方向的高频子分量,以保留较多的方向和细节信息。针对图像融合中出现光晕伪影现象的问题,Kou等人(2018)提出边缘保持平滑金字塔算法,并针对边缘保持平衡金字塔算法复杂性高的问题,提出了混合平滑金字塔算法,该方法在算法的复杂性和融合图像质量之间取得较好的平衡。针对拉普拉斯金字塔不具有平移不变性的问题,刘斌等人(2019b)提出不可分拉普拉斯金字塔的构造方法,利用不可分小波平移不变性的特点,有效地提升空间分辨率。这里以时间为轴梳理出塔式分解的发展历程,具体如图 3所示。

图 3 塔式分解的发展历程
Fig. 3 Development of tower decomposition

2.2 小波变换

Mallat(1989)提出小波变换。小波变换一经提出,受到产业界和工业界的广泛关注。小波变换的图像融合过程分为3步:首先对原图像进行小波变换,得到不同频率层和不同方向的塔型结构;然后设计融合策略分别对高低频子带系数进行融合运算;最后经过小波重构得到融合图像。小波变换具有较好的时频局部性,有方向性。但是不具有方向选择性和平移不变性,容易出现频率混叠现象。本节按时间顺序梳理了小波变换的发展历程。

Li等人(1995)提出基于离散小波变换的图像融合算法,将连续小波中的尺度参数和平移参数离散化,较好地解决突变信号。Uytterhoeven和Bultheel(1998)提出不可分离小波变换图像融合算法,又称Red-Black小波变换,得到的融合图像具有较高空间分辨率。同年,针对离散小波变换的平移敏感性和弱方向性,Kingsbury(1998)提出双树复小波变换,取得较好的融合效果。针对传统提升小波不具有平移不变性的缺点,Lee等人(2000)提出提升静态小波变换,较好地保留图像的纹理和边缘信息。针对正交小波变换容易引起图像边缘失真的问题,刘贵喜等人(2004)提出基于双正交小波变换的图像融合方法,融合后的图像细节信息较丰富。针对传统小波变换的不足,Bayro-Corrochano(2005)提出四元数小波变换,该变换方法为不同尺度提供1个幅值和3个相位信息,有效地提取原图像的细节特征。针对传统小波变换不具有平移不变性,王卫星和曾基兵(2009)提出基于冗余提升不可分离小波变换的图像融合方法。Gilles(2013)提出结合经验模态分解和小波变换信号分析的经验小波变换(empirical wavelet transform, EWT),取得较好的融合效果。针对图像融合领域多源图像自适应分解的协同问题,李雄飞等人(2019)提出协同经验小波变换图像融合方法,有效地提高图像的清晰度。针对EWT分解生成的经验小波互不相关,导致分解后的对应子带不匹配的问题,宫睿和王小春(2020)在EWT的基础上,提出可协调经验小波变换,较好地保留边缘信息。随着小波分析理论的发展和成熟,越来越多的学者研究出新的小波变换,比如四通道不可分加性小波变换(刘斌等,2019a)、双树复四元数小波变换(Guo等,2020)、冗余方向提升小波变换(Song等,2019),在图像融合领域均取得较好的融合效果。这里以时间为序,采用一维有向时间轴梳理小波变换的发展,具体如图 4所示。

图 4 小波变换的发展历程
Fig. 4 The development of wavelet transform

2.3 多尺度几何分析

基于多尺度几何分析的医学图像融合过程如下:首先,对多模态医学图像进行多尺度几何变换,然后, 选择融合策略对高频子带和低频子带进行融合,最后,经过逆变换得到融合图像。多尺度几何分析方法一经提出,就在产业界和工业界有很大的应用。多尺度几何分析的优点是具有多方向性,各向异性,能够有效地表示和处理高维空间数据(沈瑜等,2020),但是多尺度几何分析相对于小波变化,算法复杂性较高。本节以时间为序介绍多尺度几何分析方法的发展历程,并分析它们的特点和目前的研究热点。

Candes(1998)提出脊波(Ridgelet)变换,该变换是一种非自适应的高维函数表示方法,可有效地处理直线和超平面的奇异性。Ridgelet变换是把线状奇异性经过radon变换为点状奇异性。Ridgelet变换的优点是具有时频局部性和方向性。

针对Ridgelet变换不能对曲线奇异进行有效检测的问题。Candes和Donoho(2000)在Ridgelet变换的基础上,提出曲波(Curvelet)变换,Curvelet变换是由一种特殊的滤波和多尺度脊波变换组合而成。Curvelet变换过程如下:首先,对图像进行子带分解,然后,对不同尺度的子图像进行不同大小分块,最后,对每个分块进行Ridgelet分析。

Do和Vetterli(2003)提出轮廓波(Contourlet)变换,Contourlet变换是利用拉普拉斯塔形分解和方向滤波器组实现的多分辨的、局域的、方向的图像表示方法。Contourlet变换过程如下:首先,使用拉普拉斯金字塔算法捕捉点不连续,然后,采用方向滤波器组将不连续的点连接成线性结构。Contourlet变换的优点是具有各向异性。

针对Contourlet变换不具有平移不变性,容易在奇异点附近出现伪吉布斯现象的问题,da Cunha等人(2006)提出NSCT变换(nonsubsampled contourlet transform),NSCT变换是基于非下采样金字塔和非下采样方向滤波器的变换方法。NSCT变换克服了Contourlet变换的平移可变性和方向混叠,消除伪吉布斯现象(王鸿闯,2019)。但是NSCT在融合过程中使用的方向滤波器组是固定的,不能有效地表示不同方向上的复杂空间结构。Guo和Labate(2007)提出剪切波(Shearlet)变换。Shearlet变换计算效率高,对剪切的方向数和支撑大小没有限制,但Shearlet变换会产生伪吉布斯现象。针对Shearlet变换会产生伪吉布斯现象的问题,Easley等人(2008)提出NSST变换(non-subsampled Shearlet transform),NSST变换是在Shearlet变换的基础上,利用卷积替代下采样,NSST变换可以有效地抑制伪吉普斯现象。le Pennec和Mallat(2005)提出Bandelet变换,Bandelet变换是一种基于边缘的图像表示方法,有效地保留原图像的纹理边缘信息。Krommweh(2010)提出Tetrolet变换,可以较好地表达图像的高维纹理特征,但是融合图像对比度低。针对Tetrolet变换的缺点,苑玉彬等人(2020)提出基于Tetrolet变换和自适应脉冲神经网络结合的算法,有效地提升融合图像色彩对比度。

除此之外,多尺度几何分析变换还有surfacelet变换(Li等,2020)、3D Curvelet Transform变换(Baghaie等,2018)、平移不变双树复剪切波变换(Yin等,2017)、离散Ripplet变换(Singh和Anand,2018),楔形波(wedgelet)变换(Donoho,1999)等。目前,使用最广泛的多尺度几何分析方法有基于NSCT变换的图像融合,基于Tetrolet变换的图像融合,基于NSST变换的图像融合和基于Contourlet变换的图像融合。

3 基于多尺度分解的图像融合策略

基于多尺度分解的像素级图像融合规则是依据高低频子带不同的特点,分别设计适合低频子带的融合运算和高频子带的融合规则。本节首先介绍两种多尺度分解通用融合框架,然后依次介绍低频子带融合规则和高频子带融合规则。

3.1 基于多尺度分解的通用融合框架

基于多尺度分解的通用融合框架分为Zhang框架和Piella框架,具体如图 5所示。

图 5 基于多尺度分解的通用融合框架
Fig. 5 A general fusion framework based on multi-scale decomposition

3.1.1 Zhang框架

Zhang和Blum(1999)提出经典的像素级图像融合框架(Zhang框架),将融合过程划分为活动水平测量、系数分组法、系数组合法和一致性验证。首先通过多尺度分解方法分解原图像,然后将分解得到的系数进行活动水平测量,判断系数是否需要分组,并选择策略进行系数组合,最后进行一致性验证。

其中,活动水平测量分为基于像素、基于窗口和基于区域的测量方法。Polinati和Dhuli(2020)使用平均融合规则作为活动水平度量方法。Liu等人(2018)采用改进的拉普拉斯能量和(new sum of modified Laplacian, NSML)为活动水平度量方法。系数组合分为加权平均和最大值选择方法。一致性验证分为基于窗口、基于区域的一致性验证和无验证3种方案。

3.1.2 Piella框架

Piella(2003)受到Zhang框架中将融合过程分块的启发,在Zhang框架的基础上将融合过程分为匹配测度、活性测度、决策模块和合成模块。首先,将原图像多尺度分解,得到的特征信息和匹配程度共同作用于决策模块,然后将得到的融合因子通过合成模块获得融合系数,最后使用多尺度逆变换得到融合图像(Piella框架)。

周涛等人(2017)受到Piella框架的启发,在Piella框架的基础上提出4种像素级医学图像融合路径。第1种融合路径完整地继承了Piella框架;第2种融合路径去除活性测度,因此融合因子由分解后得到的系数之间的匹配程度决定;第3种融合路径去除了Piella框架中的匹配测度,由两幅图像分解后的特异信息决定融合因子;第4种融合路径只有决策模块和合成模块。

3.2 基于多尺度分解的低频子带的融合规则

多尺度变换图像融合过程中,原图像经过多尺度分解得到不同尺度和方向的子带系数,其中,低频子带系数中含有原图像的近似信息,能够较好地保留原图像的背景信息和整体对比度水平。针对传统的低频子带融合策略未考虑原图像的边缘特征,导致融合图像存在对比度低、边缘模糊等问题,许多学者提出新的低频子带融合规则。本文将低频子带融合策略划分为基于像素、区域、模糊理论、稀疏表示和基于聚焦测度的5类融合规则,具体如图 6所示。

图 6 低频子带融合规则
Fig. 6 Low frequency subband fusion rule

3.2.1 基于像素的融合规则

基于像素的低频子带融合规则对单独的像素点直接进行处理,优点是计算速度快、简单易实现、缺点是未考虑相邻像素之间的相关性,融合效果较差。基于像素的低频子带融合规则如图 7所示。

图 7 基于像素的融合规则
Fig. 7 Pixel-based fusion rules

1) 平均融合规则通过计算两幅图像低频子带相应像素的平均值,对低频子带系数进行融合。Chavan等人(2017)Dogan等人(2018)采用平均融合规则作为低频子带融合方法。该方法的优点是可以平滑特征,缺点是会降低图像对比度。

2) 针对平均融合规则未考虑原图像的边缘特征,融合后的图像存在对比度低和边缘模糊等问题,Jin等人(2018a)Chen等人(2020)选取像素绝对值最大融合规则作为低频子带系数的融合方法,该方法有效地保留了原图像的详细信息。

3) 加权平均融合规则的优点是简单易实现,运算速度快,缺点是会降低图像对比度,导致图像边缘模糊。Yan等人(2020)采用加权平均规则融合低频子带系数。Gharbia等人(2018)使用群花授粉优化算法优化低频子带的加权平均权重,有较好的融合效果。

4) 自适应加权融合规则是自适应调整融合权值。Cheng等人(2018a)将基于显著性检测的自适应加权算法作为低频子带融合规则,提出频率调谐法计算图像显著性,生成显著图作为加权函数。Cheng等人(2018b)采用潜在低秩表示来指导低通子图像的自适应加权融合,取得较好的融合效果。

3.2.2 基于区域的融合规则

基于区域的低频子带融合规则考虑了区域内各像素之间的相关性,把每个像素都看成区域的一部分,利用区域内的信息指导图像融合,提高图像融合质量。基于区域的低频子带融合规则如图 8所示。

图 8 基于区域的融合规则
Fig. 8 Region-based fusion rules

1) 主成分分析旨在将数据从原始空间传输到特征空间,通过保留最大特征向量的分量,增大方差并减少协方差,突出显示低频子带的轮廓特征。Ding等人(2018)Aymaz和Köse(2019)采用主成分分析融合规则融合低频子带,减少冗余数据并提取原图像的轮廓特征。

2) 区域方差最大值融合规则是将低频子带的区域方差作为融合算子,取低频子带的局部方差最大值作为融合后低频子带的对应像素值。Chen等人(2019)采用区域方差最大值融合规则融合低频子带系数,有效地提高图像融合质量。

3) 针对平均融合规则容易引入伪影的问题,Meng等人(2019)采用NSCT将原图像分为高频部分和低频部分,低频部分采用局部能量最大值进行融合,有效地克服平均融合规则引入的伪影问题。

4) Canny边缘检测器可以有效地检测图像边缘信息,同时Hessian特征描述符可以突出原图像的细节信息,Vishwakarma等人(2018)利用尺度相乘的Canny边缘检测器和Hessian特征叠加得到的描述符号对低频波段进行融合,取得较好的融合效果。

5) Gabor能量可以改善稀疏表示融合规则引起的融合图像空间不一致性问题。Hu等人(2020)使用Gabor能量作为权重因子指导低频分量融合,进一步提高平坦区域低显著性特征的融合程度。

3.2.3 基于模糊集理论的融合规则

针对低频子带图像融合过程中存在混淆轮廓特征的噪声,导致融合图像模糊的问题,基于模糊集理论的融合规则把图像看做灰度的模糊集合,整幅图像用模糊矩阵表示,采用一定的算法对模糊矩阵进行求解,可有效地解决图像融合过程中的模糊问题。基于模糊集理论的融合规则的分类如图 9所示。

图 9 基于模糊理论的融合规则
Fig. 9 Fusion rules based on fuzzy theory

1) 针对低频子带融合过程中存在的模糊问题,Wang等人(2019)采用模糊推理系统融合低频子带。模糊推理系统细分为模糊集合理论、模糊推理方法和模糊逻辑理论,前两者为基础,模糊逻辑理论为主要计算工具,低频图像的像素值经过模糊处理后分布更加平滑。

2) 针对图像融合过程中存在不确定性问题,即模糊问题,Cai等人(2019)采用改进的模糊集构建高斯隶属函数模型对低频子带进行融合,该方法根据原图像的强度分布特性,自适应地调整功能模型中的参数,有效地增强了融合的自适应性。

3) 模糊逻辑是利用模糊逻辑集合的不确定性,处理图像融合中的不确定问题。Ullah等人(2020)使用隶属函数的局部能量和熵实现模糊集,在隶属函数之间使用模糊规则计算融合系数中每个像素的权重,有效地提高融合图像的对比度。

3.2.4 基于稀疏表示的融合规则

针对低频子带系数不具有稀疏性,不能有效地保留原图像细节信息的问题,基于稀疏表示的低频子带融合规则如下:首先将每个低频子图像按照某个“滑动窗口”划分为图像块,然后按字典顺序将这些块转化为矢量,生成训练矩阵,最后采用合适的算法应用于训练矩阵,得到低频子带的稀疏字典,生成低频子带中的稀疏系数(Zhang等,2018)。基于稀疏表示的低频子带融合规则的优点是可以有效地分离细节信息和干扰噪声,缺点是由于字典中包含的原子数量是有限的,因此稀疏表示只能提取图像中的显著特征,不能保留某些详细信息。针对稀疏表示融合规则的缺点,许多学者进行深入研究,提出新的改进方法,比如,新颖的拉普拉斯能量和(new sum of modified Laplacian, NSML)、扩展的改进拉普拉斯和(extended sum of modified Laplacian, ESML)和稀疏K-SVD(singular value decomposition)字典,具体如图 10所示。

图 10 基于稀疏表示的融合规则
Fig. 10 Fusion rules based on sparse representation

1) Yin等人(2017)提出NSML结合S形函数和子带系数计算稀疏向量活动水平,该方法比绝对值最大融合规则保留更多的细节信息。

2) Aishwarya和Thangammal(2018)提出一种新的稀疏表示融合规则来融合低频子带,利用LARS(least attained recent service)算法估计稀疏系数,并利用ESML定义一种新的融合规则来合成稀疏矢量,该融合规则的计算效率较高。

3) 稀疏字典的优点是具有自适应性。Cai等人(2017)Wang(2019)等人采用新颖的稀疏K-SVD字典学习非稀疏低频子带系数,与传统的稀疏表示方法相比,该方法有效地保留了图像细节特征。

3.2.5 基于聚焦测度的融合规则

基于聚焦测度的融合规则是选择特征最显著的像素或区域作为融合图像的相应像素或区域,与基于像素的融合规则相比,该方法的优点是可以保留较多的空间信息。聚焦测度融合方法分类具体如图 11所示。

图 11 基于聚焦测度的融合规则
Fig. 11 Fusion rules based on focusing measure

1) 在聚焦测度中,空间频率可以较好地表示图像清晰度,图像的局部特征是由多个像素决定的,并且区域内像素是相互关联的。Meng等人(2017)通过计算每个区域的空间频率对低频子带进行融合,取得较好的融合效果。

2) 局部空间频率较好地表示图像区域细节信息。Jin等人(2018b)提出基于局部空间频率的低频子带融合规则,使用局部空间频率增强离散余弦变换系数的区域特征,依据局部空间频率的值来选择高质量的离散余弦变换系数进行融合,提高了图像融合质量。

3) 多尺度形态梯度算法的优点是具有较强的预测和区分能力,缺点是计算效率低,有时无法检测到聚焦结果,而分形维数的优点是可以分析和处理图像的纹理特征,达到和人类视觉感知图像表面纹理粗糙程度一致。Panigrahy等人(2020)提出将多尺度形态梯度算法和基于分形维数的聚焦测量相乘的融合策略,得到较好的低频子带融合效果。

3.3 基于多尺度分解的高频子带的融合规则

经过多尺度分解得到的高频子带保留了原图像丰富的纹理信息。基于绝对值最大的融合规则是高频子带融合规则中较为传统的方法,该方法简单易实现,但忽略了像素的邻域相关性,导致融合图像模糊。为了得到更好的融合效果,学者们对高频子带融合规则进行深入研究。本节系统地梳理了基于像素、边缘、区域、稀疏表示和基于神经网络的5类高频子带融合策略,具体如图 12所示。

图 12 高频子带融合规则
Fig. 12 High frequency subband fusion rule

3.3.1 基于像素的融合规则

与基于像素的低频子带融合规则的不同,高频子带融合规则需要保留更丰富的边缘和轮廓信息。基于像素的低频子带融合规则是平滑处理,比如加权平均规则、自适应加权平均规则。这些方法在减少噪声时,造成图像边缘模糊,不适应高频子带的融合。绝对值较大的高频系数包含原图像丰富的边缘信息,因此在高频子带融合规则中常见的有系数绝对值最大融合方法、像素最大SML(sum modified Laplacian)值融合规则和像素最大新颖的拉普拉斯能量和NSML值融合规则,具体如图 13所示。

图 13 基于像素的融合规则
Fig. 13 Pixel-based fusion rules

1) 绝对值最大的高频系数表示图像对比度变化最大的边缘特征。Meng等人(2017)Aishwarya和Thangammal (2018)Cheng等人(2018a)Chen等人(2019)均对高频子带采用系数最大绝对值融合规则,较好地保留图像轮廓信息。

2) 详细信息主要在高频子带中,并且SML可以较好地反映图像的显著特征。Liu等人(2018)使用像素最大SML值融合规则融合高频子带,取得较好的融合效果。

3) Ullah等人(2020)通过计算比较每个高频子带NSML值,对高频子带融合系数进行选择。该方法有效地抑制了图像的颜色失真。

3.3.2 基于边缘的融合规则

基于边缘强度的高频子带融合规则通过比较每个像素的边缘强度,当系数特征突出时,边缘强度会更大,选择边缘强度较高的频率系数进行融合,最大程度地保留了高频系数特征。基于边缘的融合规则的分类如图 14所示。

图 14 基于边缘的融合规则
Fig. 14 Edge-based fusion rules

1) Anandhi和Valli (2018)在NSCT分解原图像的基础上,采用最大边缘强度融合规则来融合高频子带,最大限度地保留边缘和纹理信息。

2) 边缘保持滤波器是图像融合领域中的研究热点。引导图像滤波器在边缘保持方面具有出色的性能。Liu等人(2019a)在冗余提升不可分剪切波分解原图像的基础上,采用基于引导滤波的加权平均方法作为融合规则,较好地保留了图像的边缘细节。

3.3.3 基于区域的融合规则

基于区域的高频子带融合规则更关注图像的边缘区域,通过增强图像的边缘区域特征,得到轮廓对比度更清晰的融合图像。基于区域的高频子带融合规则分类如图 15所示。

图 15 基于区域的融合规则
Fig. 15 Fusion rules based on region

1) 平均梯度能够反映图像的边缘细节。针对绝对值最大融合规则会导致图像的边缘细节大量丢失,Cheng等人(2018b)使用平均梯度计算得到高频子带最终的融合系数,更好地保留图像的边缘细节。

2) Cheng等人(2018c)提出改进的平均梯度融合规则,在平均梯度的基础上,增加两个对角梯度变换,该规则更加完整地融合两个高频图像的边缘信息。

3) 反锐化掩膜融合规则通过增强图像的高频子带系数对图像边缘信息进行增强。Vishwakarma等人(2018)提出基于反锐化掩膜的高频子带融合规则。该方法比基于梯度和基于空间频率的融合规则更简单。

4) 欧几里得距离直观地反映了每个像素之间的距离比。通过分析欧氏距离,在相邻像素的计算中加入相应的距离影响因子,得到的值更接近于图像的真实情况。Cai等人(2019)采用对比分析结合欧几里得距离作为高频融合准则,得到的融合图像质量较好。

5) 针对不同传感器获得的图像之间存在灰度分布差异,高频特征不能充分显示。Cai等人(2017)提出四阶相关系数匹配策略融合高频子带系数,该方法充分考虑了高频子带中像素的邻域相关性。

3.3.4 基于稀疏表示的融合规则

基于稀疏表示的融合规则不仅可以融合不具有稀疏性的低频子带,还可以对近似稀疏的高频子带进行融合。针对传统的稀疏表示方法不能有效地利用图像纹理的相关性和结构信息等问题,许多学者提出改进的稀疏表示高频子带融合规则,具体如图 16所示。

图 16 基于稀疏表示的融合规则
Fig. 16 Fusion rules based on sparse representation

1) 针对基于NSST分解得到的高频图像含有不同方向的信息,传统的高频子带融合规则不能较好地保留原图像稀疏结构的问题。Ding等人(2018)在NSST分解原图像的基础上,提出多尺度卷积稀疏表示融合规则,使用字典卷积的稀疏系数矩阵,获得与图像块相似度最大的值,将其表示为该图像块的结构特征,从而获得高频稀疏结构的响应图,该方法取得较好的融合效果。

2) Hu等人(2020)使用可分离的字典学习方法融合高频子带。该方法可以增加基于NSCT分解的图像稀疏度,在不增加字典冗余的情况下,有效地抑制噪声,并提高纹理特征的维数和准确性。

3.3.5 基于神经网络的融合规则

神经网络方法是模拟人脑的感知行为来处理神经信息。该方法的优点是容错性强、抗噪性强。基于神经网络的高频子带融合规则是图像融合领域的研究热点。本节总结了5种基于神经网络的融合规则,具体如图 17所示。

图 17 基于神经网络的融合规则
Fig. 17 Fusion rules based on neural networks

1) 双通道脉冲耦合神经网络的优点是具有全局耦合、神经元脉冲同步,缺点是需要手动设置参数。针对此缺点,Panigrahy等人(2020)提出参数自适应双通道脉冲耦合神经网络作为高频子带融合规则,该方法使用自适应连接强度,将不同的值分配给不同像素,融合效果较好。

2) 针对脉冲耦合神经网络不具有自适应性,以及使用单个像素值作为外部输入,导致图像的详细信息丢失的问题,Yin等人(2017)提出简化的自适应双通道脉冲耦合神经网络融合规则来融合高频子带,取得较好的融合效果。Cheng等人(2018d)采用改进的双通道脉冲耦合神经网络模型作为高通子图像的融合规则,提高了图像融合质量。

3) 简化脉冲耦合神经网络可以有效地描述图像的细节信息,交叉皮质模型可以提取图像更大范围的边缘细节信息。Jin等人(2018a)提出简化脉冲耦合神经网络结合交叉皮质模型的高频子带融合规则,准确地捕获图像的详细信息。

4) Li等人(2020)提出动态阈值神经膜系统的高频融合规则。由于空间频率可用于表达图像的空间分布、边缘和纹理特征,因此,使用多焦点图像的高频系数的空间频率特征矩阵作为动态阈值神经膜系统的外部输入,并使用相应的输出来控制高频融合规则,提高图像融合质量。

4 医学图像融合

多模态医学图像融合旨在将两幅或两幅以上原图像的互补特征融合到单幅图像中。在医学影像领域,依据成像方式的不同,分为结构成像和功能成像两大类。结构成像技术细分为CT和MRI;功能成像技术细分为正电子发射断层扫描(PET)和单光子发射计算机断层扫描(single-photon emission computed tomography, SPECT)(卢彦斌, 2012)。

每种成像技术都有各自的优缺点,比如MRI图像软组织分辨率高,具有病理性软组织的详细信息,但是对骨骼和钙化病变的分辨率不如CT图像高;CT图像的密度分辨率高,具有清晰的骨骼结构信息,但是对软组织分辨率不高。因此,Chavan等人(2017)在神经脑囊虫病临床领域,将CT和MRI图像进行融合,融合后的图像同时显示钙化囊肿和该疾病的颗粒状结节的软组织病变,有利于疾病的诊断和治疗。PET图像可用于定量和动态检测人体中的代谢物质或药物,将PET和CT融合在一起以进行肺癌诊断(周涛等,2017)。由此可见,多模态医学图像融合技术可以更好地帮助医生对疾病进行精确的诊断和治疗。

在医学图像融合领域,基于多尺度变换的图像融合技术是研究的热点。本节综述12种多模态医学图像融合。具体如图 18所示。

图 18 多模态医学图像融合
Fig. 18 Multimodal medical image fusion

在双模态的医学图像融合领域,学者们尝试很多新的多尺度融合方法对医学图像进行融合。Haddadpour等人(2017)提出基于2维希尔伯特变换和IHS(intensity-hue-saturation)方法,将PET与MRI图像融合。Daniel等人(2017)提出一种新的基于最佳拉普拉斯变换的小波掩膜融合方法,混合布谷鸟搜索—灰狼优化算法优化多尺度参数。与现有技术相比,该融合算法在MR/PET、MR/SPECT、MR/CT、MR_T1/ MR_T2等方面均取得较好的效果。Polinati和Dhuli(2020)提出基于经验小波分解和局部能量最大值的多峰医学图像融合,将MRI/CT和PET/SPECT成像模态中获得的结构和空间信息较好地融合。Xu等人(2020)使用改进的鲨鱼气味优化算法和混合小波同态滤波器的医学图像融合,该算法在5种不同的临床图像MR_T1/MR_T2,CT/MR_T2,MR_T1/FDG,MR_T2/SPET(single photon emission tomography),CT/MR上进行模拟实验,取得较好的效果。Ullah等人(2020)提出基于非亚采样剪切变换域的局部特征模糊集和NSML的组合方法,融合MRI/PET医学影像,以及MRI/SPECT医学影像,融合图像在诊断和临床应用中发挥重要作用。Hu等人(2020)提出一种新的NSCT领域的多模态医学图像融合方法,该方法在MR_T1/MRA(magnetic resonance angiography),CT/MRI,MR_Gd/MR_T2,MR_1/MR_T2中进行模拟实验,融合后的图像在亮度和细节纹理保留方面都取得较好的效果。Singh和Anand(2018)提出一种基于DRT(discrete ripplet transform)分解,NSML和NMSF(novel sum modified spatial frequency)激励的BIFNN(biologically inspired feedback neural network)模型融合CT/MR图像的框架。Meng等人(2019)提出基于潜在低秩表示和梯度转移的MRI/CT融合。周涛等人(2017)提出基于Piella框架和DT-CWT(dual tree complex wavelet transform)的肺癌PET/CT自适应融合算法。

除了常见的双模态的医学影像融合之外,Jin等人(2018a)提出将CT、MRI和PET图像融合成单一图像的新方法。在HSV(hue, saturation, value)颜色空间中设计两阶段融合的方法来融合这3种图像。采用两种简化的PCNN(pulse coupled neural network)模型融合NSST的高频系数。与其他方法相比,该方法能够融合多模态医学图像中更多的细节,并在提取和融合3种多模态医学图像的特征方面表现良好。融合后的CT/MRI/PET图像比融合前的CT/PET和MRI/PET图像包含更全面的信息。

5 结语

基于多尺度变换的医学图像融合是像素级图像融合方法中的一个重要分支。本文围绕多尺度变换像素级医学图像融合方法,对多尺度分解方法和融合规则进行了分类总结,通过综述最新方法和应用,发现基于多尺度变换的像素级医学图像融合不仅是学术研究问题,也是工程问题。本节围绕融合算法发展方向和工程发展方向,分别阐述了多尺度变换像素级医学图像融合的研究热点和挑战。

在融合算法方面:1)PET/CT,PET/MR等融合方法已趋于成熟,但超声影像与其他多模态医学影像的融合仍然面临重大挑战;2)针对多尺度变换像素级图像融合方法,如何在经典变换方法的基础上探索新算法,或者尝试与其他算法结合进行级联分解,值得进一步探究;3)融合规则的选择对最终融合图像的质量有很大的影响,面对不同的多尺度变换方法,如何选择合适的融合规则仍然是主要的研究问题;4)3D融合医学图像融合也是研究的热点。

在工程方面:1)医学成像设备价格昂贵,并且成像机理具有多源性和复杂性的特点,如何在图像预处理过程中进行精确配准仍是未来的热点;2)随着多模态PET/CT,PET/MR一体机等先进的检查设备在临床上得到初步应用,如何在更高层次对疾病进行定量分析以及软件平台的开发成为新的热点;3)虽然像素级医学图像融合取得很大的进步,但在实际临床应用中仍有很多困难,如何提升融合算法的运行速度和精确度,促进计算机辅助诊断的发展也是今后的重要研究内容。

基于多尺度变换的像素级医学图像融合方法在临床诊断和提高计算机辅助系统的精度和性能方面有广泛的应用,在医学图像分析和处理领域发挥着重要作用。

参考文献

  • Aishwarya N, Thangammal C B. 2018. Visible and infrared image fusion using DTCWT and adaptive combined clustered dictionary. Infrared Physics and Technology, 93: 300-309 [DOI:10.1016/j.infrared.2018.08.013]
  • Anandhi D, Valli S. 2018. An algorithm for multi-sensor image fusion using maximum a posteriori and nonsubsampled contourlet transform. Computers and Electrical Engineering, 65: 139-152 [DOI:10.1016/j.compeleceng.2017.04.002]
  • Aymaz S, Köse C. 2019. A novel image decomposition-based hybrid technique with super-resolution method for multi-focus image fusion. Information Fusion, 45: 113-127 [DOI:10.1016/j.inffus.2018.01.015]
  • Baghaie A, Schnell S, Bakhshinejad A, Fathi M F, D'Souza R M, Rayz V L. 2018. Curvelet transform-based volume fusion for correcting signal loss artifacts in time-of-flight magnetic resonance angiography data. Computers in Biology and Medicine, 99: 142-153 [DOI:10.1016/j.compbiomed.2018.06.008]
  • Baskaran K, Malathi R, Thirusakthimurugan P. 2018. Feature fusion for FDG-PET and MRI for automated extra skeletal bone sarcoma classification. Materials Today: Proceedings, 5(1): 1879-1889 [DOI:10.1016/j.matpr.2017.11.289]
  • Bayro-Corrochano E. 2005. Multi-resolution image analysis using the quaternion wavelet transform. Numerical Algorithms, 39(1-3): 35-55 [DOI:10.1007/s11075-004-3619-8]
  • Burt P J and Adelson E H. 1984. Merging images through pattern decomposition//Proceedings of SPIE 0575, Applications of Digital Image Processing VⅢ. San Diego, USA: SPIE: 173-181[DOI: 10.1117/12.966501]
  • Burt P J. 1992. A gradient pyramid basis for pattern-selective image fusion//Processings of the Society for Information Display Conference. San Jose, USA: SID Press: 467-470
  • Cai H Y, Zhuo L R, Chen X D, Zhang W Q. 2019. Infrared and visible image fusion based on BEMSD and improved fuzzy set. Infrared Physics and Technology, 98: 201-211 [DOI:10.1016/j.infrared.2019.03.013]
  • Cai J J, Cheng Q M, Peng M J, Song Y. 2017. Fusion of infrared and visible images based on nonsubsampled contourlet transform and sparse K-SVD dictionary learning. Infrared Physics and Technology, 82: 85-95 [DOI:10.1016/j.infrared.2017.01.026]
  • Candes E J. 1998. Ridgelets: Theory and Applications. Stanford: Stanford University: 62-74
  • Candes E J and Donoho D L. 2000. Curvelets-A surprisingly effective nonadaptive representation for objects with edges[EB/OL]. [2020-11-12]. https://www.researchgate.net/publication/2629468
  • Chavan S S, Mahajan A, Talbar S N, Desai S, Thakur M, D'cruz A. 2017. Nonsubsampled rotated complex wavelet transform (NSRCxWT) for medical image fusion related to clinical aspects in neurocysticercosis. Computers in Biology and Medicine, 81: 64-78 [DOI:10.1016/j.compbiomed.2016.12.006]
  • Chen J, Zeng D. 2007. Image fusion algorithm based on spline pyramid. Experiment Science and Technology, 5(1): 129-131 (陈锦, 曾东. 2007. 基于Spline金字塔的图像融合方法. 实验科学与技术, 5(1): 129-131) [DOI:10.3969/j.issn.1672-4550.2007.01.045]
  • Chen J, Li X J, Luo L B, Mei X G, Ma J Y. 2020. Infrared and visible image fusion based on target-enhanced multiscale transform decomposition. Information Sciences, 508: 64-78 [DOI:10.1016/j.ins.2019.08.066]
  • Chen Y, Deng N, Xin B J, Xing W Y, Zhang Z Y. 2019. Nonwovens structure measurement based on NSST multi-focus image fusion. Micron, 123: #102684 [DOI:10.1016/j.micron.2019.102684]
  • Cheng B Y, Jin L X, Li G N. 2018d. A novel fusion framework of visible light and infrared images based on singular value decomposition and adaptive DUAL-PCNN in NSST domain. Infrared Physics and Technology, 91: 153-163 [DOI:10.1016/j.infrared.2018.04.004]
  • Cheng B Y, Jin L X, Li G N. 2018a. Adaptive fusion framework of infrared and visual image using saliency detection and improved dual-channel PCNN in the LNSST domain. Infrared Physics and Technology, 92: 30-43 [DOI:10.1016/j.infrared.2018.04.017]
  • Cheng B Y, Jin L X, Li G N. 2018b. General fusion method for infrared and visual images via latent low-rank representation and local non-subsampled shearlet transform. Infrared Physics and Technology, 92: 68-77 [DOI:10.1016/j.infrared.2018.05.006]
  • Cheng B Y, Jin L X, Li G N. 2018c. Infrared and visual image fusion using LNSST and an adaptive dual-channel PCNN with triple-linking strength. Neurocomputing, 310: 135-147 [DOI:10.1016/j.neucom.2018.05.028]
  • Cui H. 2011. An image fusion algorithm based on steerable pyramid. Aeronautical Computing Technique, 41(4): 24-27 (崔颢. 2011. 基于方向可控金字塔的图像融合算法. 航空计算技术, 41(4): 24-27) [DOI:10.3969/j.issn.1671-654X.2011.04.007]
  • da Cunha A L, Zhou J, Do M N. 2006. The nonsubsampled contourlet transform: theory, design, and applications. IEEE Transactions on Image Processing, 15(10): 3089-3101 [DOI:10.1109/TIP.2006.877507]
  • Daniel E, Anitha J, Gnanaraj J. 2017. Optimum laplacian wavelet mask based medical image using hybrid cuckoo search-grey wolf optimization algorithm. Knowledge-Based Systems, 131: 58-69 [DOI:10.1016/j.knosys.2017.05.017]
  • Ding W S, Bi D Y, He L Y, Fan Z L. 2018. Infrared and visible image fusion method based on sparse features. Infrared Physics and Technology, 92: 372-380 [DOI:10.1016/j.infrared.2018.06.029]
  • Do M N, Vetterli M. 2003. Contourlets. Studies in Computational Mathematics, 10: 83-105 [DOI:10.1016/S1570-579X(03)80032-0]
  • Dogan H, Baykal E, Ekinci M, Ercin M E, Ersoz S. 2018. A novel extended depth of field process based on nonsubsampled shearlet transform by estimating optimal range in microscopic systems. Optics Communications, 429: 88-99 [DOI:10.1016/j.optcom.2018.08.006]
  • Donoho D L. 1999. Wedgelets: nearly minimax estimation of edges. The Annals of Statistics, 27(3): 859-897 [DOI:10.1214/aos/1018031261]
  • Easley G, Labate D, Lim W Q. 2008. Sparse directional image representations using the discrete shearlet transform. Applied and Computational Harmonic Analysis, 25(1): 25-46 [DOI:10.1016/j.acha.2007.09.003]
  • Freeman W T, Adelson E H. 1991. The design and use of steerable filters. IEEE Transactions on Pattern Analysis and Machine Intelligence, 13(9): 891-906 [DOI:10.1109/34.93808]
  • Gharbia R, Hassanien A E, El-Baz A H, Elhoseny M, Gunasekaran M. 2018. Multi-spectral and panchromatic image fusion approach using stationary wavelet transform and swarm flower pollination optimization for remote sensing applications. Future Generation Computer Systems, 88: 501-511 [DOI:10.1016/j.future.2018.06.022]
  • Gilles J. 2013. Empirical wavelet transform. IEEE Transactions on Signal Processing, 61(16): 3999-4010 [DOI:10.1109/TSP.2013.2265222]
  • Gong R, Wang X C. 2020. Multi-focus image fusion method based on C-EWT. Computer Engineering and Applications, 56(2): 201-210 (宫睿, 王小春. 2020. 基于可协调经验小波变换的多聚焦图像融合. 计算机工程与应用, 56(2): 201-210) [DOI:10.3778/j.issn.1002-8331.1810-0130]
  • Guo K H, Labate D. 2007. Optimally sparse multidimensional representation using shearlets. SIAM journal on mathematical analysis, 39(1): 298-318 [DOI:10.1137/060649781]
  • Guo L Q, Cao X, Liu L. 2020. Dual-tree biquaternion wavelet transform and its application to color image fusion. Signal Processing, 171 [DOI:10.1016/j.sigpro.2020.107513]
  • Haddadpour M, Daneshvar S, Seyedarabi H. 2017. PET and MRI image fusion based on combination of 2-D Hilbert transform and IHS method. Biomedical Journal, 40(4): 219-225 [DOI:10.1016/j.bj.2017.05.002]
  • Hu Q, Hu S H, Zhang F Z. 2020. Multi-modality medical image fusion based on separable dictionary learning and Gabor filtering. Signal Processing: Image Communication, 83 [DOI:10.1016/j.image.2019.115758]
  • Hu X L, Shen J. 2008. An algorithm on image fusion based on median pyramid. Microelectronics and Computer, 25(9): 165-167 (胡学龙, 沈洁. 2008. 一种基于中值金字塔的图像融合算法. 微电子学与计算机, 25(9): 165-167) [DOI:10.19304/j.cnki.issn1000-7180.2008.09.051]
  • Huang F S. 2018. Comparision of Multiscale Transform Fusion Methods for Multiband Image. Taiyuan: North University of China (黄福升. 2018. 多波段图像多尺度变换融合方法比较. 太原: 中北大学)
  • Jin X, Chen G, Hou J Y, Jiang Q, Zhou D M, Yao S W. 2018a. Multimodal sensor medical image fusion based on nonsubsampled shearlet transform and S-PCNNs in HSV space. Signal Processing, 153: 379-395 [DOI:10.1016/j.sigpro.2018.08.002]
  • Jin X, Jiang Q, Yao S W, Zhou D M, Nie R C, Lee S J, He K J. 2018b. Infrared and visual image fusion method based on discrete cosine transform and local spatial frequency in discrete stationary wavelet transform domain. Infrared Physics and Technology, 88: 1-12 [DOI:10.1016/j.infrared.2017.10.004]
  • Kingsbury N G. 1998. The dual-tree complex wavelet transform: a new technique for shift invariance and directional filters//Proceedings of the 8th IEEE Digital Signal Processing Workshop, Bryce Canyon. Piscataway, USA: IEEE: 86-89
  • Kou F, Li Z G, Wen C Y, Chen W H. 2018. Edge-preserving smoothing pyramid based multi-scale exposure fusion. Journal of Visual Communication and Image Representation, 53: 235-244 [DOI:10.1016/j.jvcir.2018.03.020]
  • Krommweh J. 2010. Tetrolet transform: a new adaptive Haar wavelet algorithm for sparse image representation. Journal of Visual Communication and Image Representation, 21(4): 364-374 [DOI:10.1016/j.jvcir.2010.02.011]
  • Kulkarni S C, Rege P P. 2020. Pixel level fusion techniques for SAR and optical images: a review. Information Fusion, 59: 13-29 [DOI:10.1016/j.inffus.2020.01.003]
  • le Pennec E, Mallat S. 2005. Sparse geometric image representations with bandelets. IEEE Transactions on Image Processing, 14(4): 423-438 [DOI:10.1109/TIP.2005.843753]
  • Lee C S, Lee C K, Yoo K Y. 2000. New lifting based structure for undecimated wavelet transform. Electronics Letters, 36(22): 1894-1895 [DOI:10.1049/el:20001294]
  • Li B, Peng H, Wang J, Huang X N. 2020. Multi-focus image fusion based on dynamic threshold neural P systems and surfacelet transform. Knowledge-Based Systems, 196: #105794 [DOI:10.1016/j.knosys.2020.105794]
  • Li H, Manjunath B S, Mitra S K. 1995. Multisensor image fusion using the wavelet transform. Graphical Models and Image Processing, 57(3): 235-245 [DOI:10.1006/gmip.1995.1022]
  • Li S T, Kang X D, Fang L Y, Hu J W, Yin H T. 2017. Pixel-level image fusion: a survey of the state of the art. Information Fusion, 33: 100-112 [DOI:10.1016/j.inffus.2016.05.004]
  • Li X F, Song L, Zhang X L. 2019. Remote sensing image fusion based on cooperative empirical wavelet transform. Journal of Jilin University (Engineering and Technology Edition), 49(4): 1307-1319 (李雄飞, 宋璐, 张小利. 2019. 基于协同经验小波变换的遥感图像融合. 吉林大学学报: 工学版, 49(4): 1307-1319) [DOI:10.13229/j.cnki.jdxbgxb20180371]
  • Liu B, Chen W J, Xin J N. 2019a. Multifocus image fusion based on four channel non-separable additive wavelet. Computer Science, 46(7): 268-273 (刘斌, 谌文江, 辛迦楠. 2019a. 基于四通道不可分加性小波的多聚焦图像融合. 计算机科学, 46(7): 268-273) [DOI:10.11896/j.issn.1002-137X.2019.07.041]
  • Liu B, Dong D, Chen J L. 2017. Image fusion method based on directional contrast pyramid. Chinese Journal of Quantum Electronics, 34(4): 405-413 (刘斌, 董迪, 陈俊霖. 2017. 基于方向性对比度金字塔的图像融合方法. 量子电子学报, 34(4): 405-413) [DOI:10.3969/j.issn.1007-5461.2017.04.005]
  • Liu B, Xin J N, Chen W J, Xiao H Y. 2019b. Construction of non-separable Laplacian pyramid and its application in multi-spectral image fusion. Journal of Computer Applications, 39(2): 564-570 (刘斌, 辛迦楠, 谌文江, 肖惠勇. 2019b. 不可分拉普拉斯金字塔构造及其在多光谱图像融合中的应用. 计算机应用, 39(2): 564-570) [DOI:10.11772/j.issn.1001-9081.2018061346]
  • Liu G X, Zhao S G, Chen W J. 2004. A multi-resolution image fusion scheme using biorthogonal wavelet transform. Opto-Electronic Engineering, 31(4): 50-53 (刘贵喜, 赵曙光, 陈文锦. 2004. 双正交小波变换多分辨率图像融合方法. 光电工程, 31(4): 50-53) [DOI:10.3969/j.issn.1003-501X.2004.04.014]
  • Liu L, Song M H, Peng Y X, Li J. 2019a. A novel fusion framework of infrared and visible images based on RLNSST and guided filter. Infrared Physics and Technology, 100: 99-108 [DOI:10.1016/j.infrared.2019.05.019]
  • Liu X B, Mei W B, Du H Q. 2018. Multi-modality medical image fusion based on image decomposition framework and nonsubsampled shearlet transform. Biomedical Signal Processing and Control, 40: 343-350 [DOI:10.1016/j.bspc.2017.10.001]
  • Liu Y Y, Zhou D M, Nie R C, Hou R C, Ding Z S, Guo Y B, Zhou J W. 2020. Robust spiking cortical model and total-variational decomposition for multimodal medical image fusion. Biomedical Signal Processing and Control, 61: #101996 [DOI:10.1016/j.bspc.2020.101996]
  • Liu Z, Song Y Q, Sheng V S, Xu C Y, Maere C, Xue K F, Yang K. 2019b. MRI and PET image fusion using the nonparametric density model and the theory of variable-weight. Computer Methods and Programs in Biomedicine, 175: 73-82 [DOI:10.1016/j.cmpb.2019.04.010]
  • Lu Y B. 2012. Comparision of Multiscale Transform Fusion Methods for Multiband Image. Beijing: Peking University (卢彦斌. 2012. X射线CT成像技术与多模态层析成像技术研究. 北京: 北京大学)
  • Mallat S G. 1989. A theory for multiresolution signal decomposition: the wavelet representation. IEEE Transactions on pattern analysis and machine intelligence, 11(7): 674-693 [DOI:10.1109/34.192463]
  • Meng F J, Song M, Guo B L, Shi R X, Shan D L. 2017. Image fusion based on object region detection and non-subsampled contourlet transform. Computers and Electrical Engineering, 62: 375-383 [DOI:10.1016/j.compeleceng.2016.09.019]
  • Meng L Y, Guo X P, Li H G. 2019. MRI/CT fusion based on latent low rank representation and gradient transfer. Biomedical Signal Processing and Control, 53: #101536 [DOI:10.1016/j.bspc.2019.04.013]
  • Panigrahy C, Seal A, Mahato N K. 2020. Fractal dimension based parameter adaptive dual channel PCNN for multi-focus image fusion. Optics and Lasers in Engineering, 133: #106141 [DOI:10.1016/j.optlaseng.2020.106141]
  • Piella G. 2003. A general framework for multiresolution image fusion: from pixels to regions. Information Fusion, 4(4): 259-280 [DOI:10.1016/S1566-2535(03)00046-0]
  • Polinati S, Dhuli R. 2020. Multimodal medical image fusion using empirical wavelet decomposition and local energy maxima. Optik, 205: #163947 [DOI:10.1016/j.ijleo.2019.163947]
  • Rajalingam B, Priya R, Bhavani R. 2019. Hybrid multimodal medical image fusion using combination of transform techniques for disease analysis. Procedia Computer Science, 152: 150-157 [DOI:10.1016/j.procs.2019.05.037]
  • Shen Y, Chen X P, Yang Q. 2020. Image fusion of multidirectional sum modified Laplacian and tetrolet transform. Journal of Image and Graphics, 25(4): 721-731 (沈瑜, 陈小朋, 杨倩. 2020. 多方向Laplacian能量和与tetrolet变换的图像融合. 中国图象图形学报, 25(4): 721-731) [DOI:10.11834/jig.190311]
  • Singh S, Anand R S. 2018. Ripplet domain fusion approach for CT and MR medical image information. Biomedical Signal Processing and Control, 46: 281-292 [DOI:10.1016/j.bspc.2018.05.042]
  • Song M H, Liu L, Peng Y X, Jiang T, Li J. 2019. Infrared and visible images fusion based on redundant directional lifting-based wavelet and saliency detection. Infrared Physics and Technology, 101: 45-55 [DOI:10.1016/j.infrared.2019.05.017]
  • Song Y M H, Lan X L, Zhang Y X. 2019. Application advances of PET/MR in neurodegenerative diseases. Chinese Journal of Nuclear Medicine and Molecular Imaging, 39(7): 431-434 (宋杨美惠, 兰晓莉, 张永学. 2019. PET/MR成像在神经退行性疾病中的应用进展. 中华核医学与分子影像杂志, 39(7): 431-434) [DOI:10.3760/cma.j.issn.2095-2848.2019.07.013]
  • Toet A, van Ruyven L J, Valeton J M. 1989. Merging thermal and visual images by a contrast pyramid. Optical Engineering, 28(7): #287789 [DOI:10.1117/12.7977034]
  • Toet A. 1989a. A morphological pyramidal image decomposition. Pattern Recognition Letters, 9(4): 255-261 [DOI:10.1016/0167-8655(89)90004-4]
  • Toet A. 1989b. Image fusion by a ratio of low-pass pyramid. Pattern Recognition Letters, 9(4): 245-253 [DOI:10.1016/0167-8655(89)90003-2]
  • Ullah H, Ullah B, Wu L W, Abdalla F Y O, Ren G H, Zhao Y Q. 2020. Multi-modality medical images fusion based on local-features fuzzy sets and novel sum-modified-Laplacian in non-subsampled shearlet transform domain. Biomedical Signal Processing and Control, 57: #101724 [DOI:10.1016/j.bspc.2019.101724]
  • Uytterhoeven G and Bultheel A. 1998. The red-black wavelet transform[EB/OL]. [2020-12-12] https://www.researchgate.net/publication/2640209
  • Vishwakarma A, Bhuyan M K, Iwahori Y. 2018. An optimized non-subsampled shearlet transform-based image fusion using Hessian features and unsharp masking. Journal of Visual Communication and Image Representation, 57: 48-60 [DOI:10.1016/j.jvcir.2018.10.005]
  • Wang B, Zeng J C, Lin S Z, Bai G F. 2019. Multi-band images synchronous fusion based on NSST and fuzzy logical inference. Infrared Physics and Technology, 98: 94-107 [DOI:10.1016/j.infrared.2019.02.013]
  • Wang H C. 2019. Research on Adaptive Threshold Image Denoising Algorithm Based on NSCT Domain. Lanzhou: Lanzhou Jiaotong University (王鸿闯. 2019. 基于NSCT域的自适应阈值图像去噪算法研究. 兰州: 兰州交通大学)
  • Wang K. 2019. Rock particle image fusion based on sparse representation and non-subsampled contourlet transform. Optik, 178: 513-523 [DOI:10.1016/j.ijleo.2018.09.121]
  • Wang W X, Zeng J B. 2009. Image fusion method based on redundant lifting non-separable wavelet transforms. Journal of University of Electronic Science and Technology of China, 38(1): 13-16 (王卫星, 曾基兵. 2009. 冗余提升不可分离小波的图像融合方法. 电子科技大学学报, 38(1): 13-16) [DOI:10.3969/j.issn.1001-0548.2009.01.004]
  • Wang Z B, Cui Z J, Zhu Y. 2020. Multi-modal medical image fusion by Laplacian pyramid and adaptive sparse representation. Computers in Biology and Medicine, 123: #103823 [DOI:10.1016/j.compbiomed.2020.103823]
  • Xu L N, Si Y J, Jiang S B, Sun Y, Ebrahimian H. 2020. Medical image fusion using a modified shark smell optimization algorithm and hybrid wavelet-homomorphic filter. Biomedical Signal Processing and Control, 59: #101885 [DOI:10.1016/j.bspc.2020.101885]
  • Yan T, Hu Z G, Qian Y H, Qiao Z W, Zhang L Y. 2020. 3D shape reconstruction from multifocus image fusion using a multidirectional modified Laplacian operator. Pattern Recognition, 98: #107065 [DOI:10.1016/j.patcog.2019.107065]
  • Yin M, Duan P H, Liu W, Liang X Y. 2017. A novel infrared and visible image fusion algorithm based on shift-invariant dual-tree complex shearlet transform and sparse representation. Neurocomputing, 226: 182-191 [DOI:10.1016/j.neucom.2016.11.051]
  • Yuan Y B, Peng J, Shen Y, Chen X P. 2020. Fusion algorithm for near-infrared and color visible images based on tetrolet transform. Infrared Technology, 42(3): 223-230
  • 苑玉彬, 彭静, 沈瑜, 陈小朋. 基于Tetrolet变换的近红外与彩色可见光图像融合算法研究. 红外技术, 42(3): 223-230
  • Zhang Q, Liu Y, Blum R S, Han J G, Tao D C. 2018. Sparse representation based multi-sensor image fusion for multi-focus and multi-modality images: a review. Information Fusion, 40: 57-75 [DOI:10.1016/j.inffus.2017.05.006]
  • Zhang Y J, Li J B. 2019. Research progress on PET-CT in radiotherapy planning for non-small cell lung cancer. Chinese Journal of Radiation Oncology, 28(11): 876-879 (张英杰, 李建彬. 2019. PET-CT应用于非小细胞肺癌放疗计划的研究进展. 中华放射肿瘤学杂志, 28(11): 876-879) [DOI:10.3760/cma.j.issn.1004-4221.2019.11.017]
  • Zhang Z, Blum R S. 1999. A categorization of multiscale-decomposition-based image fusion schemes with a performance study for a digital camera application. Proceedings of the IEEE, 87(8): 1315-1326 [DOI:10.1109/5.775414]
  • Zhou T, Lu H L, Wei X Y, Xia Y. 2017. Self-adaption fusion algorithm for lung cancer PET/CT based on Piella frame and DT-CWT. Journal of University of Science and Technology of China, 47(1): 10-17 (周涛, 陆惠玲, 魏兴瑜, 夏勇. 2017. 基于Piella框架和DT-CWT的肺癌PET/CT自适应融合算法. 中国科学技术大学学报, 47(1): 10-17)