Print

发布时间: 2022-03-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.210655
2022 | Volume 27 | Number 3




    计算机断层扫描图像    




  <<上一篇 




  下一篇>> 





基础信息保持和细节强化的胸部CT图像增强
expand article info 张余1, 张顺利2, 白相志1, 张利3
1. 北京航空航天大学宇航学院, 北京 100191;
2. 北京交通大学软件学院, 北京 100044;
3. 清华大学电子工程系, 北京 100084

摘要

目的 清晰的胸部计算机断层扫描(computed tomography,CT)图像有助于医生准确诊断肺部相关疾病,但受成像设备、条件等因素的限制,扫描得到的CT图像质量有时会不尽如人意。因此,本文提出一种简单有效的基于基础信息保持和细节强化的胸部CT图像增强算法。方法 利用多尺度引导滤波器将胸部CT图像分解为一个基础信息层和多个不同尺度的细节层。基于熵的权重将胸部CT图像的多个细节层进行融合,并乘以强化系数进一步增强纹理细节。将强化的细节层和原始的基础信息层重新组合即可生成细节强化的胸部CT图像。通过此种增强方式,本文算法既能显著增强胸部CT图像的纹理细节,又能将大部分原始的基础结构信息保留到增强图像中。结果 为了验证算法的有效性,将本文算法与5种优秀的图像增强算法在由3 209幅胸部CT图像组成的数据集上进行测试评估。定性和定量实验结果表明,本文算法得到的增强图像保持了更多原始胸部CT图像中的基础结构信息,并更显著地强化了其中的纹理细节信息。在定量结果中,本文算法的标准差、结构相似性和峰值信噪比指标值均优于对比的5种方法,相比于性能第2的方法分别提高了4.95、0.16和4.47,即分别提升了5.61%、17.00%和16.17%。此外,本文算法增强一幅CT图像仅消耗0.10 s,有潜力应用于实际的临床诊断中。结论 本文算法可以在保留大量原始结构信息的同时有效强化CT图像的细节信息,有助于医生对患者肺部疾病的精确诊断。本文算法具有较好的泛化能力,可以用于增强其他部位的CT图像和其他模态图像并取得优秀的增强结果。

关键词

肺部疾病诊断; 胸部CT图像增强; 图像分解; 基础信息保持; 细节强化

Human chest CT image enhancement based on basic information preservation and detail enhancement
expand article info Zhang Yu1, Zhang Shunli2, Bai Xiangzhi1, Zhang Li3
1. School of Astronautics, Beihang University, Beijing 100191, China;
2. School of Software Engineering, Beijing Jiaotong University, Beijing 100044, China;
3. Department of Electronic Engineering, Tsinghua University, Beijing 100084, China
Supported by: National Key R&D Program of China(2019YFB1311301);National Natural Science Foundation of China(62171017, 61871248, 61976017);Beijing Municipal Natural Science Foundation(4202056);China Postdoctoral Science Foundation(2021M690297)

Abstract

Objective Human chest computed tomography (CT) image analysis is a key measure for diagnosing human lung diseases. However, the current scanned chest CT images might not meet the requirement of diagnosing lung diseases accurately. Medical image enhancement is an effective technique to improve the image quality and has been used in many clinical applications, such as knee joint disease detection, breast lesion segmentation and corona virus disease 2019(COVID-19) detection. Developing new enhancement algorithms is essential to improve the quality of chest CT images. A simple yet effective chest CT image enhancement algorithm is presented based on basic information preservation and detail enhancement. Method A good chest CT image enhancement algorithm should well improve the clarity of edges or speckles in the image, while preserving much original structural information. Our human chest CT image enhancement algorithm is developed as follows. First, this algorithm exploits the advanced guided filter to decompose the CT image into multiple layers, including a base layer and multiple different scales of detail layers. Next, an entropy-based weight strategy is adopted to fuse the detail layers, which could well strengthen the informative details and suppress the texture-less layers. Afterwards, the fused detail layer is further strengthened based on an enhancement coefficient. In the end, the enhanced detail layer and the original base layer are integrated to generate the targeted chest CT image. The proposed algorithm could well enhance the details of the chest CT image, as well as transfer much original basic structural information to the enhanced image. Moreover, with the help of our algorithm, the surgeons can inspect more clear medical images without impacting their perception of the pathology information. In order to verify the effectiveness of our proposed algorithm, we have constructed a chest CT image dataset, which is composed of 20 sets/3 209 chest CT images, and then evaluated our algorithm and five state-of-the-art image enhancement algorithms on this large-scale dataset. In addition, the experiments are performed in both qualitative and quantitative ways. Result Two qualitative comparison cases demonstrate that our algorithm has mainly strengthened the useful details, while effectively suppressing the background information. As for the five comparison algorithms, histogram equalization(HE) and contrast limited adaptive histogram equalization(CLAHE) usually change the whole image intensities with large variation and degrade the image quality as compared to the original image. Alternative toggle operator(AO) could enhance the chest CT image with much better visual quality than HE and CLAHE, but it has excessively enhanced both image details and background noises. Low-light image enhancement(LIME) and robust retinex model(RRM) usually increase the intensities of the whole image and result in images of inappropriate contrast. The quantitative average standard deviation(STD), structural similarity metric(SSIM), peak signal to noise ratio(PSNR) values of our algorithm are significantly greater than those of the other five comparison algorithms (i.e., increased by 4.95, 0.16, 4.47, respectively) on our constructed chest CT image dataset. To be specific, greater average STD value of our algorithm indicates it has enhanced images with more clear details compared to the other five comparison algorithms. Larger average SSIM and PSNR values of our algorithm validate that it has preserved more basic structural information from the original image than the other five comparison algorithms. Meanwhile, the proposed algorithm only costs about 0.10 seconds to enhance a single CT image, which indicates the proposed algorithm has great potential to be efficiently applied in the real clinical scenarios. Overall, our algorithm achieves the best results amongst all the six image enhancement algorithms in terms of both visual quality and quantitative metrics. Conclusion In this study, we have developed a simple yet effective human chest CT image enhancement algorithm, which can effectively enhance the textural details of chest CT images while preserving a large amount of original basic structural information. With the help of our enhanced human chest CT images, the surgeons could diagnose lung diseases more accurately. Moreover, the proposed algorithm owns good generalization ability, and is capable of well enhancing CT images scanned from other sites and even other modalities of images.

Key words

diagnosis of lung diseases; chest CT image enhancement; image decomposition; basic information preservation; detail enhancement

0 引言

检查患者胸部计算机断层扫描(computed tomography, CT)图像是诊断是否患有肺部疾病的常规手段(Agarwala等,2020Bonelli等,1998刘阳等,2011Sundaram等,2008)。然而受成像设备、条件等的限制,扫描得到的患者胸部CT图像可能不够清晰,从而影响对肺部相关疾病的准确诊断。此外,短时间内重复进行CT扫描会增大患者受辐射剂量,不利于身体健康,所以一般不会对患者连续进行多次CT扫描。在CT成像质量受限的情况下,医学图像增强是改善图像质量的一种有效手段,已在检测膝关节疾病(Saba等,2018)、分割乳腺病变(Flores和de Albuquerque Pereira,2017)、诊断新冠肺炎(Rahman等,2021)等领域广泛应用,提高胸部CT图像质量的增强算法(Chen等,2015Hsu和Chou,2015van Rikxoort等,2008)有助于医生精确诊断包括新冠肺炎等在内的多类肺部疾病。

近年来,提出了多种图像增强算法。Huang等人(2006)Wan和Shi(2007)分别提出基于直方图均衡化的图像增强算法,通过调整图像强度以提高原始图像的对比度。Bai和Zhang(2014)Bai (2015)提出两种基于多尺度交替切换算子的图像增强算法,通过放大亮、暗特征的对比度实现图像增强,分别用于增强矿物图像和红外图像。Zhou等人(2016)利用一种基于Gamma校正的图像增强算法改善夜视图像的对比度信息。然而,直方图均衡化算法往往会大幅改变原始CT图像的强度,从而影响对CT图像的准确理解,进而可能降低对肺部疾病的诊断准确率。类似地,Zhou等人(2016)提出的方法通常会在很大程度上改变原始图像的强度,主要用于改善微光、夜视图像的视觉质量。Bai和Zhang(2014)Bai(2015)提出算法中形态学算子的性能欠优且强化系数较大,通常会改变图像原始的结构信息并过度强化细节信息。

具体来说,性能优秀的胸部CT图像增强算法能够在保留大量原始基础信息的基础上,显著提高图像边缘、斑点等纹理细节(即细支气管、结节和淋巴结等)的清晰度。为了实现这一目标,本文提出一种简单有效的胸部CT图像增强算法,首先利用先进的引导滤波器(He等,2013)将胸部CT图像分解为一个基础信息层和多个不同尺度的细节层,然后采用基于熵的权重策略对细节层进行融合,使重构的细节层能够有效强化纹理细节并且抑制冗余的背景信息,随后通过强化系数进一步强化重构的细节层,最后将强化的细节层和原始的基础信息层重新组合生成清晰的胸部CT图像。为了验证本文算法的优越性,与5种优秀的图像增强算法进行比较,实验数据为中国人民解放军总医院第八医学中心放射科提供的3 209幅胸部CT图像。实验结果表明,本文算法在定性和定量评估方面均显著优于5种对比算法。

总体来说,本文工作的贡献主要体现在3个方面:1)采用多尺度引导滤波器分解胸部CT图像,可以有效将胸部CT图像分解为一个基础信息层和多个不同尺度的纹理细节层;2)强化具有较大熵值的细节层和弱化熵值较小的细节层,能够有效强化胸部CT图像中的纹理细节信息和抑制大量冗余的背景信息;保持基础信息层不变可以保证增强得到的图像结构和风格不会相对原始图像发生较大变化,从而不会影响对增强图像的理解及判别;3)本文算法具有优秀的泛化能力,可以用于增强其他部位的CT图像以及其他模态的图像,并且能够获得良好的视觉效果。

1 已有工作

1.1 引导滤波器

引导滤波器在计算机视觉中有着广泛应用,如去雾(He等,2011)、高光谱图像分类(Kang等,2014)、图像融合(Li等,2013)等。本质上,引导滤波器是在以像素$k$为中心的局部窗口$\boldsymbol{\omega}_{k}$中引导图像和滤波图像之间的局部线性模型,其数学形式可以表示为

$ q(i)=a_{k}\boldsymbol{o}(i)+b_{k}, \forall i∈\boldsymbol{\omega}_{k} $ (1)

式中,$\boldsymbol{\omega}_{k}$表示以像素$k$为中心、半径为$r$的局部窗口;${\boldsymbol{q}}$${\boldsymbol{o}}$分别表示输出滤波图像${\boldsymbol{F}}$和引导图像${\boldsymbol{G}}$位于窗口$\boldsymbol{\omega}_{k}$中的图像块;$i$为像素索引;$a_{k}$$b_{k}$为两个常数参数。在该线性模型下,满足$\nabla \boldsymbol{q}=a_{k}\nabla \boldsymbol{o}$,即滤波图像与引导图像的边缘信息将保持高度一致,因而通过将引导图像设置为与输入图像相同,即可实现滤波图像的边缘结构保持。此外,引导滤波器的优化目标是在满足式(1)条件约束下,最小化在局部窗口$\boldsymbol{\omega}_{k}$中滤波图像${\boldsymbol{F}}$与输入图像${\boldsymbol{I}}$之间的灰度差异,即

$ E(a_{k}, b_{k})=\sum\limits_{i \in {\mathit{\boldsymbol{\omega }}_k}} {((q(i)-p(i))^{2}+εa^{2}_{k})} =\\ \;\;\;\;\;\; \sum\limits_{i \in {\mathit{\boldsymbol{\omega }}_k}} {((a_{k}o(i)+b_{k}-p(i))^{2}+εa^{2}_{k})} $ (2)

式中,${\boldsymbol{p}}$为输入图像${\boldsymbol{I}}$位于窗口$\boldsymbol{\omega}_{k}$中的图像块;$i$为像素索引;$ε$为正则化参数,用于约束$a_{k}$不能过大。

优化式(2),可得

$ a_{k}=\frac{{\frac{1}{{\left| {{\mathit{\boldsymbol{\omega }}_k}} \right|}}\sum\limits_{i \in {\mathit{\boldsymbol{\omega }}_k}} {o(i)p(i) - {\mu _k}{{\bar p}_k}} }}{{\sigma _k^2 + \varepsilon }} \\ \;\;\;\;\;\;\;\; b_{k}={\bar p}_{k}-a_{k}μ_{k} $

然后根据式(1),滤波图像块${\boldsymbol{q}}$中每个像素值可以求解为所有可能像素值的平均值,即

$ q(i)={\bar a}_{i}o(i)+{\bar b}_{i} $

式中,${{\bar a}_i} = \frac{1}{{\left| {{\mathit{\boldsymbol{\omega }}_k}} \right|}}\sum\limits_{k \in \mathit{\boldsymbol{\omega }}} {{a_k}}, {{\bar b}_i} = \frac{1}{{\left| {{\mathit{\boldsymbol{\omega }}_k}} \right|}}\sum\limits_{k \in \mathit{\boldsymbol{\omega }}} {{b_k}} $。随后,通过逐步求解每个局部窗口中的滤波图像块,即可解得全幅滤波图像${\boldsymbol{F}}$

为了便于介绍后续算法,将引导滤波器的数学表示简化为

$ \boldsymbol{F}=f_{{\rm{}g}}(\boldsymbol{I}, \boldsymbol{G}, r, ε) $ (3)

式中,$f_{{\rm{}g}}$表示引导滤波函数;${\boldsymbol{I}}、{\boldsymbol{G}}$${\boldsymbol{F}}$分别表示输入图像、引导图像和输出滤波图像;$r$$ε$分别表示滤波器的局部窗口半径和正则化参数,并且两个参数决定着滤波图像的平滑程度。

1.2 图像多尺度分解

类似于高斯差分金字塔(Burt和Adelson,1983),胸部CT图像的分解方法如下:

首先,根据1.1节计算方法,通过设置不同窗口大小和正则化参数对胸部CT图像进行引导滤波,生成多个尺度的平滑图像,具体为

$ \boldsymbol{F}_{i}=f_{{\rm{}g}}(\boldsymbol{F}_{i-1}, \boldsymbol{F}_{i-1}, r_{i}, ε_{i}), 1≤i≤n $ (4)

式中,$\boldsymbol{F}_{i}$表示第$i$个尺度的引导滤波结果,特别地,$\boldsymbol{F}_{0}$为原始的输入图像${\boldsymbol{I}}$$r_{i}$表示第$i$个尺度中局部窗口的半径,$ε_{i}$为滤波器的正则化参数,$n$为图像分解的尺度数。本文按照Zhou等人(2016)方法分别对$r_{i}$$ε_{i}$进行设置,即$r_{i}=2r_{i-1}+1(r_{0}=1)$$ε_{i}=δ^{2}_{i}$,其中$δ_{i+1}=δ_{i}/2(δ_{0}=0.8)$

由于最后一个尺度(即第$n$个尺度)的滤波图像中蕴含着原始图像中的大量基础结构信息,因此本文算法中将其作为图像分解得到的基础层,即

$ \boldsymbol{B}=\boldsymbol{F}_{n} $ (5)

然后,通过逐步计算得到多个尺度的细节层,具体为

$ \boldsymbol{D}_{i}=\boldsymbol{F}_{i-1}-\boldsymbol{F}_{i} $ (6)

式中,细节层中的正值部分为亮细节特征,负值部分为暗细节特征(Bai和Zhang,2014),亮、暗细节特征可以分别表示为

$ \boldsymbol{L}^{b}_{i}={\rm{max}}(\boldsymbol{D}_{i}, 0) $ (7)

$\boldsymbol{L}^{d}_{i}={\rm{min}}(\boldsymbol{D}_{i}, 0) $ (8)

式中,$\boldsymbol{D}_{i}=\boldsymbol{L}^{b}_{i}+\boldsymbol{L}^{d}_{i}$

综上,输入图像可以高效地分解为一个基础信息层${\boldsymbol{B}}$$n$个细节层${\boldsymbol{D}_{i}}$。将所有细节层和基础信息层重新合并即可恢复原始图像,即

$ \boldsymbol{I}=\boldsymbol{B}+\sum\limits_{i = 1}^n \boldsymbol{D}_{i} $ (9)

2 本文算法

增强胸部CT图像的目的是强化图像中的纹理细节,同时保持原有的基础结构信息,以在不改变图像结构性特征条件下提升纹理细节的辨识度。为了实现这个目标,本文提出图像增强算法的主要步骤如下:1)利用多个尺度引导滤波器将胸部CT图像分解为一个基本信息层和多个细节层。2)基于熵的权重将细节层进行加权融合,并通过强化系数进一步增大细节强度。3)通过重组强化的细节层和原始的基础信息层即可生成细节强化的胸部CT图像。本文算法流程图如图 1所示。

图 1 本文提出的胸部CT图像增强算法流程图
Fig. 1 Flowchart of the proposed chest CT enhancement algorithm

2.1 胸部CT图像多尺度分解

引导滤波器已证明是一种有效的边缘保持滤波器,首先按照1.2节中的图像分解方法,利用引导滤波器将胸部CT图像${\boldsymbol{I}}$分解为一个含有大量基本结构信息的基础层${\boldsymbol{B}}$$n$个含有丰富纹理的细节层${\boldsymbol{D}_{i}}$(即$\boldsymbol{I}=\boldsymbol{B}+\sum\limits_{i = 1}^n \boldsymbol{D}_{i}$),以便后续的基础信息保持和细节强化。

2.2 多尺度细节层融合和强化

通常,多个尺度细节层之间存在冗余信息,从而降低图像中纹理细节的对比度。鉴于熵是量化图像信息量的有效工具(Roberts等,2008Bai和Zhang,2014),本文基于熵的权重策略强化胸部CT图像中的纹理细节信息,降低其中的冗余信息,从而达到提升图像纹理细节的效果。

首先,计算每个细节层含有的信息量,即信息熵。由于每个细节层${\boldsymbol{D}_{i}}$中包含正、负值,即亮、暗细节特征($\boldsymbol{L}^{b}_{i}$$\boldsymbol{L}^{d}_{i}$),所以本文利用亮细节特征的熵表征每个尺度细节层的总体信息含量,具体为

$ e_{i}=f_{{\rm{}e}}(\boldsymbol{L}^{b}_{i}) $ (10)

式中,$f_{{\rm{}e}}$表示计算输入矩阵熵的函数。

然后,根据信息熵加权融合所有细节层,具体为

$ \boldsymbol{D}_{f}=\sum\limits_{i = 1}^n (w_{i}·\boldsymbol{D}_{i}) $ (11)

式中,$w_{i}=n·e_{i}/\sum\limits_{i = 1}^n e_{i}$。由于$\sum\limits_{i = 1}^n {(e_{i}/\sum\limits_{i = 1}^n e_{i})}=1$,而原始细节层权重系数$w^{o}_{i}$均为1,即$\sum\limits_{i = 1}^n (w^{o}_{i})=n$,所以为了使融合得到的细节层达到原始细节层的强度,本文算法将归一化的权重$e_{i}/\sum\limits_{i = 1}^n e_{i}$乘以$n$,得到最终的加权权重$w_{i}$

由于纹理丰富的细节层可以获得较大的权重系数,所以基于熵的加权融合方法可以显著强化纹理细节,并且降低增强图像中的冗余背景信息。此外,本文算法采用强化系数$φ$进一步增强纹理细节,即$φ$决定本文算法对纹理细节的强化程度。具体为

$ \boldsymbol{D}_{\rm{en}}=φ·\boldsymbol{D}_{f} $ (12)

2.3 胸部CT图像增强

通过重新组合强化的细节层${\boldsymbol{D}_{\rm{en}}}$和原始的基础信息层${\boldsymbol{B}}$,即可得到细节显著强化和原始基础信息保持良好的胸部CT图像${\boldsymbol{I}_{\rm{en}}}$,即

$ \boldsymbol{I}_{\rm{en}}=\boldsymbol{B}+\boldsymbol{D}_{\rm{en}} $ (13)

图 2展示了本文算法的优越性。可以看出,增强图像中的纹理细节得到了显著增强,并且保持了原始图像中的大量基础结构信息,可以实现不影响医生理解图像的前提下提升其对病灶及其类型的鉴别力。

图 2 本文算法增强胸部CT图像实例
Fig. 2 Demonstration example of our algorithm for enhancing chest CT image
((a) original chest CT image; (b) our enhanced images; (c) ${\boldsymbol{B}}$; (d) $\sum\limits_{i = 1}^n \boldsymbol{D}_{i}$; (e) $\boldsymbol{D}_{\rm{en}}$)

2.4 参数设置

本文算法包含两个未知参数,即引导滤波器的尺度数$n$和强化系数$φ$。由于胸部CT图像的主要纹理特征通常比较狭窄,如静脉和支气管等,因此较小尺度就足以充分分解胸部CT图像,故本文将$n$设置为5。而$φ$用于增强图像中的纹理细节,所以$φ$应大于1以获得增强效果,但是不应太大以避免改变原始的细节结构,故本文将$φ$设为2。大量实验验证了两个参数设置对增强胸部CT图像是有效的。

3 实验结果与讨论

实验在中国人民解放军总医院第八医学中心放射科提供的3 209幅CT图像组成的数据集(如图 3所示)上进行,对本文算法进行测试评估,并与直方图均衡化算法(histogram equalization,HE)、对比度受限的自适应直方图均衡算法(contrast limited adaptive histogram equalization,CLAHE)(Huang等,2006)、基于交替切换算子的图像增强算法(alternative toggle operator,AO)(Bai和Zhang,2014)、基于光照图估计和Retinex理论的图像增强算法(low-light image enhancement,LIME)(Guo等,2017)以及一种联合去噪和Retinex理论的图像增强算法(robust retinex model,RRM)(Li等,2018)等5种优秀的图像增强算法进行比较,从定性和定量两方面进行评估。

图 3 胸部CT图像数据集中样本图像
Fig. 3 Sample images in our chest CT image dataset

3.1 定性分析

图 4图 5展示了两组比较实例,每个子图右上角展示了图中框线区域的放大图。从两组对比结果可以看出,HE和CLAHE两种算法通常会大幅改变整幅图像的灰度值,不利于对胸部CT图像的理解。类似地,LIME和RRM两种算法会显著提高CT图像的亮度,相较于原始图像变化过大,不利于后续病灶的诊断、识别。AO和本文算法可以较好地增强胸部CT图像,视觉效果远优于其他算法。但是AO通常会对图像细节(包括背景噪声)过度强化(详见其放大图像区域),这不符合胸部CT图像增强的目标。本文算法可以显著加强有用的细节信息(见其放大图像区域中的支气管和毛细血管支气管),同时有效削弱了含有噪声的背景信息。因此,本文算法增强图像中的纹理细节比其他算法的增强图像更清晰,并且远优于原始胸部CT图像。此外,与其他算法相比,本文算法增强图像的风格更接近于原始胸部CT图像,因此本文算法可以在增强图像中保留更多原始图像的基础结构信息,从而不会影响医生对医学影像的判别与诊断。总体来说,本文算法在定性分析中取得了最好的结果。

图 4 不同算法的第1组增强图像
Fig. 4 First group of enhanced images by different algorithms
((a) original chest CT image; (b) HE; (c) CLAHE; (d) AO; (e) LIME; (f) RRM; (g) ours)
图 5 不同算法的第2组增强图像
Fig. 5 Second group of enhanced images by different algorithms
((a) original chest CT image; (b) HE; (c) CLAHE; (d) AO; (e) LIME; (f) RRM; (g) ours)

3.2 定量分析

采用标准差(standard deviation, STD)、结构相似性(structural similarity metric, SSIM)(Wang等,2004)和峰值信噪比(peak signal to noise ratio, PSNR)这3项常用的客观指标对不同算法得到的增强图像质量进行定量评估。STD可以度量图像中灰度变化量,因此STD可用于比较增强图像与原始图像之间的细节增加量。SSIM衡量两幅图像之间的结构相似性,PSNR衡量增强图像与原始图像之间的信息保真度,因此,SSIM和PSNR可以用来量化增强图像从原始图像汲取的细节量。理想的图像增强方法应不仅能强化图像中的纹理细节,而且应尽可能多地保持原始图像的基础结构信息,因此选择以上3项客观指标评估图像增强算法的性能。3项指标的值越大,表示图像增强效果越好。实验时分别计算HE、CLAHE、AO、LIME、RRM和本文算法增强图像的客观指标值,各算法的平均指标值及各算法得到每幅增强图像的每个指标曲线分别如表 1图 6所示。依据图 6,可以查验每种算法客观指标结果的总体分布情况。

表 1 不同算法增强图像的平均指标值
Table 1 Average metric values of the enhanced images by different algorithms

下载CSV
算法 STD SSIM PSNR/dB
HE 74.59 0.43 13.08
CLAHE 72.72 0.81 23.17
AO 83.27 0.72 22.05
LIME 51.29 0.48 8.09
RRM 64.73 0.69 13.39
本文 88.22 0.94 27.64
注:加粗字体为各列最优值。
图 6 不同算法增强每幅CT图像的指标值
Fig. 6 Metric values of each enhanced image by each algorithm
((a) STD; (b) SSIM; (c) PSNR)

表 1可以看出,本文算法在3项指标上均取得最优值。在图 6(a)-(c)中,本文算法的指标曲线均位于最高位置,与表 1的平均指标值一致。因此,本文算法在3项指标上的表现均为最优,客观表明了本文算法的图像增强效果最佳。更具体地,根据表 1图 6(a)中的STD指标值,AO和本文算法在强化图像细节方面显著优于其他算法。SSIM和PSNR指标显示本文算法可以比其他对比算法保留更多的原始图像结构信息。此外,AO通常会过度强化图像中的纹理细节,以至破坏图像的原始结构信息,致使该算法的SSIM和PSNR指标值较小(如表 1图 6(b)(c)中的SSIM和PSNR指标值所示)。另外,HE和CLAHE利用直方图均衡化对图像的灰度值进行非均匀调节以增强图像,而LIME和RRM更着重于提升暗部区域的亮度,这4种算法均未考虑增强图像中的细节信息,不能有效强化原始图像中的纹理细节信息,并且会在较大程度上改变原始的结构信息,致使4种算法的STD、SSIM和PSNR指标值通常较小(如表 1图 6(b)(c)中的STD、SSIM和PSNR指标值所示)。

此外,为了评估不同图像增强算法的运行效率,本文统计了每种图像增强算法处理每幅512 × 512像素的CT图像的平均消耗时间,统计结果如表 2所示。可以看出,本文算法消耗0.10 s可增强1幅512 × 512像素的CT图像,处理速度不及HE、CLAHE和AO算法,但显著快于LIME和RRM算法。

表 2 不同算法增强图像的平均消耗时间
Table 2 Average time costs of different algorithms to enhance chest CT images

下载CSV
算法 耗时/s
HE 0.003
CLAHE 0.014
AO 0.051
LIME 0.22
RRM 8.54
本文 0.10
注:加粗字体为最优结果。

综合以上评估结果,本文算法分别在定性和定量分析中取得了最优秀的结果。因此,本文提出的胸部CT图像增强算法具有应用于实际临床诊断的巨大潜力。

4 结论

清晰的胸部CT图像是准确诊断肺部疾病的重要媒介。本文提出一种简单有效的胸部CT图像增强算法,首先利用多尺度引导滤波器将胸部CT图像分解为一个基础信息层和多个尺度的纹理细节层,然后融合并强化纹理丰富的细节层,最后通过重组原始的基础信息层和强化的细节层以实现基础信息保持和细节强化的胸部CT图像增强。本文算法分别对细节层和基础层进行处理,可以显著增强图像细节,并完好保持原始基础结构信息。为了验证本文算法的有效性,在3 209幅胸部CT图像组成的数据集上的大量实验结果表明,本文算法的增强图像在视觉效果和客观指标对比中均显著优于现有的5种优秀图像增强算法。此外,本文算法具有较好的泛化能力,可以用于增强其他部位的CT图像,甚至其他模态的图像(如图 7所示)。从图 7可以看出,本文算法可以有效地增强多种模态的图像,并且不会显著改变图像的风格和引入额外的噪声。但是,本文算法依赖引导滤波器分解图像,因而增强效果会受限于引导滤波器的性能,并且相比HE、CLAHE、AO耗时较多。因此,后续将继续研究高速有效的基于局部区域拟合的滤波器,以进一步提升图像增强算法的性能。

图 7 本文算法在其他模态图像上的增强结果
Fig. 7 Our enhanced results on other modalities of images
((a) original images; (b) enhanced results by ours)

致谢 本文实验使用的CT图像数据由中国人民解放军总医院第八医学中心放射科提供,在此表示感谢。

参考文献

  • Agarwala S, Kale M, Kumar D, Swaroop R, Kumar A, Dhara A K, Thakur S B, Sadhu A, Nandi D. 2020. Deep learning for screening of interstitial lung disease patterns in high-resolution CT images. Clinical Radiology, 75(6): #481 [DOI:10.1016/j.crad.2020.01.010]
  • Bai X Z. 2015. Morphological infrared image enhancement based on multi-scale sequential toggle operator using opening and closing as primitives. Infrared Physics and Technology, 68: 143-151 [DOI:10.1016/j.infrared.2014.11.015]
  • Bai X Z, Zhang Y. 2014. Enhancement of microscopy mineral images through constructing alternating operators using opening and closing based toggle operator. Journal of Optics, 16(12): #125407 [DOI:10.1088/2040-8978/16/12/125407]
  • Bonelli F S, Hartman T E, Swensen S J, Sherrick A. 1998. Accuracy of high-resolution CT in diagnosing lung diseases. American Journal of Roentgenology, 170(6): 1507-1512 [DOI:10.2214/ajr.170.6.9609163]
  • Burt P, Adelson E. 1983. The Laplacian pyramid as a compact image code. IEEE Transactions on Communications, 31(4): 532-540 [DOI:10.1109/TCOM.1983.1095851]
  • Chen C M, Chen C C, Wu M C, Horng G, Wu H C, Hsueh S H, Ho H Y. 2015. Automatic contrast enhancement of brain MR images using hierarchical correlation histogram analysis. Journal of Medical and Biological Engineering, 35(6): 724-734 [DOI:10.1007/s40846-015-0096-6]
  • Flores W G, de Albuquerque Pereira W C. 2017. A contrast enhancement method for improving the segmentation of breast lesions on ultrasonography. Computers in Biology and Medicine, 80: 14-23 [DOI:10.1016/j.compbiomed.2016.11.005]
  • Guo X J, Li Y, Ling H B. 2017. LIME: low-light image enhancement via illumination map estimation. IEEE Transactions on Image Processing, 26(2): 982-993 [DOI:10.1109/TIP.2016.2639450]
  • He K M, Sun J, Tang X O. 2011. Single image haze removal using dark channel prior. IEEE Transactions on Pattern Analysis and Machine Intelligence, 33(12): 2341-2353 [DOI:10.1109/TPAMI.2010.168]
  • He K M, Sun J, Tang X O. 2013. Guided image filtering. IEEE Transactions on Pattern Analysis and Machine Intelligence, 35(6): 1397-1409 [DOI:10.1109/TPAMI.2012.213]
  • Hsu W Y, Chou C Y. 2015. Medical image enhancement using modified color histogram equalization. Journal of Medical and Biological Engineering, 35(5): 580-584 [DOI:10.1007/s40846-015-0078-8]
  • Huang K Q, Wang Q, Wu Z Y. 2006. Natural color image enhancement and evaluation algorithm based on human visual system. Computer Vision and Image Understanding, 103(1): 52-63 [DOI:10.1016/j.cviu.2006.02.007]
  • Kang X D, Li S T, Benediktsson J A. 2014. Spectral-spatial hyperspectral image classification with edge-preserving filtering. IEEE Transactions on Geoscience and Remote Sensing, 52(5): 2666-2677 [DOI:10.1109/TGRS.2013.2264508]
  • Li M D, Liu J Y, Yang W H, Sun X Y, Guo Z M. 2018. Structure-revealing low-light image enhancement via robust retinex model. IEEE Transactions on Image Processing, 27(6): 2828-2841 [DOI:10.1109/TIP.2018.2810539]
  • Li S T, Kang X D, Hu J W. 2013. Image fusion with guided filtering. IEEE Transactions on Image Processing, 22(7): 2864-2875 [DOI:10.1109/TIP.2013.2244222]
  • Liu Y, Zhao D Z, Liu J R. 2011. Recognition of pulmonary nodules based on 3D image enhancement. Journal of Image and Graphics, 16(8): 1402-1407 (刘阳, 赵大哲, 刘积仁. 2011. 基于3维图像增强的肺结节识别. 中国图象图形学报, 16(8): 1402-1407) [DOI:10.11834/jig.20110813]
  • Rahman T, Khandakar A, Qiblawey Y, Tahir A, Kiranyaz S, Kashem S B A, Islam M T, Al Maadeed S, Zughaier S M, Khan M S, Chowdhury M E H. 2021. Exploring the effect of image enhancement techniques on COVID-19 detection using chest X-ray images. Computers in Biology and Medicine, 132: #104319 [DOI:10.1016/j.compbiomed.2021.104319]
  • Roberts J W, Van Aardt J A, Ahmed F B. 2008. Assessment of image fusion procedures using entropy, image quality, and multispectral classification. Journal of Applied Remote Sensing, 2(1): #023522 [DOI:10.1117/1.2945910]
  • Saba T, Rehman A, Mehmood Z, Kolivand H, Sharif M. 2018. Image enhancement and segmentation techniques for detection of knee joint diseases: a survey. Current Medical Imaging, 14(5): 704-715 [DOI:10.2174/1573405613666170912164546]
  • Sundaram B, Gross B H, Martinez F J, Oh E, Müller N L, Schipper M, Kazerooni E A. 2008. Accuracy of high-resolution CT in the diagnosis of diffuse lung disease: effect of predominance and distribution of findings. American Journal of Roentgenology, 191(4): 1032-1039 [DOI:10.2214/AJR.07.3177]
  • van Rikxoort E M, van Ginneken B, Klik M, Prokop M. 2008. Supervised enhancement filters: application to fissure detection in chest CT scans. IEEE Transactions on Medical Imaging, 27(1): 1-10 [DOI:10.1109/TMI.2007.900447]
  • Wan Y, Shi D B. 2007. Joint exact histogram specification and image enhancement through the wavelet transform. IEEE Transactions on Image Processing, 16(9): 2245-2250 [DOI:10.1109/TIP.2007.902332]
  • Wang Z, Bovik A C, Sheikh H R, Simoncelli E P. 2004. Image quality assessment: from error visibility to structural similarity. IEEE Transactions on Image Processing, 13(4): 600-612 [DOI:10.1109/TIP.2003.819861]
  • Zhou Z Q, Dong M J, Xie X Z, Gao Z F. 2016. Fusion of infrared and visible images for night-vision context enhancement. Applied Optics, 55(23): 6480-6490 [DOI:10.1364/AO.55.006480]