Print

发布时间: 2018-10-30
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.180280
2018 | Volume 23 | Number 11




    图像处理和编码    




  <<上一篇 




  下一篇>> 





结合纹理梯度抑制与${L_0}$梯度最小化的纹理滤波
expand article info 邵欢, 刘春晓
浙江工商大学计算机与信息工程学院, 杭州 310018

摘要

目的 纹理滤波是计算机视觉领域的一个基础应用工具,其目标是抑制图像中不必要的纹理细节和保持图像的主要结构。目前已有的纹理滤波方法多存在强梯度纹理无法被抑制或结构丢失的问题,为此提出一种结合纹理梯度抑制与${L_0}$梯度最小化的纹理滤波算法。方法 首先,提出一种能够区分结构/纹理像素的方向性区间梯度算子,其中采取了局部对比度拉伸和尺度自适应策略,提升了弱梯度结构像素的识别能力。随后,利用区间梯度幅值对原始图像梯度进行抑制,并用抑制后的图像梯度进行图像重建,获得纹理像素梯度小于结构像素梯度的纹理抑制图像。最后,考虑到纹理梯度抑制时会对结构像素的梯度产生一定的衰减作用,本文采用具有梯度提升作用的${L_0}$梯度最小化方法对纹理抑制图像进行滤波,得到纹理抑制结构保持的纹理滤波图像。结果 通过测试马赛克和自然风景等不同类型的图片,并与${L_0}$梯度最小化、滚动引导图像滤波、相对总变分、共现滤波等方法相比较,本文算法能够在抑制强梯度纹理的情况下对图像的主要结构得以保持,并且具有良好的普适性和鲁棒性。同时本文将纹理滤波应用于图像的边缘检测和细节增强,取得了不错的效果提升。结论 本文算法在兼顾强梯度纹理的抑制和结构的保持方面已超越已有的方法,对于图像的目标识别、图像融合、边缘检测等易受强梯度纹理干扰的技术领域,具有较大的应用潜力。

关键词

纹理滤波; ${L_0}$ 梯度最小化; 强梯度纹理; 结构保持; 纹理抑制

Texture filtering by using texture gradient suppression and ${L_0}$ gradient minimization
expand article info Shao Huan, Liu Chunxiao
School of Computer Science & Information Engineering, Zhejiang Gongshang University, Hangzhou 310018, China
Supported by: National Natural Science Foundation of China(61379075, 61472363, U1609215); Natural Science Foundation of Zhejiang Province, China(LY14F020004)

Abstract

Objective Texture is a repetitive pattern with high pixel values. Many natural images and works of art include textures such as cross-stitch and mosaic. In many cases, the visual system of individuals ignores the texture pattern and focuses on the main structure of an image. Texture filtering is a basic tool in the computer graphics and image processing fields; the goal of which is to suppress unnecessary texture details and maintain the salient structure in the image. In recent years, various texture filtering methods, which are mainly divided into global-and local-based filtering methods, have been proposed. Most of the existing texture filtering methods handle the small gradient texture images. However, handling the strong gradient texture and losing part of the structure is difficult. To solve this problem, we propose a texture filtering method by using texture gradient suppression and ${L_0}$ gradient minimization to suppress texture and maintain the structure. Method The main idea of this algorithm is to obtain an input image with strong gradient texture suppression and then attain the smooth filtering results through the traditional texture filtering method, which uses ${L_0}$ gradient minimization. Our method involves three steps to achieve the goal of image filtering. First, we improve the interval gradient operator, which has the capability to distinguish texture and structure pixels. We propose a directional interval gradient operator to increase the gradient amplitude by finding the main direction of the structure. We use a local contrast stretching strategy when calculating the direction interval gradient to improve the recognition capability of the weak gradient structure because the pixel gradient value of the weak structure area becomes smaller than the gradient value of the strong gradient texture. The directional interval gradient affects the texture suppression; thus, selecting a computational scale is particularly important. A scale adaptive strategy, which automatically selects the optimal scale for calculating interval gradient, is proposed. Second, we aim to obtain an input image with texture gradient suppression. In the first step, we obtain the directional interval gradient value, where the structured pixel is larger than the texture pixel. Then, a normalized directional interval gradient amplitude is used as the basis for attenuating the gradient of the original image. Image reconstruction is performed after image gradient suppression to obtain a texture-suppressed image with a gray pixel gradient that is smaller than the structural pixel gradient. In the image reconstruction step, we transform the reconstruction problem into the function optimization problem, and the fast Fourier transform is applied to the frequency domain to solve the problem. Finally, we use the ${L_0}$ gradient minimization algorithm with gradient lifting effect to filter the reconstructed image to remove the texture while preserving the structure because the texture gradient suppression operation causes a certain attenuation of the gradient of the structural pixels and thus results in the loss of the structure. Result We tested different types of pictures, including mosaics, nature, and grasslands, to prove the validity of the proposed method. The experiments are run on the windows platform, and the algorithm is implemented in MATLAB. Three main parameters are set, including the scale of calculating the directional interval gradient, the gradient weight $\lambda $ in the image reconstruction step, and the smooth parameter $\lambda $in the ${L_0}$ gradient minimization. $\lambda $ controls the suppression degree of the strong gradient texture in the reconstructed image. The texture is suppressed better with the increase in $\lambda $. We compare this algorithm against other texture filtering methods, including ${L_0}$ gradient minimization, rolling guidance filtering, interval gradient, co-occurrence filter, and relative total variation method. All methods use the code provided by the author and debug the optimal parameters to obtain the filter result. The field of texture filtering has no reasonable objective evaluation index. Therefore, the subjective evaluation of human eyes is used to compare the effects of different methods. The experimental results can be summarized as follows. In the mosaic image with strong gradient texture information and intractable tiny structures, this algorithm surpasses the effects of other algorithms in a strong gradient texture suppression, and the small gradient structure is also maintained. Our algorithm demonstrates superior image smoothing results in filtering out various scale textures and preserving small gradient structures when processing natural images. Moreover, texture filtering is applied to an image edge detection and detail enhancement, which achieves a favorable effect. Conclusion A texture filtering algorithm that combines texture gradient suppression and ${L_0}$ gradient minimization is proposed as a trade-off between strong gradient texture suppression and structure preservation in current texture filtering methods. This paper main purpose is to suppress the texture gradient of the input image. Thus, the texture and structure pixels obtain different texture filtering operations. The experiments demonstrate that our algorithm can maintain the main structure of the image and achieve smooth gradients. In the field of image recognition, image fusion, and edge detection that are susceptible to strong gradient textures, texture filtering has a significant potential for application.

Key words

texture filtering; ${L_0}$ gradient minimization; strong gradient texture; structure preserving; texture suppression

0 引言

纹理滤波是计算机图形学和数字图像处理方面一个基础且重要的研究方向,并且在图像编辑、色调映射、高动态范围压缩等领域有着重要的实际应用价值。纹理滤波的目标是得到图像的抽象版本即减少图像的纹理及次要细节,其主要挑战在于既能抑制强梯度纹理,同时又能保持主要结构。

纹理滤波基本上可分为局部滤波和基于优化滤波两类。双边滤波[1]是常见且经典的局部滤波方式,可有效消除噪声,但是无法抑制强梯度的纹理。为了满足实时视频和图像处理的需要,文献[2-3]对双边滤波进行了加速处理。Chen等人[2]提出了一种新的双向网格数据结构,并在GPU上对其算法进行并行化,实现了高清晰度视频的实时滤波处理。苏卓等人[4]在双边滤波的基础上结合局部全变分结构描述子,得到结构保持的滤波图像,但是在阈值设置过于上经验化。Zhang等人[5]提出了一种基于尺度空间理论的尺度测度的滚动引导图像滤波(RGF)方法来保持边缘和抑制纹理,但该方法在边缘保持和纹理平滑之间的权衡问题仍然存在。Cho等人[6]将纹理移除(BTF)的思想引入双边滤波,其核心是通过块偏移机制来获取纹理信息,并确保纹理和结构的适当区分。Karacan等人[7]利用纹理的重复性质提出基于区域协方差的结构保持图像滤波方法,但结构存在被过度平滑的现象。Bao等人[8]提出了一种有效的树型滤波器实现图像平滑,并提出了一种算法使得树型滤波器具有计算复杂度低和速度快等优点。Paris等人[9]采用修正的拉普拉斯金字塔进行系数分类,实现了多尺度的细节处理。Lin等人[10]提出基于结构感知的双边纹理去除算法,利用窗口内变差区分结构和纹理像素,但是在判断阈值的设置以及强梯度纹理抑制方面存在问题。与Lin的思路类似,Jeon等人[11]利用带方向的相对总变分算子对每个像素分配合适的滤波尺度从而得到引导图像,最后对其进行双边纹理滤波,该方法在保持边角结构方面取得不俗的效果。与传统双边滤波不同,Jevnisek等人[12]提出利用归一化的共生矩阵(COF)代替高斯颜色核,但是该方法在处理彩色图像时,首先对像素进行$k$均值聚类,而聚类效果很大程度影响最后的滤波结果。

各向异性扩散[13]是一种早期的优化滤波方法,它依赖于局部图像变化的非线性偏微分方程来迭代平滑图像,而不模糊重要的特征,但是这种方法参数设置较为困难。Li等人[14]提出了一种基于混合域边缘感知的图像处理方法,即从粗到细处理高斯金字塔,并对空间变化滤波器的输出进行全局优化。Farbman等人[15]将平滑问题转化为一个加权最小二乘(WLS)目标函数最小化问题。Rudin等人[16]提出全变分方法,是全局滤波的经典模型,该模型通过图像梯度作为约束进行平滑,但是仅对梯度较小的纹理具有抑制效果。Lee等人[17]提出了一种基于滤波的图像结构和纹理分解方法(IG),该方法利用区间梯度区分纹理与结构边缘,并提出了一种有效的梯度引导算法来实现高质量的图像滤波。Xu等人[18]通过改进全变分模型,提出了一种新的正则化方法相对总变分(RTV),并通过最小化目标函数从纹理图像中提取结构,但无法抑制强梯度纹理。近年来,来自于压缩感知的${L_0}$梯度最小化方法[19]成为继TV模型之后又一个经典的图像滤波方法,通过稀疏梯度计数方式,去除纹理和全局保持的显著边缘并且具有提升结构梯度的作用,但是这种方法更依赖于图像梯度,导致梯度小的区域优先被平滑,而无法抑制高对比度纹理。Nguyen等人[20]提出了一种快速有效的${L_0}$梯度最小化方法,该方法采用基于区域融合的下降方法,收敛速度比其他方法快,同时提供了一种更好的逼近。

近年来随着深度学习的发展,Xu等人[21]提出了深度边缘感知滤波器,通过已有纹理滤波方法得到滤波图像,并在梯度域进行预测,该方法效果仅能接近已有滤波方法,不具有突破性的提升。Li等人[22]提出了基于深度卷积网络的联合图像滤波器,该方法对图像超分辨率有着不错的效果,但是在纹理滤波方面因为模型通过图像去噪的数据集训练获得,而无法有效地去除周期性的纹理。

目前已有的纹理滤波方法无法有效抑制强梯度的纹理,对此本文提出一种结合纹理梯度抑制与${L_0}$梯度最小化的纹理滤波算法,可以有效解决强梯度纹理的残留问题,同时保持图像的显著结构。最后,将其应用到图像边界提取、图像细节增强等相关技术领域中,取得了不俗的效果。

1 本文算法

针对目前纹理滤波方法中强梯度纹理抑制与结构保持的权衡问题,本文提出一种结合纹理梯度抑制与${L_0}$梯度最小化的纹理滤波算法,其主旨是首先对输入图像进行纹理梯度抑制,然后对纹理和结构像素有区分地进行纹理滤波操作。首先计算能够辨别纹理/结构像素的方向性区间梯度算子,并以其作为纹理梯度抑制的依据对原始图像的梯度进行衰减。随后利用衰减后的梯度得到纹理像素梯度小于结构像素梯度的重建图像。最后考虑到纹理梯度抑制过程中会对结构像素的梯度造成一定的衰减,本文采用具有梯度提升作用的${L_0}$梯度最小化方法对重建图像进行滤波,得到平滑的纹理滤波结果。图 1展示了本文算法的流程图。

图 1 本文算法流程图
Fig. 1 The flowchart of our algorithm

1.1 区间梯度计算

为了将纹理像素的梯度进行抑制,首先要区分结构和纹理像素。受Lee等人[17]工作的启发,本文提出了一种能够区分纹理/结构像素的方向性区间梯度算子。假设输入图像为$I$,区间梯度可定义为

$ {u_p} = {g_{\rm{r}}}\left( {{R_p}} \right) - {g_{\rm{l}}}\left( {{L_p}} \right) $ (1)

式中,${L_p}$${R_p}$分别为以像素$p$为中心,半径为$k$的左、右半圆形窗口。${g_{\rm{l}}}$${g_{\rm{r}}}$分别为${L_p}$${R_p}$窗口内的高斯加权均值,定义为

$ {g_{\rm{l}}}\left( {{L_p}} \right) = \frac{1}{{{\omega _{\rm{l}}}}}\sum\limits_{q \in {L_p}} {\exp \left( { - \frac{{{{\left\| {p - q} \right\|}^2}}}{{2{\sigma ^2}}}} \right){L_q}} $ (2)

$ {g_{\rm{r}}}\left( {{R_p}} \right) = \frac{1}{{{\omega _{\rm{r}}}}}\sum\limits_{q \in {R_p}} {\exp \left( { - \frac{{{{\left\| {p - q} \right\|}^2}}}{{2{\sigma ^2}}}} \right){R_q}} $ (3)

式中,$\sigma $为平滑参数,其值取半径的一半,$\sigma $=$k$/2。${\omega _{\rm{l}}}$${\omega _{\rm{r}}}$为归一化系数。

利用式(1)(2)(3),可得到图像在$x$$y$方向的区间梯度值${u_{p \cdot x}}$${u_{p \cdot y}}$。现实情况下结构的方向大多不确定,因此本文对上述计算方式进行改进,通过寻找结构的主方向,增大结构两侧高斯加权均值之差。改进后的方向性区间梯度$v$定义为

$ {v_p} = {g_{\rm{r}}}\left( {\phi \left( {{R_p}} \right)} \right) - {g_{\rm{l}}}\left( {\phi \left( {{L_p}} \right)} \right) $ (4)

式中,$\phi $(·)为角度偏转算子;$\phi $(${L_p}$)和$\phi $(${R_p}$)为旋转后的左、右半圆形窗口,旋转角度为

$ {\beta _p} = \arctan \left( {\frac{{{u_{p \cdot y}}}}{{{u_{p \cdot x}}}}} \right) $ (5)

${\beta _p}$为像素$p$的结构主方向,在此方向下计算得到${v_{p \cdot x}}$${v_{p \cdot y}}$,最后图像的方向性区间梯度幅值为$v = \sqrt {v_{p \cdot x}^2 + v_{p \cdot y}^2} $

图 2(b)展示了改进的方向性区间梯度幅值图,但是该算子因为块计算的本质无法有效识别弱梯度结构区域的像素,因此本文提出一种局部对比度拉伸策略,即

$ A = \left[ {W - \min \left( W \right)} \right]/\left[ {\max \left( W \right) - \min \left( W \right)} \right] $ (6)

图 2 局部对比度拉伸前后比较
Fig. 2 Local contrast enhancement comparison
((a) input image; (b) before the enhancement; (c) after the enhancement)

式中,$W$为计算$v$时局部窗口的像素块;$A$$W$局部对比度拉伸后的块内像素;上述所有操作符均按照像素操作。图 2(c)为局部对比度拉伸后得到的区间梯度幅值,对比发现,经过拉伸后得到的区间梯度能对弱梯度结构区域的像素有效地识别。

方向性区间梯度影响着纹理抑制的效果,因此其计算尺度$k$的选取尤为关键。图 3展示了不同尺度$k$下的方向性区间梯度结果。随着尺度的增大,纹理像素的方向性区间梯度幅值会有较好的抑制,但同时出现结构变粗的问题。本文提出一种尺度自适应策略,即$v$在相邻尺度降幅最大时,表明在该尺度下图像的大片纹理恰好被抑制,即

$ k = round\left[ {\frac{{\sum\limits_{i = 2}^{m - 2} {\left( {\left| {{D_{i - 1}} - {D_i}} \right| + \left| {{D_i} - {D_{i + 1}}} \right|} \right)} }}{{m - 2}}} \right] $ (7)

图 3 不同尺度下的方向性区间梯度
Fig. 3 Directional interval gradient at different scales
((a) $k$=1; (b) $k$=4; (c) $k$=7; (d) $k$=10; (e) $k$=13; (f) $k$=16)

式中,$k$为确定的最优尺度;$round$(·)为取最近整数函数;$m$为尺度上限,本文固定为20;${D_i}$表示尺度为$i$时,图中像素$v$值的累加和。

1.2 纹理平滑抑制

本文算法主旨是得到强梯度纹理抑制的输入图像,后对其进行传统纹理滤波的方式得到平滑的滤波结果。为此本文利用归一化后的方向性区间梯度幅值作为依据对原始图像的梯度进行衰减,即

$ {G_p} = {v_p} \cdot \nabla {I_p} $ (8)

式中,$\nabla I$为输入图像的梯度值。图 4(b)为纹理梯度抑制后的梯度值$G$,强梯度纹理区域的像素梯度得到明显的衰减。

随后,利用衰减后的梯度$G$对图像进行重建,得到纹理像素梯度小于结构像素梯度的纹理抑制图像。重建图像$J$可以通过使目标函数$E\left( J \right)$达到最小值来估计求解,即

$ \mathop {\min }\limits_J E\left( J \right) = \mathop {\min }\limits_J \sum {{{\left( {J - I} \right)}^2}} + \eta {\left( {\nabla J - G} \right)^2} $ (9)

图 4 梯度衰减及滤波结果
Fig. 4 Gradient attenuation and filter results
((a) image gradient; (b) gradient attenuation; (c) ${L_0}$; (d) RTV; (e) reconstructed image; (f) filter result)

从而将图像的重建问题转化为函数优化问题。式中第一项控制$J$$I$接近,第二项控制$J$的梯度与期望的梯度$G$相近,$\eta $控制梯度权重。

参照Xu等人[19]的方法,式(9)可利用快速傅里叶变换转换到频域中进行加速求解,即

$ \begin{array}{*{20}{c}} {J = }\\ {{F^{ - 1}}\left( {\frac{{F\left( I \right) + \eta \left( {\overline {F\left( {{\partial _x}} \right)} F\left( {{G_x}} \right) + \overline {F\left( {{\partial _y}} \right)} F\left( {{G_y}} \right)} \right)}}{{F\left( 1 \right) + \eta \left( {\overline {F\left( {{\partial _x}} \right)} F\left( {{\partial _x}} \right) + \overline {F\left( {{\partial _y}} \right)} F\left( {{\partial _y}} \right)} \right)}}} \right)} \end{array} $ (10)

式中,${F^{-1}}$表示离散傅里叶逆变换算子,${\bar F}$表示复共轭算子,$F$(1)表示$\delta $函数的离散傅里叶变换。上述所有操作符均按照元素操作。

图 4(e)为得到的重建图像,可以发现图中的强梯度纹理取得不错的抑制效果。最后,考虑到纹理梯度抑制操作时会对结构像素的梯度造成一定衰减,本文利用具有梯度提升作用的${L_0}$梯度最小化算法对重建图像$J$进行滤波。图 4(f)为最终的纹理滤波图像,与${L_0}$方法和RTV方法相比,本文算法能够滤除图中强梯度的纹理背景,同时保证花朵周围不出现毛刺残留。

2 实验结果与讨论

本文算法采用MATLAB R2016a实现,PC处理器为Intel®CoreTM i5-3.2 GHz,内存4 GB,操作系统为64位Windows 10。

2.1 参数设置

本文主要有3个参数需要设置,分别是计算方向性区间梯度时的尺度$k$,图像重建步骤中梯度权重控制参数$\eta $${L_0}$梯度最小化滤波中的平滑参数$\lambda $

参数$\lambda $控制着重建图像中强梯度纹理的抑制程度,如图 5(b)(d)显示,随着$\lambda $的增大,纹理得到较好的抑制。${L_0}$梯度最小化滤波过程中的$\lambda $,同样控制平滑力度,如图 5(e)(h)所示,在重建图像$\lambda $=5的基础上,$\lambda $越大,图像越平滑。

图 5 不同参数下的重建及滤波结果
Fig. 5 Results under different parameters ((a) input image; (b) $\lambda $=1; (c) $\lambda $=5; (d) $\lambda $=10; (e) $\lambda $=0.02; (f) $\lambda $=0.05; (g) $\lambda $=0.08; (h) $\lambda $=0.15)

2.2 效果对比

本文算法与目前主流的纹理滤波方法进行效果对比,包括${L_0}$梯度最小化方法[19]、RGF[6]、RTV[19]、IG[18]、COF[13],所有方法都采用原文献提供的代码并调试最优的参数得到滤波结果。由于纹理滤波领域没有合理的客观评价指标,因此本文采用人眼主观评价的方式进行不同方法间的效果对比。

图 6给出了一幅马赛克图像,其中包含强梯度的纹理信息以及难以处理的微小结构,例如狗的下腹部、耳朵。对比发现,${L_0}$梯度最小化方法、RGF方法以及COF方法无法抑制梯度较强的纹理。RTV方法对于狗的耳朵等微小结构虽然具有保持作用,但其对强梯度的纹理抑制效果并不理想,同时在结构边缘出现毛刺现象。IG方法尽管对微小结构有一定的保持作用,但纹理的抑制情况并不令人满意。本文算法在强梯度纹理抑制方面超越了其他算法的效果,同时细小结构也得到较好的保持。

图 6 第1幅图像纹理滤波算法效果对比
Fig. 6 Filtering effects of the first image with different methods ((a) input image; (b) ${L_0}$; (c) RTV; (d) RGF; (e) IG; (f) COF; (g) image reconstruction; (h) ours)

图 7包含大量细窄的结构,如鱼的牙齿、虾脚、树叶等。如图 7(c)所示,RTV方法虽然保持了鱼的牙齿等细小结构,但是在结构边缘出现了毛刺现象。与本文算法相比,其他方法都无法保证在滤除纹理的同时,保证细窄结构不被滤除,并且边缘不出现毛刺。

图 7 第2幅图像纹理滤波算法效果对比
Fig. 7 Filtering effects of the second image with different methods ((a) input image; (b) ${L_0}$; (c) RTV; (d) RGF; (e) IG; (f) COF; (g) image reconstruction; (h) ours)

图 8展示了具有强梯度纹理的向日葵图片。观察发现,本文算法在抑制强梯度的纹理信息方面具有不俗的效果,同时可以保持远处树林的轮廓。

图 8 第3幅图像纹理滤波算法效果对比
Fig. 8 Filtering effects of the third image with different methods ((a) input image; (b) ${L_0}$; (c) RTV; (d) RGF; (e) IG; (f) COF; (g) image reconstruction; (h) ours)

图 9是一幅来自庞贝古城古老的马赛克图片。对比发现,${L_0}$、RGF、RTV、COF等方法对于纹理的抑制效果不理想。IG方法对于例如鱼眼周围的微小结构无法有效地保留。本文算法能够在保留微小结构的同时,保证纹理的抑制效果。

图 9 第4幅图像纹理滤波算法效果对比
Fig. 9 Filtering effects of the fourth image with different methods ((a) input image; (b) ${L_0}$; (c) RTV; (d) RGF; (e) IG; (f) COF; (g) image reconstruction; (h) ours)

2.3 典型应用

图像的边缘检测是一种重要的图像预处理工具,其应用包括图像分割、场景理解和形状匹配等,但是图像中存在的噪声/高低对比度纹理等会阻碍边缘检测算子提取到有意义的边缘。本文提出的纹理滤波算法能够有效地减弱这些琐碎的细节,生成干净的边缘检测图。在图 10中,将Canny边缘检测算子应用到${L_0}$以及本文的滤波算法中,可以看到两种滤波器都提升了Canny检测算子的性能,尤其是本文算法能够有效避免强梯度纹理的干扰。

图 10 边缘检测效果
Fig. 10 Edge detection results ((a) input and edge images;
(b) ${L_0}$ and edge images; (c) ours)

图像细节增强目标在于增强图像纹理层的细节信息。假设输入图像为$I$,滤波后图像为$S$,纹理层则为$T$=$I$$S$,如图 11(c)所示。利用$E = I + \varepsilon T$的方式对图像进行增强,$\varepsilon $控制增强性能,$E$为增强后的图像。图 11(d)表明本文算法明显提升了仓鼠毛发的细节信息。

图 11 细节增强效果
Fig. 11 Detail enhancement results ((a) input image;
(b) filter result; (c) texture layer; (d) detail enhancement result)

3 结论

针对目前纹理滤波方法中强梯度纹理抑制与结构保持难以兼顾的问题,本文提出一种先对输入图像进行纹理梯度抑制,后进行${L_0}$梯度最小化滤波的策略,有效解决强梯度纹理的残留问题,同时保留图像的主要结构。本文算法在马赛克和自然风景等图像中都取得不错的滤波结果,显示了较好的普适性和鲁棒性。同时纹理滤波也有利于提高图像边缘检测、图像细节增强等相关技术的效果。

然而,本文算法也有不足之处。例如对于图像中的复杂结构难以保持,以及图像滤波技术缺少客观有效的评价指标,这将是下一步工作待解决的主要问题。

参考文献

  • [1] Tomasi C, Manduchi R. Bilateral filtering for gray and color images[C]//Proceedings of the 6th International Conference on Computer Vision. Bombay, India: IEEE, 1998: 839-846.[DOI:10.1109/ICCV.1998.710815]
  • [2] Chen J W, Paris S, Durand F. Real-time edge-aware image processing with the bilateral grid[J]. ACM Transactions on Graphics, 2007, 26(3): #103. [DOI:10.1145/1276377.1276506]
  • [3] Yang Q X, Tan K H, Ahuja N. Real-time O(1) bilateral filtering[C]//Proceedings of 2009 IEEE Conference on Computer Vision and Pattern Recognition. Miami, FL, USA: IEEE, 2009: 557-564.[DOI:10.1109/CVPR.2009.5206542]
  • [4] Su Z, Wu X B, Zeng B Y, et al. Related reductive texture decomposition via bilateral kernel regression[J]. Journal of Computer-Aided Design & Computer Graphics, 2016, 28(12): 2202–2209. [苏卓, 吴学标, 曾碧怡, 等. 基于双边核回归的相对约减纹理分解方法[J]. 计算机辅助设计与图形学学报, 2016, 28(12): 2202–2209. ] [DOI:10.3969/j.issn.1003-9775.2016.12.021]
  • [5] Zhang Q, Shen X Y, Xu L, et al. Rolling guidance filter[C]//Proceedings of the 13th European Conference on Computer Vision. Zurich, Switzerland: Springer, 2014: 815-830.[DOI:10.1007/978-3-319-10578-9_53]
  • [6] Cho H, Lee H, Kang H, et al. Bilateral texture filtering[J]. ACM Transactions on Graphics, 2014, 33(4): #128. [DOI:10.1145/2601097.2601188]
  • [7] Karacan L, Erdem E, Erdem A. Structure-preserving image smoothing via region covariances[J]. ACM Transactions on Graphics, 2013, 32(6): #176. [DOI:10.1145/2508363.2508403]
  • [8] Bao L C, Song Y B, Yang Q X, et al. Tree filtering:efficient structure-preserving smoothing with a minimum spanning tree[J]. IEEE Transactions on Image Processing, 2014, 23(2): 555–569. [DOI:10.1109/TIP.2013.2291328]
  • [9] Paris S, Hasinoff S W, Kautz J. Local Laplacian filters:edge-aware image processing with a Laplacian pyramid[J]. ACM Transactions on Graphics, 2011, 30(4): #68. [DOI:10.1145/2010324.1964963]
  • [10] Lin T H, Way D L, Shih Z C, et al. An efficient structure-aware bilateral texture filtering for image smoothing[C]//Proceedings of the 24th Pacific Conference on Computer Graphics and Applications. Okinawa, Japan: ACM, 2016: 57-66.[DOI:10.1111/cgf.13003]
  • [11] Jeon J, Lee H, Kang H, et al. Scale-aware structure-preserving texture filtering[J]. Computer Graphics Forum, 2016, 35(7): 77–86. [DOI:10.1111/cgf.13005]
  • [12] Jevnisek R J, Avidan S. Co-occurrence filter[C]//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI, USA: IEEE, 2017: 3816-3824.[DOI:10.1109/CVPR.2017.406]
  • [13] Perona P, Malik J. Scale-space and edge detection using anisotropic diffusion[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1990, 12(7): 629–639. [DOI:10.1109/34.56205]
  • [14] Li X Y, Gu Y, Hu S M, et al. Mixed-domain edge-aware image manipulation[J]. IEEE Transactions on Image Processing, 2013, 22(5): 1915–1925. [DOI:10.1109/TIP.2013.2237922]
  • [15] Farbman Z, Fattal R, Lischinski D, et al. Edge-preserving decompositions for multi-scale tone and detail manipulation[J]. ACM Transactions on Graphics, 2008, 27(3): #67. [DOI:10.1145/1360612.1360666]
  • [16] Rudin L I, Osher S, Fatemi E. Nonlinear total variation based noise removal algorithms[J]. Physica D:Nonlinear Phenomena, 1992, 60(1-4): 259–268. [DOI:10.1016/0167-2789(92)90242-F]
  • [17] Lee H, Jeon J, Kim J, et al. Structure-texture decomposition of images with interval gradient[J]. Computer Graphics Forum, 2017, 36(6): 262–274. [DOI:10.1111/cgf.12875]
  • [18] Xu L, Yan Q, Xia Y, et al. Structure extraction from texture via relative total variation[J]. ACM Transactions on Graphics, 2012, 31(6): #139. [DOI:10.1145/2366145.2366158]
  • [19] Xu L, Lu C W, Xu Y, et al. Image smoothing via ${L_0}$ gradient minimization[J]. ACM Transactions on Graphics, 2011, 30(6): #174. [DOI:10.1145/2024156.2024208]
  • [20] Nguyen R M H, Brown M S. Fast and effective L0 gradient minimization by region fusion[C]//Proceedings of 2015 IEEE International Conference on Computer Vision. Santiago, Chile: IEEE, 2015: 208-216.[DOI:10.1109/ICCV.2015.32]
  • [21] Xu L, Ren J S J, Yan Q, et al. Deep edge-aware filters[C]//Proceedings of the 32nd International Conference on International Conference on Machine Learning. Lille, France: ACM, 2015: 1669-1678.
  • [22] Li Y J, Huang J B, Ahuja N, et al. Deep joint image filtering[C]//Proceedings of the 14th European Conference on Computer Vision. Amsterdam, The Netherlands: Springer, 2016: 154-169.[DOI:10.1007/978-3-319-46493-0_10]