Print

发布时间: 2018-05-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.170374
2018 | Volume 23 | Number 5




    GDC 2017会议专栏    




  <<上一篇 




  下一篇>> 





基于弹簧变形模型的图像缩放方法
expand article info 谷香丽1, 迟静1,2, 张彩明1,2,3
1. 山东财经大学计算机科学与技术学院, 济南 250014;
2. 山东省数字媒体技术重点实验室, 济南 250014;
3. 山东大学计算机科学与技术学院, 济南 250101

摘要

目的 随着显示设备分辨率和纵横比的多样化,内容感知图像缩放技术逐渐成为图像处理领域新的研究热点之一,为了既能实现图像有效缩放,又能较好保持图像主体区域的几何结构完整,提出一种基于弹簧近似的内容感知图像缩放方法。方法 首先,为控制图像缩放,对输入图像进行显著性检测和特征直线检测;其次,在图像上构建一个平面三角网格,视三角网格的每一条边为一根弹簧,则整个三角网格构成一个弹簧系统,可利用该弹簧系统的变形实现图像缩放,其中,根据每根弹簧所在图像区域的显著度设置弹簧的弹性系数,该系数可在缩放时有效保持图像的主体区域,避免主体内容缩放不均匀或变形;然后,以图像直线特征保持为约束,构造用于约束弹簧系统变形的目标函数;最后,利用纹理贴图技术把弹簧系统每个三角形对应的图像贴回弹簧系统,得到缩放后的目标图像。结果 为证明本文方法的有效性,对大量图像进行多比例缩放测试,并与现有方法进行比较。在同比例缩放下,本文方法可以更好地保持图像中的主体区域,以及特征直线,使放缩后的图像整体具有更好的视觉效果。本文方法的计算时间小于0.19 s,时间成本与现有方法大致相同。结论 基于弹簧系统的内容感知图像缩放方法,通过弹簧系统变形带动网格变形进而实现图像缩放,与现有的内容感知图像缩放方法相比,本文方法所处理的图像视觉效果更好,实验结果表明,本文方法能够更有效、快速地处理各种图像的内容感知缩放。

关键词

内容感知; 图像缩放; 弹簧系统; 特征保持; 重要区域

Image scaling based on the spring deformation model
expand article info Gu Xiangli1, Chi Jing1,2, Zhang Caiming1,2,3
1. School of Computer Science & Technology, Shandong University of Finance and Economics, Jinan 250014, China;
2. Shandong Provincial Key Laboratory of Digital Media Technology, Jinan 250014, China;
3. Department of Computer Science & Technology, Shandong University, Jinan 250101, China
Supported by: National Natural Science Foundation of China (61772309, 61332015, U1609218, 61572286)

Abstract

Objective With the emergence of a large number of diverse and versatile display devices, the size of images must be adjusted appropriately with different resolutions and aspect ratios before displaying them on the devices. Content-aware image scaling technology has gradually become the focus of new research in the field of image processing, which resizes an image such that the prominent feature of the image is intact and the homogenous content is distorted as little as possible. This study proposes a novel content-aware image scaling method based on spring analogy to achieve image scaling effectively and have better capability to prevent the distortion of significant objects and feature lines. Method We resize an image by representing an image as a triangular mesh in 2D space and viewing each triangle edge as a spring. By deforming the spring system, we can implicitly retarget the image to its new size. First, for the input image, we use the saliency detection algorithm to generate the saliency of each pixel and employ the Hough transformation to detect the feature lines. Second, Delaunay triangulation of the sampling nodes of the image is employed to build a 2D triangular mesh on the input image to build a spring system for the image. A spring system on the mesh is constructed. Each edge of the mesh is considered a segment of an elastic spring, and the length of the edge is used as the initial equilibrium length of the spring. Once the boundary locations are changed by an external force, the interior will expand or contract to reach a new balance of the spring system, leading to a deformed mesh. Then, the image zoom is implemented through optimized deformation of the spring system. Furthermore, we assign a stiffness value to each spring segment to constrain its deformation in the balance of the spring system. Obviously, a high saliency of the image area is corresponds to great stiffness of the segments in the area and small distortion of the segments. Thus, we propose a new measure for spring stiffness, which uses image saliency to compute the elastic coefficient. The coefficient can effectively avoid the main content of inhomogeneous deformation. Finally, the objective function for constraining the deformation of the spring system is constructed by keeping the image linear features as constraints. We map the input image onto the deformed mesh to obtain the final resized image by using the trilinear interpolation method. Result Extensive experiments and comparisons with other state-of-the-art methods (i.e., seam carving, quadratic programming, object size adjustment, shape-preserving approach, and methods based on spring analogy) show that our algorithm can better maintain the main region of the image and the feature line, and the scaled image has a better visual effect as a whole. The calculation time of the proposed method is less than 0.19 s, which is approximately the same as that of the existing method. Conclusion An image scaling method based on spring analogy is proposed to achieve image zooming. Extensive experiments show that, compared with the existing content-aware image scaling approaches, our method has better visual effects and better ability to prevent the distortion of significant objects and feature lines

Key words

content aware; image scaling; spring analogy; feature-preserving; important region

0 引言

数字图像已成为信息时代的重要组成部分,在实际应用中为适用于不同显示设备和网页,图像的尺寸或纵横比需要时刻转化。好的图像缩放方法是在改变图像任意尺寸的同时,保持图像主体部分的结构完整性,使图像中的缩放扭曲尽量发生在非主体区域。对于该问题,存在两类典型的技术:一类是传统缩放方法,直接拉伸图像为目标图像,如最近邻域插值、双线性插值、双三次插值等技术,但该类方法在改变图像纵横比时会使图像中的重要区域产生压扁或拉伸等失真畸形现象;另一类是裁剪方法,由于该方法删除裁剪窗口外的全部像素,从而导致图像部分内容丢失。

为解决传统图像缩放方法存在的问题,Avidan和Shamir提出内容感知图像缩放技术。与忽视图像内容的传统方法不同,内容感知图像缩放是基于用户的视觉关注度来标示图像中各个区域的重要度,并针对各区域重要度的差异进行不同处理。对图像中高重要度的主体区域尽量保持其原有的长宽比例不变,同时改变重要度低的背景区域来满足目标大小的几何约束。

目前对于内容感知的图像缩放技术主要分为3类:离散型、多操作型和连续型。其中离散型的方法主要是基于线裁剪的缩放方法[1-3],该类方法把图像看成离散的像素点,计算每个像素点的重要度,本着删除低能量像素,保留高能量像素的原则,根据图像像素的重要度,连续插入或删除连通的水平或垂直穿过整幅图像的裁剪线,进而实现图像缩放。另外,聂栋栋等人[4]采用能量均衡原理对图像整行或整列像素进行操作。离散型的方法在图像缩放尺寸不大时效果出色, 但是当图像尺寸变化较大时,往往会丢失图像的大量背景信息,也可能会造成图像重要内容扭曲或假象。

多操作方法[5-8]结合线裁剪、传统插值缩放和裁剪3种操作方法中的前两种或3种来实现内容感知的图像缩放。该类方法的实质是权衡结构信息破坏、主体对象变形、产生人工噪声、图像内容丢失等对图像整体效果的影响程度,然后再折中选择,确定各个操作方法的顺序及数量。但是绝大部分多操作的优化过程都找不到最优结果,只能得到相对较优结果,而且效率较低。

连续的方法主要是基于网格变形的图像缩放方法[9-19]。该类方法根据原图像构造覆盖图像的平面网格,在重要度及边界条件约束下,以图像高重要度主体区域的网格尽量不变或做长宽等比例缩放为原则,通过优化网格形变量的总和,来对网格进行非均匀形变至目标尺寸,实现图像缩放。该类方法具有插值缩放的连续性,能够很好地保护图像主体对象特征,图像内容丢失较少。其中文献[9-15]采用四边形网格,Wang等人[9]通过使网格变形能量和网格线的弯曲能量最小化实现图像的缩放。文献[10-11]在缩放图像时可通过简单参数调整改变主体对象大小的方法。Chen等人[12]利用全局优化的框架,使用二次规划实现主体区域放大和直线结构保持,在网格变形过程中,网格线始终保持水平或垂直。Zhang等人[13]提出用共性能量来优化网格,允许网格发生一定程度的旋转和扭曲。Wang等人[14]根据图像的显著性加权的能量缩放因子实现图像缩放。Lin等人[15]通过对四边形网格块的缩放来达到图像缩放。在网格变形过程中,与四边形网格相比较,三角形网格更能灵活的适应特征约束。文献[16-19]采用三角形网格,Guo等人[16]利用三角网格参数化,根据主体区域分布划分图像区域,估计不同区域目标网格的边长。Jin等人[17]改进了文献[16]的方法,不再计算目标网格边长,而运用最优化框架实现网格的缩放。Xu等人[18]通过拟共形映射实现缩放。但是以上方法大多采用相似的技术,即在网格上建立一个凸二次能量函数,通过迭代技术求解得到目标图像,效率较低。与以上方法不同,文献[19]提出了基于弹簧系统的图像缩放方法。该方法运用弹簧近似法控制网格变形,对三角网格构造弹簧系统,通过求解线性系统得到新的网格顶点位置。与已有的网格缩放方法相比,不需要迭代求解,效率更高。但是直线作为图像中非常重要的视觉特征,在该方法中并不能得到很好的保护,进而影响图像的视觉效果。

本文采用连续的方法,提出一种新的基于弹簧变形模型[20]的图像缩放技术。以弹簧系统模型的角度分析处理网格变形,把三角网格的每一条边看作一根弹簧,构建弹簧系统,通过优化该系统的变形实现图像缩放。主要贡献包括:1)根据图像中的显著度图构造对应弹簧的弹性系数, 该系数对于弹簧变形时能够较好地保持图像中高显著性的主体区域特征有重要意义;2)以图像的重要区域和直线特征的保持作为约束,提出新的目标函数,优化弹簧系统变形。本文方法不仅能使图像中的主体内容保持较好的视觉效果,还能保护图像中重要的直线特征不发生明显扭曲变形。

1 基于弹簧变形的图像缩放算法

本文的基本思想是在图像上构建一个弹簧系统,利用弹簧系统的变形实现对图像的缩放。方法的基本流程如图 1所示,具体步骤如下:

图 1 算法流程图
Fig. 1 Algorithm flow chart

1) 图像初始检测。对输入图像${I_{\rm{s}}}$进行显著性检测和特征直线检测,分别用于设定弹簧的弹性系数和约束弹簧系统变形;

2)弹簧系统构建。对图像${I_{\rm{s}}}$进行网格化,构建一个覆盖${I_{\rm{s}}}$的平面三角网格${M_{\rm{s}}}$$\left( {\mathit{\boldsymbol{V}}, \mathit{\boldsymbol{E}}} \right)$,其中$\mathit{\boldsymbol{V = }}\left\{ {{v_i}} \right\}$为网格中的顶点集,$\mathit{\boldsymbol{E}} = \left\{ {{e_{ij}}} \right\}$为网格中的边集。将三角网格的每条边看做一根弹簧,则整个三角网格构成一个弹簧系统。本文提出基于图像的显著度图来设置弹簧弹性系数的新思路;

3) 弹簧系统变形。利用目标函数约束弹簧系统的变形,继而带动网格${M_{\rm{s}}}$的变形,得到新网格${M_t}\left( {\mathit{\boldsymbol{V'}}, \mathit{\boldsymbol{E}}} \right)$,其中$\mathit{\boldsymbol{V' = }}\left\{ {{{v'}_i} = {v_i} + {\delta _i}} \right\}$。为使目标图像在保持主体内容纵横比统一缩放或不变的同时,保持图像中特定的结构特征,本文构建了新的具有直线特征约束的优化目标函数,在网格变形过程中该函数可有效保持图像中的特征直线;

4) 重建图像。网格的变形带动图像的变形,将图像${I_{\rm{s}}}$重新映射到新网格${M_t}$上,得到新图像${I_t}$。该方法不仅能够保证图像的缩放效率,还能保持图像的直线特征,使目标图像整体保持较好的视觉效果。

1.1 图像初始化检测

为使图像中的主体部分(显著性区域)和直线特征在缩放时不发生明显变化或变形,首先要对输入图像${I_{\rm{s}}}$进行初始化处理(图像的显著性检测和直线检测),用于约束网格变形。目前,多种显著性检测方法被广泛用于图像缩放。Itti等人[21]提出一种

以生物认知体系为指导的视觉关注度计算模型,该方法通过局部检测仅能够检测出图像中的显著主体或显著主体部分区域。Harel等人[22]提出的方法是对文献[21]方法的改进,能够有效识别具有高对比度的重要区域,却无法识别与物体边缘有关的重要部分。不同于以上两种方法,Goferman等人[23]提出一种新的基于上下文敏感的显著性检测方法,考虑到显著主体和主体上下文一样重要。通过对3种显著性检测方法[21-23]进行分析,文献[21-22]方法仅考虑到显著主体,而文献[23]方法通过融合,对图像进行对比度和颜色的局部对比方法和全局对比方法对于输入图像${I_{\rm{s}}}$进行显著性检测能更好地使显著主体和主体上下文在缩放时保持平滑过度,避免显著主体边缘部分变形,因此本文选用文献[23]方法计算每个像素点的显著值$\rho $∈[0, 1],通过图像中每个像素点的显著值对比,显著值大的像素属于图像的显著性区域。

另外直线检测方法有很多,如Gioi等人[24]提出一种局部提取直线的方法,虽然能很好地检测到直线,但该方法会把相交的两条直线在交点处被分割为四条线段,另一方面由于局部检测算法自增长的特点,对于长线段被遮挡或局部模糊等原因被分割为多条直线。而Fernandes等人[25]提出的直线检测方法是对霍夫变换的改进,能够有效的检测出被遮挡或局部模糊的长线段,避免线段被分割。对直线检测方法[24-25]进行分析比较,文献[25]方法采用改进后的霍夫变换进行直线检测,能很好地检测到图像中的长线段而不被分割,更适合本文方法,因此本文选用Fernandes等人[25]提出的直线检测方法,对图像自动检测特征直线,并得到显著的特征直线段,对直线段进行离散取点,作为网格优化的特征约束点,使图像在缩放后保持图像中的直线特征。

1.2 弹簧系统构建

在输入图像${I_{\rm{s}}}$上构建平面三角网格,建立每个三角形与输入图像区域的对应关系。把三角网格的每条边视为一根弹簧,则整个三角网格构成一个弹簧系统。在弹簧系统中,每根弹簧的弹性系数决定了该弹簧在受力相同的情况下,弹簧的伸缩程度,进而控制着整个弹簧系统的变形。由于弹簧系统变形带动网格变形,从而带动图像变形。其中,每个弹簧的弹性系数由它在输入图像的位置决定,即由弹簧所在图像区域的显著度大小决定。因此弹簧的弹性系数的设定对控制图像不同区域的缩放,能够有效保持图像重要区域有重要影响。为更好地实现图像缩放及图像主体内容的保护,根据每根弹簧与对应图像区域的显著度,提出新的弹簧弹性系数构造方法。

1) 网格化。本文使用CCDT算法[26]在图像上生成均匀的三角网格。具体地,给定输入图像和顶点数,CCDT在图像范围内生成Delaunay三角化网格,使每一个三角形尽可能的接近正三角形。另外,为使网格变形过程中保持图像的直线特征,取特征直线上的点替换Delaunay三角化中最临近的点,作为网格变形约束点。计算每个三角形面片的显著度${\sigma _t}$∈[0, 1],以三角形面片中所有像素的显著值的平均值作为该三角面片的显著度。

2) 初始弹簧系统。在平面三角网格上构建弹簧系统。根据弹簧系统模型[20],视三角网格为一个弹簧系统。当弹簧系统边界受外力发生位移后,内部网格顶点也会相应的发生位移以此达到弹簧系统的新平衡,进而生成变形网格。采用线段弹簧模型系统,即将每一根弹簧的平衡长度设置为其变形前的长度。

图 2所示在线段弹簧模型中,对于弹簧$i, j$的平衡长度等于它自身初始长度${l_{ij}}$。运行胡克定律(Hook’s law)来控制每个顶点的位移。顶点$i$的受力公式可表示为

$ {\mathit{\boldsymbol{F}}_i} = \sum\limits_{j = 1}^{{N_i}} {{K_{ij}}({\mathit{\boldsymbol{\delta }}_j} - {\mathit{\boldsymbol{\delta }}_i})} $ (1)

图 2 弹簧系统的物理解说
Fig. 2 Physical explanation of spring system

式中,${N_i}$是顶点$i$的邻点个数,顶点$j$$i$的邻点,${{\mathit{\boldsymbol{\delta }}_i}}$${{\mathit{\boldsymbol{\delta }}_j}}$分别是顶点$i$和顶点$j$的位移量,${K_{ij}}$是顶点$i$和顶点$j$之间线段弹簧的弹性系数。得到初始弹簧后,下面需设定弹簧的弹性系数。其中,${{\mathit{\boldsymbol{\delta }}_i}}$为顶点$i$的位移,在弹簧系统达到平衡时,所有顶点的受力都应该为0,需要求解的迭代公式为

$ \delta _i^{k + 1} = \frac{{\sum\limits_{j = 1}^{{n_i}} {{k_{ij}}\delta _j^k} }}{{\sum\limits_{j = 1}^{{n_i}} {{k_{ij}}} }} $ (2)

对于弹簧系统中的每个顶点,通过式(1)展开,可表示为

$ \left[{\begin{array}{*{20}{c}} {-\sum\limits_{j = 1}^{{N_1}} {{k_{1j}}} }& \cdots &{{k_{11}}}& \cdots &{{k_{1{N_1}}}}\\ \vdots &{}& \vdots &{}& \vdots \\ {{k_{i1}}}& \cdots &{-\sum\limits_{j = 1}^{{N_1}} {{k_{ij}}} }& \cdots &{{k_{i{N_i}}}}\\ \vdots &{}& \vdots &{}& \vdots \\ {{k_{n1}}}& \cdots &{{k_{n{N_n}}}}& \cdots &{\sum\limits_{j = 1}^{Nn} {{k_{nj}}} } \end{array}} \right]\left[{\begin{array}{*{20}{c}} {{\delta _1}}\\ \vdots \\ {{\delta _i}}\\ \vdots \\ {{\delta _n}} \end{array}} \right] = \left[{\begin{array}{*{20}{c}} {{F_1}}\\ \vdots \\ {{F_i}}\\ \vdots \\ {{F_n}} \end{array}} \right] $ (3)

3) 设定弹性系数。在弹簧系统变形前,需要对每个线段弹簧设定一个弹性系数${K_{ij}}$。对于弹性系数的设定,首先要避免弹簧系统变形过程中顶点的碰撞,另外要避免当弹簧变形较大时三角形发生翻转,最后还要保护图像中的重要区域。基于此,对式(1)中的弹性系数${K_{ij}}$提出新的设定方法, 即

$ {K_{ij}} = \frac{{{\sigma _{\Delta ij}}}}{{l_{ij}^2{S_{\Delta ij}}}} $ (4)

式中,${l_{ij}}$代表顶点$i$和顶点$j$之间的距离长度。以${l_{ij}}$为边的所有三角形中显著值${\sigma _t}$最大的作为${{\sigma _{\Delta ij}}}$的值,${{S_{\Delta ij}}}$为其三角形面积。当三角形的面积${{S_{\Delta ij}}}$较小时,弹簧的弹性系数变大,阻止三角形变形进而防止三角形折叠。${{\sigma _{\Delta ij}}}$为三角形的显著值,可以有效地控制三角形的变化,显著值越大,弹簧越不易变形,反之越易发生变形。因此,在网格变形过程中,可以有效地保护图像中的显著物体。

1.3 弹簧系统变形

传统方法往往利用弹簧系统相似法对平面三角网格变形,即设定弹簧系统边界上各顶点的新位置,把边界点位置约束作为狄利克雷边界条件,通过建立网格缩放的线性系统如式(1),求解弹簧系统,然后把求解得到的每个内部顶点的位移量${{\mathit{{\delta }}_i}}$加到其对应顶点的原始坐标${v_i}$上,得到变形后的弹簧系统。这些方法在弹簧系统变形中,仅关注图像中主体区域的缩放,未考虑图像中直线特征的保持,因此,并不能有效地保持图像中的特征直线及部分特征。

为此,本文提出新的目标约束函数用于约束弹簧系统的变形,其中网格各顶点的位移向量作为目标函数的待求未知量,表示为$s = \left\{ {{\mathit{\boldsymbol{\delta }}_i}} \right\}$。新目标函数由直线保持约束项、边方向保持约束项和弹簧变形约束项3项组成。该目标函数在图像缩放的同时,仍使图像中的主体区域及特征直线得到保持。

1) 弹簧变形约束项。为得到目标图像,需要根据目标图像的大小对弹簧系统进行变形。在弹簧系统的变形过程中,为保持初始网格${M_{\rm{s}}}$中的显著物体,本文根据弹簧系统变形模型提出新的网格缩放约束项,使网格${M_{\rm{s}}}$缩放为目标图像大小。得出弹簧变形约束函数

$ {E_s}\left( s \right) = \sum\limits_{p \in {M_{\rm{s}}}} {\left\| {\sum\limits_{j = 1}^{{N_i}} {{K_{ij}}({\mathit{\boldsymbol{\delta }}_j} - {\mathit{\boldsymbol{\delta }}_i})} - {\mathit{\boldsymbol{F}}_i}} \right\|_{\rm{F}}^2} $ (5)

式中,${\left\| \cdot \right\|_{\rm{F}}}$表示常见的F范数,$p$为网格${M_{\rm{s}}}$中的所有点。

2) 直线保持约束项。由于直线是图像的重要特征,直接对弹簧系统进行缩放,会导致图像中的特征直线发生扭曲变形,影响图像的视觉效果。为此,提出直线特征保持的约束函数。对于输入图像进行直线检测,得到特征直线$l$。如图 3对每个特征直线$l$采样,得到的一系列采样点可表示为$l = \left\{ {{c_1}, \cdots, {c_k}} \right\}$,特征直线上的两相邻线段${c_i}{c_{i + 1}}$${c_{i + 1}}{c_{i + 2}}$的夹角为${\rm{cos}}\left( {{\theta _\mathit{i}}} \right) = \frac{{{c_i}{c_{i + 1}} \cdot {c_{i + 1}}{c_{i + 2}}}}{{\left| {{c_i}{c_{i + 1}}} \right|\left| {{c_{i + 1}}{c_{i + 2}}} \right|}}$,为使图像中的特征直线在变形前后,直线$l$中两相邻线段的夹角变化应该尽量小。鉴于此,提出直线保持约束项

$ {E_l}\left( s \right) = \sum\limits_{i = 1}^{k - 2} {\left\| {{\rm{cos}}\left( {{\theta _\mathit{i}}} \right) - {\rm{cos}}\left( {{{\theta '}_\mathit{i}}} \right)} \right\|_{\rm{F}}^2} $ (6)

图 3 直线约束
Fig. 3 Straight line constraint((a)detected characteristic lines, denoted by ${L_{1, i, i = 1, \cdots, \mathit{n}}}$; (b) as the feature line diagram; (c)as the result graph)

式中,$k$为特征直线$l$中点的个数,${{\rm{cos}}\left( {{\theta _\mathit{i}}} \right)}$${{\rm{cos}}\left( {{{\theta '}_\mathit{i}}} \right)}$分别是特征直线变形前后对应的两相邻线段${c_i}{c_{i + 1}}$${c_{i + 1}}{c_{i + 2}}$的夹角。如图 3所示,图 3(a)中蓝天与草地的相接线为图像中的特征直线,记为${L_{1, i, i = 1, \cdots, \mathit{n}}}$;如图 3(c)所示,图像在缩放后,能够很好地保持图像中的直线特征。

3) 边方向保持约束项:如图 4所示,在三角形网格变形中,为防止三角边发生过度偏转(如图 4(c)),导致图像变形失真,因此在变化时要尽量使三角网格中每一个边的方向角变化最小。为此把三角网格变形前后每一个边的方向角偏转量(如图 4(b))与其对应的显著值之积的和作为边的方向保持约束项。使得显著值大的三角形边发生的偏转尽量小,显著值小的三角形边发生的偏转尽量大,即约束项为

$ {E_d}\left( s \right) = \sum\limits_{{e_{ij}} \in M} {{\sigma _{\Delta ij}}\left\| {{d_{ij}} - {{d'}_{ij}}} \right\|_{\rm{F}}^2} $ (7)

图 4 在三角网格缩放时,边方向角的偏转示意图
Fig. 4 The deflection of the edge direction angle when the triangular mesh is scaled ((a)part of mesh; (b)edges of triangular; (c)over-deflection of edge)

式中,${{d_{ij}}}$为边${{e_{ij}}}$的原始方向角,${{{d'}_{ij}}}$为边${{e_{ij}}}$偏转后的方向角,${{\sigma _{\Delta ij}}}$为边${{e_{ij}}}$的显著度(取以${{e_{ij}}}$为边的三角形中显著度值最大的作为该边的显著度值)。

用于约束弹簧变形的新目标函数$E$,由式(5)—式(7)中的约束项加权组合得到,即

$ E\left( s \right) = {E_s} + \lambda {E_l} + \mu {E_d} $ (8)

式中,$\lambda $$\mu$是权值系数。

4) 弹簧系统变形:本文利用L-BFGS-B算法[27]求解目标函数$E$。初始值的设定对L-BFGS-B算法的输出结果有着重要意义,因此,使用式(1)通过线性求解弹簧系统获得初始值。求解目标函数$E$得到弹簧系统中每个顶点的位移量${{\mathit{{\delta }}_i}}$,将${{\mathit{{\delta }}_i}}$加到其对应顶点的原始坐标上${v_i}$,得到变形后的弹簧系统${M_t}$

1.4 重建图像

经过弹簧系统变形优化后,得到一个平面三角网格${M_t}$。然后把图像映射到三角网格${M_t}$中,以得到缩放结果图像${I_t}$。本文使用三线性插值方法进行纹理映射。对输入图像${I_{\rm{s}}}$作为纹理图像,网格${M_{\rm{s}}}$的顶点坐标作为纹理坐标。经过纹理映射得到缩放结果图像${I_t}$。该方法可自动运行达到实时缩放。

2 实验结果及分析

将本文提出的基于弹簧近似法的图像缩放方法与5种基于内容感知的图像缩放方法(线裁剪方法(SC)[1]、基于二次规划的内容感知图像缩放方法(QP)[12]、图像主体大小可调整的缩放方法(OSA)[10]、基于共性能量的缩放方法(SPA)[13]、基于弹簧相似法的缩放方法(BSA)[19])进行比较。其中SC为离散的方法,采用线裁剪技术,通过删除或插入水平或垂直穿过整幅图像的像素线来得到结果图像;QP、OSA、SPA和BSA为连续的方法,基于网格变形的方法,根据输入图像内容约束图像网格变形,通过求解优化得到结果图像。

在图像特征直线保护及主体内容保护两方面在视觉效果上进行对比。本文方法中设定权重系数$\lambda $设为1,$\mu $设为0.6。利用6种方法对原图进行统一缩放,图 5图 9展示各方法的效果图及其局部细节效果图。通过对比可以看出,本文方法较好的实现主体内容和特征直线的保护。图 5中战舰是显著性区域,由图 5局部效果图可以看出SC方法中左边战舰产生了很大的扭曲变形,右侧战舰的直线发生严重弯曲变形。在BSA方法中,图像的中心区域得到很好的保持,但图像部分边缘区域变形严重。QP、OSA和SPA方法虽然战舰的纵横比得到了很好的保护,但是图像中一些显著的直线发生了明显的弯曲变形,另外SPA方法右侧船体上方发生了旋转扭曲(图 5(e))。而在本文的方法中战舰和特征直线得到了很好的保护。图 6车体为显著性区域,在图 6中,SC方法中车体比例变化明显,车前轮上侧发生明显变形。图 6(b)(c)(f)明显地看出,在SC、QP和BSA方法中图像背景中的建筑物的直线特征发生明显扭曲变形。而图 6(b)(c)中,SC和QP方法中马路边缘直线发生扭曲变形,图 6(d)(e)(f)显示OSA、SPA和BSA方法中马路上的交通线出现略微扭曲。而本文方法没有发生较明显的变形,直线特征保护的较完整。

图 5 Battleship缩放结果
Fig. 5 Different scaling results of Battleship ((a) original; (b) SC; (c) QP; (d) OSA; (e)SPA; (f) BSA; (g) ours)
图 6 Car缩放结果
Fig. 6 Different scaling results of Car ((a) original; (b) SC; (c) QP; (d) OSA; (e)SPA; (f) BSA; (g) ours)
图 7 Bells缩放结果
Fig. 7 Different scaling results of Bells ((a) original; (b) SC; (c) QP; (d) OSA; (e)SPA; (f) BSA; (g) ours)
图 8 Blackcar缩放结果
Fig. 8 Different scaling results of Blackcar((a) original; (b) SC; (c) QP; (d) OSA; (e)SPA; (f) BSA; (g) ours)
图 9 Volleyball缩放结果
Fig. 9 Different scaling results of Volleyball ((a) original; (b) SC; (c) QP; (d) OSA; (e)SPA; (f) BSA; (g) ours)

对于主体内容保持的比较,图 7中显著区域是钟和十字架, 图 7所示, 在SC、OSA、SPA和本文的缩放方法中,钟和十字架得到了很好的保护,但是SC方法中上方的钟两侧墙体发生了显著变化,左侧墙体裁剪过多,出现显著的不对称现象。在QP方法中右侧墙体和右下侧的钟也发生了明显的变形。在BSA方法中,钟得到了很好地保持,但对位于图像边缘的十字架发生严重的变形。在本文方法中上下两个中的基本特征保持完好,并没有发生明显变化。图 8中车和路上的线是显著区域,由图 8可见,在QP、OSA、BSA和本文的方法中车体得到了较好的保护,但是在QP方法中车前方马路上的交通标线发生了明显的弯曲变形。图 8(b)所示SC方法使车体顶部凸起变形,车身上的横线发生弯曲变形。图 8(e)中,SPA方法使车体顶部凸起变形。图 8(f)中,位于图像右侧边缘部分的车尾略微变形。但在本文的方法中,车体的特征保护较为完整,路标直线没有发生明显弯曲。图 9中排球运动员为显著区域,由图 9所示在SC和QP方法中排球运动员的右胳膊发生显著变化,变细,使整体比例失调。SPA方法使得图像背景区域旗杆发生扭曲变形(见图 9(e))。BSA方法中排球运动员整体比例严重失调变形。在OSA和本文的方法中,很好地保持了排球运动员的整体比例。

通过图 5图 9的实验对比,可以发现,SC方法图像缩放尺寸不大时效果出色, 但是当图像尺寸变化较大时,会丢失图像的大量背景信息,造成图像重要内容扭曲或假象。QP方法利用全局优化的框架,使用二次规划实现主体区域放大和直线结构保持。但是,通过实验对比发现该方法在图像主体保持方面欠缺。OSA方法提出一种通过简单参数调整改变主体对象大小的方法。SPA方法采用共性能量来优化图像的缩放,相较于前几种方法,该方法对图像主体部分的保护较为完好,但是SPA在一定程度上会使图像中的部分区域发生旋转扭曲,影响图像的整体视觉效果。BSA方法利用图像显著度图构造的覆盖图像的不均匀网格,通过弹簧相似法控制网格缩放,进而实现图像的缩放,该方法对于主体内容位于图像中心区域的图像缩放效果良好,但对于主体内容在图像边缘的部分易发生扭曲变形。而本文方法在图像缩放时能够很好的保持图像主体区域,同时也有效的保护的图像中的主要直线特征。

由于图像网格的缩放因子是由三角面片的显著值决定的,因此显著性检测的好坏直接影响内容感知图像缩放的质量。在大多数图像缩放中,运用Goferman等人[12]提出的显著性检测方法,能使本文方法生成较好的结果。在缩小图像时,能够很好地保护图像中的显著主体。但是,对于个别图像该显著性检测方法依然存在一些问题,如图 10(a)对于人脸占据整幅图的大部分区域,由于额头部分相对平滑,没有很好的被检测出来,显著值较小(图 10(b)),使得该图像在缩小时,人的头部发生变形如图 10(c)

图 10 失败案例
Fig. 10 A less successful example
((a)original; (b)saliency image; (c)result)

表 1展示了通过本文方法对图 5图 9中原图像处理的时间统计,初始化时间包括弹簧系统构建和初始化的时间,弹簧系统变形为解目标函数的时间。由于对一幅图像只需一次初始化的时间,因此对于任意的缩放任务,主要运行时间是解目标函数的时间。可以看出,本文方法可以很好地达到实时缩放图像的目的,其实验环境为Matlab2010b和vs2010,处理器为i7处理器,内存为4 GB。

表 1 本文方法处理图 5图 9中原图像的时间统计
Table 1 Time statistics method handle Fig. 5-Fig. 9 images of the Central Plains

下载CSV
图像 图像大小/像素 点数 时间/s
初始化 弹簧系统变形 总和
Battleship 1 024×756 800 4.977 0.036 6 5.013 6
Car 716×476 400 1.612 0.188 6 1.809 6
Bells 1 024×754 600 3.978 0.013 7 3.998 9
Blackcar 384×384 400 1.078 0.190 5 1.268 5
Volleyball 500×400 400 1.215 0.185 2 1.399 2

3 结论

本文提出基于弹簧变形模型的图像缩放方法。运用弹簧系统实现网格的缩放,一方面通过设定弹簧的弹性系数,较好的实现图像主体的保护;另一方面通过构造目标函数对网格进行变形优化,更好的保持了图像特征。实验证明应用该方法对图像进行不同比例缩放时,在有效突显出图像中的显著区域或重要物体的同时很好地保持了图像的主要直线特征,使放缩后的图像整体具有较好的视觉效果。但由于目前的显著性检测和直线检测仍然存在很多问题有待提高,如直线检测的稳定性和如何检测到较短直线区域或者边界不够清晰区域的直线,是下一步研究要考虑的问题。

参考文献

  • [1] Avidan S, Shamir A. Seam carving for content-aware image resizing[J]. ACM Transactions on Graphics, 2007, 26(3): #10. [DOI:10.1145/1276377.1276390]
  • [2] Guo D Y, Ding J D, Tang J H, et al. NIF-based seam carving for image resizing[J]. Multimedia Systems, 2015, 21(6): 603–613. [DOI:10.1007/s00530-014-0425-6]
  • [3] Oliveira S A F, Rocha Neto A R, Bezerra F N. A Novel Genetic Algorithms and SURF-Based Approach for Image Retargeting[M]. Tarrytown, NY, USA: Pergamon Press, Inc., 2016.
  • [4] Nie D D, Ma L Z. Fast image resizing method under energy balance principle[J]. Journal of Computer-Aided Design & Computer Graphics, 2014, 26(8): 1314–1319. [聂栋栋, 马利庄. 能量均衡原则下的快速图像尺寸调整算法[J]. 计算机辅助设计与图形学学报, 2014, 26(8): 1314–1319. ]
  • [5] Rubinstein M, Shamir A, Avidan S. Multi-operator media retargeting[J]. ACM Transactions on Graphics, 2009, 28(3): #23. [DOI:10.1145/1531326.1531329]
  • [6] Zhang L X, Li K S, Ou Z M, et al. Seam warping:a new approach for image retargeting for small displays[J]. Soft Computing, 2017, 21(2): 447–457. [DOI:10.1007/s00500-015-1795-1]
  • [7] Shafieyan F, Karimi N, Mirmahboub B, et al. Image retargeting using depth assisted saliency map[J]. Signal Processing:Image Communication, 2017, 50: 34–43. [DOI:10.1016/j.image.2016.10.006]
  • [8] Zhu L L, Chen Z B. Fast genetic multi-operator image retargeting[C]//Proceedings of 2016 Visual Communications and Image Processing. Chengdu, China: IEEE, 2016: 1-4. [DOI:10.1109/VCIP.2016.7805467]
  • [9] Wang Y S, Tai C L, Sorkine O, et al. Optimized scale-and-stretch for image resizing[J]. ACM Transactions on Graphics, 2008, 27(5): #118. [DOI:10.1145/1409060.1409071]
  • [10] Shi M L, Yang L, Peng G Q, et al. A content-aware image resizing method with prominent object size adjusted[C]//Proceedings of the 17th ACM Symposium on Virtual Reality Software and Technology. Hong Kong, China: ACM, 2010: 175-176. [DOI:10.1145/1889863.1889901]
  • [11] Shi M L, Xu D. A prominent object size adjustable method for content-aware image resizing[J]. Journal of Computer-Aided Design & Computer Graphics, 2011, 23(5): 915–922. [施美玲, 徐丹. 主体大小能控的内容感知图像缩放[J]. 计算机辅助设计与图形学学报, 2011, 23(5): 915–922. ]
  • [12] Chen R J, Freedman D, Karni Z, et al. Content-aware image resizing by quadratic programming[C]//Proceedings of 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. San Francisco, CA, USA: IEEE, 2010: 1-8. [DOI:10.1109/CVPRW.2010.5543281]
  • [13] Zhang G X, Cheng M M, Hu S M, et al. A shape-preserving approach to image resizing[J]. Computer Graphics Forum, 2009, 28(7): 1897–1906. [DOI:10.1111/j.1467-8659.2009.01568.x]
  • [14] Wang D, Li G Q, Jia W J, et al. Saliency-driven scaling optimization for image retargeting[J]. The Visual Computer, 2011, 27(9): 853–860. [DOI:10.1007/s00371-011-0559-x]
  • [15] Lin S S, Yeh I C, Lin C H, et al. Patch-based image warping for content-aware retargeting[J]. IEEE Transactions on Multimedia, 2013, 15(2): 359–368. [DOI:10.1109/TMM.2012.2228475]
  • [16] Guo Y W, Liu F, Shi J, et al. Image retargeting using mesh parametrization[J]. IEEE Transactions on Multimedia, 2009, 11(5): 856–867. [DOI:10.1109/TMM.2009.2021781]
  • [17] Jin Y, Liu L G, Wu Q B. Nonhomogeneous scaling optimization for realtime image resizing[J]. The Visual Computer, 2010, 26(6-8): 769–778. [DOI:10.1007/s00371-010-0472-8]
  • [18] Xu J L, Kang H M, Chen F L. Content-aware image resizing using quasi-conformal mapping[J]. The Visual Computer, 2017. [DOI:10.1007/s00371-017-1350-4.(inPress)]
  • [19] Ran L Q, Lv N, Meng X X. Image retargeting based on spring analogy[C]//Proceedings of 2014 International Conference on Progress in Informatics and Computing. Shanghai, China: IEEE, 2014: 250-254. [DOI:10.1109/PIC.2014.6972335]
  • [20] Blom F J. Considerations on the spring analogy[J]. International Journal for Numerical Methods in Fluids, 2000, 32(6): 647–668. [DOI:10.1002/(SICI)1097-0363(20000330)32:6<647::AID-FLD979>3.0.CO;2-K]
  • [21] Itti L, Koch C, Niebur E. A model of saliency-based visual attention for rapid scene analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(11): 1254–1259. [DOI:10.1109/34.730558]
  • [22] Harel J, Koch C, Perona P. Graph-based visual saliency[C]//Proceedings of the 19th International Conference on Neural Information Processing Systems. Cambridge: MIT Press, 2006: 545-552.
  • [23] Goferman S, Zelnik-Manor L, Tal A. Context-aware saliency detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(10): 1915–1926. [DOI:10.1109/TPAMI.2011.272]
  • [24] Von Gioi R G, Jakubowicz J, Morel J M, et al. LSD:a line segment detector[J]. Image Processing on Line, 2012, 2: 35–55. [DOI:10.5201/ipol.2012.gjmr-lsd]
  • [25] Fernandes L A F, Oliveira M M. Real-time line detection through an improved Hough transform voting scheme[J]. Pattern Recognition, 2008, 41(1): 299–314. [DOI:10.1016/j.patcog.2007.04.003]
  • [26] Xu Y, Liu L G, Gotsman C, et al. Capacity-constrained Delaunay triangulation for point distributions[J]. Computers & Graphics, 2011, 35(3): 510–516. [DOI:10.1016/j.cag.2011.03.031]
  • [27] Zhu C Y, Byrd R H, Lu P H, et al. L-BFGS-B-Fortran subroutines for large-scale bound constrained optimization[J]. ACM Transactions on Mathematical Software, 1999, 23: 550–560.