浅浮雕是一种可忽略深度的3D艺术雕塑品，通常依附在某一平面上，主要通过线条的勾勒增强立体感，实际占用空间小，常用于对建筑、钱币徽章、陶瓷器皿等的装饰。

目前，数字浅浮雕的相关工作主要围绕保持高度场的连续性、保留原始结构和细节特征、避免立体感衰减等方面对基于3D模型和基于2D图像两类浅浮雕建模技术进行研究(王美丽等，2018)。

基于3D模型的浅浮雕建模是从空间域、梯度域或法向域等方面入手，压缩3D模型在某给定视觉方向上的深度值来生成浅浮雕(Kerber等，2012)。Cignoni等人(1997)从空间域入手，将整个3D场景视为高度场进行非线性缩放。Weyrich等人(2007)结合空间域和梯度域，非线性压缩高度场的梯度值以消除深度值不连续问题。Song等人(2007)在梯度域中通过阈值处理及反锐化掩模技术来增强高频信息。Sun等人(2009)引入梯度加权以保留原始的梯度信息，从而增强浅浮雕的形状特征。Bian和Hu(2011)结合Laplacian坐标，非线性压缩梯度值以增强模型细节特征。Ji等人(2014)从法向域着手，计算3D场景的法线来保留细节特征，解决对象间的深度不连续问题。

基于2D图像的浅浮雕建模，其基本思想是提取图像中的灰度信息并转化为深度信息，从而完成图像到3D浅浮雕曲面的重构。Alexa和Matusik(2010)对图像中的每个像素增加额外的自由度并调整其高度来生成浅浮雕的离散表面。Wang等人(2011)使用线图提取技术获取线信息，再将其三角剖分为浅浮雕的3D网格形式。Li等人(2012)混合基于偏微分方程(partial differential equation, PDE)的网格变形以及反转摩擦图像得到的高、低频分量，生成新的高度图。Wu等人(2013)通过神经网络模型学习由人脸图像到浅浮雕深度图的映射，再由阴影恢复形状法(shape from shading, SFS)构建浅浮雕。

这类方法的输入通常为浅浮雕灰度图，然而图像存在质量上的不确定性，无法直接肉眼判断图像品质的优劣。因为浅浮雕模型在保存和传输过程中，为了降低文件大小或者出于作品保护的目的，往往是以灰度图像的形式出现，比如有损压缩的JPG(joint photographic experts group)图像。这些图像如果直接转化为浅浮雕，质量粗糙。将图 1(a)中的浅浮雕灰度图直接转化生成图 1(b)所示的3D网格模型，模型表面真实反映出了在灰度图中难以体现的噪声现象。

此外，浅浮雕模型表面的噪声还与图像的压缩程度有关，图像的压缩率越小，表明图像的压缩程度越大，噪声表现愈强烈。图 2展示了不同压缩率下浅浮雕的灰度图与模型渲染效果图。可以看到，图 2第1行中不同压缩率下的浅浮雕灰度图几乎无差，而第2行中通过3D模型渲染的方式则清晰地表现出噪声的分布与变化。图 2(a)中的灰度图未经压缩，转化生成的浅浮雕表面清晰，但由于离散的灰度值无法完整描述浅浮雕，因此不可避免地出现不连续的阶梯化现象。图 2(b)中设置图像JPG压缩率为70 %，模型表面粗糙，在边界及内容连接处出现压缩噪声。图 2(c)中图像压缩率为50 %，模型表面块状现象明显。图 2(d)中图像压缩率为30 %，模型表面严重失真，分块现象加重。这些正是因为浅浮雕的灰度图被压缩导致内容不连续引起的，且压缩程度越大，信息丢失越多，模型越粗糙。可见，浅浮雕灰度图的有损压缩真实影响了模型的质量，降低了模型整体的视觉效果。而面对网络上大量的浅浮雕灰度图像，如何从中恢复高质量的浅浮雕模型是一个值得深入研究的课题。

本文对Wen等人(2017)提出的STROLLR(sparsifying transform learning and low-rank)算法进行改进，充分利用原始数据的局部稀疏性和非局部相似性，提出了二次联合局部自适应稀疏表示(Ravishankar和Bresler，2015)和非局部组低秩近似(Hu等，2018)的浅浮雕优化算法。实验结果表明，即便在浅浮雕灰度图像被高度压缩的情况下，本文方法依然具有较为理想的效果。

本文总体贡献如下：

1) 外部高质量字典库。实验中筛选了一批高质量的浅浮雕灰度图，提取这些图像中不相似的数据块构建出一个外部高质量字典库。算法第1阶段中的相似块匹配就是基于已构建的外部字典库实现的，利用外部干净的数据对含噪图像块进行平滑去噪处理。

2) 特征增强。矩阵的低秩近似表示具有较好的平滑去噪性能，它保证了相似矩阵中各个列向量之间数据的一致性，但同时也不可避免地弱化了原始的细节特征。为突出模型特征，本文方法对相似矩阵的低秩近似结果进行进一步的处理，通过线性放大矩阵中各列向量与均值向量之间的差异，实现特征增强的效果。

3) 浅浮雕优化。不同于传统方法致力于新的浅浮雕建模技术，本文旨在优化已受损的浅浮雕模型，充分利用图像中局部块的相似性来修复模型粗糙的表面，提升模型的质量和整体的视觉效果。

浅浮雕优化过程如图 3所示。1)将浅浮雕灰度图以步长为1划分成$8×8$的数据块；2)提取边缘块，去除边缘噪声；3)一方面对数据块进行稀疏处理，获得稀疏编码；另一方面利用K-means匹配每个数据块在外部字典库中的相似块，组成该数据块对应的相似矩阵，再依次对矩阵进行低秩近似和特征增强处理；4)用最小二乘法重建数据块；5)聚合新的数据块重建高度场以生成浅浮雕模型。

选取200个高质量的浅浮雕模型，其内容涵盖了佛像、动物、花草、人像、山水风景、祥瑞神兽和欧式洋花等。将所有浅浮雕灰度图以步长为1划分成$8×8$的数据块，提取其中不相似的块，并将每个数据块转化为$64×1$的列向量，组合成实验所需的外部字典库，矩阵大小为$64×21 744$。为减少不相似块的选择，避免因具体高度值的不同而影响两个块之间相似性的判断，在筛选前对所有数据块做标准化处理。否则，即便是结构相同而灰度值范围不同的两个块也会被判断为不相似，这将大幅度增加字典库中不相似块的数量。

关于两个数据块间的相似性判断，本文参考了基于均值的感知哈希算法。计算数据块的均值$m$，将块中每个数值与$m$进行比较，若大于或等于$m$，则记为1；若小于$m$，则记为0。组合比较结果形成一个64位非0即1的Hash指纹。判断两个数据块是否相似，首先计算它们的Hash指纹，然后计算汉明距离。汉明距离为0，意味着两者非常相似；汉明距离小于5，表示比较相似；汉明距离大于10，表明完全不相似。本文选择汉明距离为10作为分界点，若汉明距离大于10表示两个数据块不相似，否则判定两个数据块相似。

边缘噪声处理分两步进行。1)边缘块提取。计算每个数据块中背景像素值的个数，若背景像素值个数大于0且小于64，则为边缘块。2)边缘块噪声处理。一般来说，边缘噪声的像素值偏小，通过对边缘块进行阈值化处理，将噪声点处理为背景像素值。

稀疏表示是一种多维数据的线性分解方法，旨在使用尽可能少的字典原子来表示原始数据。该方法广泛应用于信号处理、图像处理、机器学习等领域，尤其适用于图像去噪和图像修复(时永刚等，2015)。

本文将局部自适应稀疏表示用于浅浮雕平滑去噪处理，具体分为3部分:

1) 字典学习。利用K-SVD(k-singular value decomposition)字典学习算法(Elad和Aharon，2006)对边缘去噪后的数据块进行训练，学习得到过完备字典${\mathit{\boldsymbol{W}}}$。每个数据块${\mathit{\boldsymbol{u}}}$都可以通过${\mathit{\boldsymbol{W}}}$中少数基向量的线性组合${\mathit{\boldsymbol{α}}}$来近似表示，数据块${\mathit{\boldsymbol{u}}}$的稀疏表示模型为${\mathit{\boldsymbol{u}}}={\mathit{\boldsymbol{W}}}^{\rm T}$${\mathit{\boldsymbol{α}}}$，如图 4所示，${\mathit{\boldsymbol{α}}}$中的白色方块代表零系数，彩色方块代表非零系数。非零系数解释了数据块${\mathit{\boldsymbol{u}}}$只与过完备字典${\mathit{\boldsymbol{W}}}$中的一部分原子相关，体现了稀疏性。之所以称为局部稀疏性，是因为稀疏表示是以数据块${\mathit{\boldsymbol{u}}}$为单位独立计算稀疏编码，编码估计结果仅与当前数据块内部的局部信息有关。

2) 稀疏分解。利用过完备字典${\mathit{\boldsymbol{W}}}∈ R ^{m×n}$对含噪数据${\mathit{\boldsymbol{U}}}∈ R ^{n×N}$进行稀疏分解，得到稀疏编码${\mathit{\boldsymbol{A}}}∈ R ^{m×N}$，稀疏分解过程表示为${\mathit{\boldsymbol{WU}}}={\mathit{\boldsymbol{A}}}+{\mathit{\boldsymbol{E}}}$，${\mathit{\boldsymbol{E}}}∈ R ^{m×N}$表示误差矩阵。

实验中，设置${\mathit{\boldsymbol{W}}}$为方阵，即$m=n$，并且添加约束条件${\mathit{\boldsymbol{W}}}^{\rm T}$${\mathit{\boldsymbol{W}}}={\mathit{\boldsymbol{I}}}_{n}$，以便于字典学习过程中${\mathit{\boldsymbol{W}}}$的运算求解。迭代更新过完备字典${\mathit{\boldsymbol{W}}}$，随机初始化${\mathit{\boldsymbol{W}}}_{0}$矩阵，对${\mathit{\boldsymbol{W}}}_{0}{\mathit{\boldsymbol{U}}}$做硬阈值化处理，将小于阈值$T_{s}$的数置为0，去除相关性较弱的基特征，得到稀疏系数${\mathit{\boldsymbol{A}}}_{0}$，通过奇异值分解(singular value decomposition, SVD)${\mathit{\boldsymbol{UA}}}^{\rm T}$$_{0}$来修正${\mathit{\boldsymbol{W}}}_{0}$中的原子，更新得到${\mathit{\boldsymbol{W}}}_{1}$，再利用${\mathit{\boldsymbol{W}}}_{1}$更新稀疏系数${\mathit{\boldsymbol{A}}}_{1}$，如此反复迭代得到最终的${\mathit{\boldsymbol{W}}}^{*}$，如式(1)。继而由${\mathit{\boldsymbol{W}}}^{*}$对${\mathit{\boldsymbol{U}}}$进行稀疏分解得到稀疏编码${\mathit{\boldsymbol{A}}}^{*}$，如式(2)，其中使用$l_{0}$范数来约束稀疏系数矩阵${\mathit{\boldsymbol{A}}}$，使${\mathit{\boldsymbol{A}}}$中大部分元素为0，以保证稀疏性

$ \begin{array}{l} {\mathit{\boldsymbol{W}}^*} = \arg \mathop {\min }\limits_\mathit{\boldsymbol{w}} ||\mathit{\boldsymbol{WU}} - \mathit{\boldsymbol{A}}||_{\rm{F}}^2{\rm{ }}\\ \;\;\;\;\;\;\;\;\;{\rm{s}}{\rm{.t}}{\rm{. }}{\mathit{\boldsymbol{W}}^{\rm{T}}}\mathit{\boldsymbol{W}} = {\mathit{\boldsymbol{I}}_n} \end{array} $

(1)

$ {\mathit{\boldsymbol{A}}^*} = \arg \mathop {\min }\limits_\mathit{\boldsymbol{A}} ||\mathit{\boldsymbol{WU}} - \mathit{\boldsymbol{A}}||_{\rm{F}}^2 + {\gamma _s}||\mathit{\boldsymbol{A}}|{|_0} $

(2)

式中，$γ_{s}$用于稀疏性约束。

3) 数据块重构。通过稀疏编码${\mathit{\boldsymbol{A}}}^{*}$与过完备字典${\mathit{\boldsymbol{W}}}^{*}$计算$({\mathit{\boldsymbol{W}}}^{*})^{\rm T} {\mathit{\boldsymbol{A}}}^{*}$，从而得到稀疏去噪后的结果。

矩阵的低秩近似是用低秩矩阵来近似表示原始的高秩矩阵，维持主要结构并去除部分细节，以实现平滑与去噪效果。低秩近似与稀疏表示的不同之处在于，稀疏性可以理解为一个向量可用少数基向量的线性组合表示。低秩意味着矩阵中有很多行(列)是线性相关的。因此，低秩近似可利用矩阵的秩最小化进行约束(唐中和，2013)。

奇异值分解是将矩阵${\mathit{\boldsymbol{A}}}$分解成多个秩为1的矩阵之和

$ \mathit{\boldsymbol{A}} = {\omega _1}{\mathit{\boldsymbol{\mu }}_1}\mathit{\boldsymbol{v}}_1^{\rm{T}} + {\omega _2}{\mathit{\boldsymbol{\mu }}_2}\mathit{\boldsymbol{v}}_2^{\rm{T}} + \cdots + {\omega _r}{\mathit{\boldsymbol{\mu }}_r}\mathit{\boldsymbol{v}}_r^{\rm{T}} $

(3)

式中，每一项的系数$ω$为奇异值，${\mathit{\boldsymbol{μυ}}}^{\rm T}$表示秩为1的矩阵。奇异值越大则该项的权重越大，因此可用奇异值较大的若干项矩阵之和来近似代替原始矩阵${\mathit{\boldsymbol{A}}}$。若存在噪声数据，往往认为那些较小的奇异值就是由噪声引起的，从而置较小的奇异值为0来清除噪声。

由于字典库数据量较大，为减少块匹配对象，提高算法的运行效率，使用K-means聚类算法将外部字典库划分成$k$类，用$k$个聚类中心来代表所有字典库数据。然后计算每个数据块与这$k$个簇中心的欧几里得距离，将距离最小的前$M－1$个簇中心同该数据块一起，组成一个$n×M$大小的相似矩阵($n$=64)，如图 5所示。

矩阵中的各个列向量之间存在较高的线性相关性，因此可利用矩阵的低秩性提高不同数据块之间的平滑过渡效果。考虑到在构建外部字典库时，数据块经标准化处理，为保证数据的一致性，在低秩近似处理前将待处理数据块也进行标准化处理。矩阵的低秩近似公式为

$ \mathit{\boldsymbol{D}}_i^* = \arg \mathop {\min }\limits_{{\mathit{\boldsymbol{D}}_i}} \left\| {\mathit{\boldsymbol{C}}{\mathit{\boldsymbol{V}}_i} - {\mathit{\boldsymbol{D}}_i}} \right\|_{\rm{F}}^2 + \eta \cdot rank\left({{\mathit{\boldsymbol{D}}_i}} \right) $

(4)

式中，第1项用于控制低秩近似矩阵和原始相似矩阵之间的误差。矩阵${\mathit{\boldsymbol{CV}}}_{i}∈ R ^{n×M}$表示数据块${\mathit{\boldsymbol{u}}}_{i}$从簇中心${\mathit{\boldsymbol{C}}}∈ R ^{n×k}$匹配获得的相似矩阵。对矩阵${\mathit{\boldsymbol{CV}}}_{i}$进行奇异值分解，${\mathit{\boldsymbol{CV}}}_{i}={\mathit{\boldsymbol{ΦΩΨ}}}^{\rm T}$，对角矩阵${\mathit{\boldsymbol{Ω}}}$中对角线上的元素即为奇异值。阈值化处理奇异值${\mathit{\boldsymbol{H}}}_{θ}({\mathit{\boldsymbol{Ω}}})$，并得到矩阵${\mathit{\boldsymbol{CV}}}_{i}$的近似表示${\mathit{\boldsymbol{D}}}^{*}_{i}$，${\mathit{\boldsymbol{CV}}}_{i}≈{\mathit{\boldsymbol{D}}}^{*}_{i}={\mathit{\boldsymbol{Φ}}}{\mathit{\boldsymbol{H}}}_{θ}({\mathit{\boldsymbol{Ω}}}){\mathit{\boldsymbol{Ψ}}}^{\rm T}$。第2项为约束先验项，$rank({\mathit{\boldsymbol{D}}}_{i})$表示通过约束${\mathit{\boldsymbol{D}}}_{i}$的低秩性来保证数据块间的平滑一致性，参数$η$为约束因子。

矩阵的低秩近似虽然具有平滑去噪优势，但图像特征也同时被光顺化，导致最终浅浮雕模型的特征不突出。因此，本文对相似矩阵的低秩近似结果做了进一步的特征增强处理。通过计算相似矩阵中每个列向量与均值向量的差值，得到一个误差矩阵，它所代表的即为该相似矩阵相对于均值向量的细节部分，对误差矩阵进行整体的线性放大以增强细节，再通过均值向量还原得到特征增强后的处理结果，代替低秩近似结果参与浅浮雕高度场的重建过程。

稀疏表示能较好地保持浅浮雕的细节特征，并且通过调整阈值抑制其表面的分块效应。低秩矩阵近似具有平滑优势，通过相似块之间的线性相关约束使数据块之间达到一定的一致性，进而提高浅浮雕模型的平滑效果。

本文综合两者优势来实现数据块重建，式(5)中的第1项是对数据块稀疏性的约束，${\mathit{\boldsymbol{α}}}_{i}$表示稀疏编码${\mathit{\boldsymbol{A}}}$中${\mathit{\boldsymbol{u}}}_{i}$对应的稀疏系数向量；第2项衡量数据块${\mathit{\boldsymbol{u}}}_{i}$与原始数据块${\mathit{\boldsymbol{y}}}_{i}$之间的趋近程度；第3项是对数据块低秩性的约束，其中${\mathit{\boldsymbol{d}}}_{i}$代表${\mathit{\boldsymbol{D}}}_{i}$的第1个列向量，代表${\mathit{\boldsymbol{y}}}_{i}$的近似数据块，${\mathit{\boldsymbol{F}}}({\mathit{\boldsymbol{d}}}_{i})$表示特征增强处理后的结果。参数$γ_{f}$和$γ_{l}$分别为第2项和第3项中的控制系数。最后，通过最小二乘法获取最优解${\mathit{\boldsymbol{u}}}^{*}_{i}$，求解公式为式(6)。聚合重建后的数据块以获得新的高度场，即

$ \begin{array}{l} \mathit{\boldsymbol{u}}_i^* = \mathop {\arg \min }\limits_{{\mathit{\boldsymbol{u}}_i}} \left\| {\mathit{\boldsymbol{W}}{\mathit{\boldsymbol{u}}_i} - {\mathit{\boldsymbol{\alpha }}_i}} \right\|_2^2 + \\ {\gamma _f}\left\| {{\mathit{\boldsymbol{u}}_i} - {\mathit{\boldsymbol{y}}_i}} \right\|_2^2 + {\gamma _l}\left\| {{\mathit{\boldsymbol{u}}_i} - \mathit{\boldsymbol{F}}\left({{\mathit{\boldsymbol{d}}_i}} \right)} \right\|_2^2 \end{array} $

(5)

$ \mathit{\boldsymbol{u}}_i^* = \frac{{{\mathit{\boldsymbol{W}}^{\rm{T}}}{\mathit{\boldsymbol{\alpha }}_i} + {\gamma _f}{\mathit{\boldsymbol{y}}_i} + {\gamma _l}\mathit{\boldsymbol{F}}\left({{\mathit{\boldsymbol{d}}_i}} \right)}}{{1 + {\gamma _f} + {\gamma _l}}} $

(6)

根据第1节提出的浅浮雕优化算法，对图 2(c)(d)进行测试，重建后的浅浮雕如图 6所示。比较图 2(c)和图 6(a)，图 2(d)和图 6(b)，可以看到以下变化：1)模型边缘及内容连接处的压缩噪声被清除了；2)当图像压缩率低至30 %时，依然保留了模型的主要特征；3)模型表面的噪声现象得以改善，但整体的平滑连续性还有待提高。虽然调整稀疏表示中的阈值可以加强模型的平滑度，但与此同时，模型表面的细节特征也会随之弱化。

于是，本文结合STROLLR算法，对首次重建的高度场做进一步处理，提出了浅浮雕高度场的二次重建方法，更新后的算法流程如图 7所示。

图 7中，算法第2阶段的结构与第1阶段基本一致，不同点在于以下3方面：1)未进行边缘块去噪处理。2)基于自身数据块实现块匹配操作。在第1阶段中，从外部字典库中匹配每个数据块的相似块，然后通过相似块之间的线性相关约束使当前数据块与外部字典库中的相似块之间保持数据的一致性。该方法虽然凭借外部干净的数据提高了模型的平滑效果，但却未考虑到自身数据块之间的一致性，导致块与块之间不够平滑连续。因此，在算法第2阶段中，结合高度场自身的非局部相似性来实现块匹配。3)由于第2阶段中不存在数据形式的差异，且块匹配范围被限制在$35×35$像素的搜索窗口中，相对外部字典库而言待比较的数据块较少，因此不需要对数据块进行标准化处理。

不同于STROLLR算法，在本文方法第2阶段中采用了与第1阶段相同的特征增强处理方法，即线性放大相似矩阵中每个列向量与均值向量的差值来增强模型特征。

第2阶段中块匹配的具体实现如下。设置一个步长为1，大小为$35×35$的滑动窗口来遍历重建后的高度场，使每个数据块都能成为滑动窗口的中心块。计算滑动窗口中每个数据块与中心块的欧氏距离，将距离最小的前$M－1$个数据块同该中心块一起组成$n×M$的相似矩阵，再进行矩阵的低秩近似处理，即

$ \mathit{\boldsymbol{D}}_i^* = {\rm{arg}}\mathop {{\rm{min}}}\limits_{{\mathit{\boldsymbol{D}}_i}} {\rm{||}}\mathit{\boldsymbol{U}}{\mathit{\boldsymbol{V}}_i} - {\mathit{\boldsymbol{D}}_i}{\rm{||}}_{\rm{F}}^2 + \eta \cdot rank\left({{\mathit{\boldsymbol{D}}_i}} \right) $

(7)

式中，矩阵${\mathit{\boldsymbol{UV}}}_{i}∈ R ^{n×M}$表示从以${\mathit{\boldsymbol{u}}}_{i}$为中心块的搜索窗口中匹配得到的$M$个相似矩阵。图 8具体展示了某一$8×8$大小的图像块${\mathit{\boldsymbol{P}}}$的块匹配结果(实验设置$M$=$256$)，图中包含了256个$8×8$大小的图像块，分别对应相似矩阵中256个$64×1$的列向量，并且根据与${\mathit{\boldsymbol{P}}}$的相似度从大到小依次排列显示。如图 8所示，上半部分相邻块之间变化较小，肉眼难以区分，下半部分块与块之间出现越发明显的灰度级变化。

由于在不同搜索窗口中可能存在重叠部分，一个数据块可能存在于多个相似矩阵中，并被多次近似处理。因此在重建数据块时，需要综合该数据块的多次低秩近似处理结果。最小二乘求解公式以及数据块重建公式分别为式(8)和式(9)，对应第1阶段中的式(5)和式(6)，即

$ \begin{array}{l} \mathit{\boldsymbol{u}}_i^* = {\rm{arg}}\mathop {{\rm{min}}}\limits_{{\mathit{\boldsymbol{u}}_i}} \left\| {\mathit{\boldsymbol{W}}{\mathit{\boldsymbol{u}}_i} - {\mathit{\boldsymbol{\alpha }}_i}} \right\|_2^2 + \\ {\gamma _f}\left\| {{\mathit{\boldsymbol{u}}_i} - {\mathit{\boldsymbol{y}}_i}} \right\|_2^2 + {\gamma _l}\sum\limits_{j \in {\mathit{\boldsymbol{C}}_i}} {\left\| {{\mathit{\boldsymbol{u}}_i} - \mathit{\boldsymbol{F}}\left({{\mathit{\boldsymbol{D}}_{j, i}}} \right)} \right\|_2^2} \end{array} $

(8)

$ \mathit{\boldsymbol{u}}_i^* = \frac{{{\mathit{\boldsymbol{W}}^{\rm{T}}}{\mathit{\boldsymbol{\alpha }}_i} + {\gamma _f}{y_i} + {\gamma _l}\sum\limits_{j \in {\mathit{\boldsymbol{C}}_i}} \mathit{\boldsymbol{F}} \left({{\mathit{\boldsymbol{D}}_{j, i}}} \right)}}{{1 + {\gamma _f} + \left| {{\mathit{\boldsymbol{C}}_i}} \right|{\gamma _l}}} $

(9)

式中，集合${\mathit{\boldsymbol{C}}}_{i}=\{j:{\mathit{\boldsymbol{u}}}_{i}∈{\mathit{\boldsymbol{UV}}}_{j}\}$表示存在于第$j$个相似矩阵${\mathit{\boldsymbol{UV}}}_{j}$中的${\mathit{\boldsymbol{u}}}_{i}$。${\mathit{\boldsymbol{D}}}_{j}$是矩阵${\mathit{\boldsymbol{UV}}}_{j}$的低秩近似结果，${\mathit{\boldsymbol{D}}}_{j, i}∈ R ^{n×1}$是存在于矩阵${\mathit{\boldsymbol{D}}}_{j}$中的${\mathit{\boldsymbol{u}}}_{i}$，${\mathit{\boldsymbol{F}}}({\mathit{\boldsymbol{D}}}_{j, i})∈ R ^{n×1}$是特征增强后的结果。

对比本文方法与BM3D(block-matching and 3D filtering)(Dabov等，2007)、WNNM(weighted nudear norm minimization)(Gu等，2014)、STROLLR(sparsifying transform learning and low-rank)和TWSC(trilated weighted sparse coding)(Xu等，2018)4种图像去噪方法。5种算法具有一定的相关性，都是将含噪图像分块处理，最后再将图像块聚合，将新建结果视为一个新的浅浮雕高度场，并将其转化成最终的3D浅浮雕模型。BM3D和WNNM方法基于非局部块匹配思想，寻找相似块进行降噪处理。TWSC方法是一种稀疏编码改进方法。STROLLR方法和本文方法联合了稀疏编码和相似矩阵的低秩近似处理。实验中计算机的配置如下：四核2.4 GHz，Intel Core i5处理器，8 GB内存，Mac OS操作系统，使用MATLAB编程实现。

实验统一设置图像块尺寸为$8×8$，设置$M=256$。本文方法中分别用参数$σ_{1}$，$σ_{2}$控制第1、第2阶段的平滑度，每个阶段的稀疏表示和低秩近似都存在阈值化过程。稀疏表示中对稀疏编码进行阈值化处理以去除相关性较弱的基特征，用少数相关性较强的基特征来表示某一数据块，强调稀疏性。低秩近似中对相似矩阵进行奇异值分解，将分解得到的奇异值做阈值化处理，用奇异值较大的若干项矩阵之和来近似代替原始的相似矩阵，强调低秩性。实验中根据STROLLR方法，分别设置稀疏阈值$T$_{s}$=2.5σ$，低秩阈值$T$_{r}$=1.5σ$，在算法第1阶段中取$σ $=$ σ_{1}$，在算法第2阶段中取$σ $=$ σ_{2}$。鉴于本文方法第2阶段采用STROLLR方法，设置BM3D、WNNM、STROLLR方法中的平滑因子同为$σ_{2}$。5种算法在3种图像压缩率下(70 %，50 %，30 %)的浅浮雕模型优化效果如图 9和图 10所示。实验中对不同图像压缩率下的$σ_{1}$，$σ_{2}$参数进行了大量测试，综合考虑模型的平滑效果和特征保持度，就最佳效果而言给出了表 1所示的参考值。此外，本文方法中特征增强的线性放大系数$θ$依据图像内容和压缩率适当取值，若图像内容丰富，特征细节较多，可增大$θ$值，从而加大特征增强处理力度；若图像内容简单，则不需要过量的特征增强处理或者不进行特征增强处理($θ $= $1.0$)。表 2中对使用本文方法的每个实验用例都备注了具体使用的$θ$值。

图 9中，BM3D和STROLLR方法的特征保持能力较好，压缩率为30 %时依然保留了丰富的细节特征。但相反，BM3D和STROLLR方法的平滑作用最差，压缩率为70 %时，两种算法生成的模型表面有细密的一层层阶梯状现象，且压缩程度越大，该现象愈发明显。WNNM和TWSC方法的平滑效果比BM3D和STROLLR更好，但压缩率为30 %时同样也显得无能为力了。另外，WNNM方法的特征保持能力随压缩程度的增大而下降。TWSC方法的特征保持性能在不同压缩率下并未发生明显的变化，但特征随噪声一起被光顺化了，因此细节特征不突出。WNNM方法最大的问题是模型表面的破损现象，压缩率为70 %和50 %时，模型只有一小块破损，然而当压缩率为30 %时，模型表面出现多处破损，严重影响了浅浮雕模型的质量。相比之下，本文方法的平滑作用和特征保持最为出色。一方面，随着图像的压缩程度不断增大，本文方法的平滑优势也越发明显，这也充分证明本文方法中基于外部字典库的块匹配和低秩近似处理方法的有效性；另一方面，本文方法中模型表面的特征比其他算法更为突出，这验证了特征增强处理的有效性。

图 10中，在图像高度压缩时WNNM方法生成的模型出现多处破损现象。TWSC方法在3种压缩率下均出现背景噪声。BM3D和STROLLR方法表现同图 9一样，虽然模型的特征保持较好，但平滑效果一般。与图 9不同的是，图 10中的图像经过压缩后出现压缩噪声。压缩率为70 %时，BM3D、WNNM、STROLLR方法在眼睛下面的羽毛处出现细小的噪声点，TWSC方法生成的模型不仅出现背景噪声，整体表现模糊不清，而本文方法不仅平滑效果好，特征表现力强，还具有很好的去噪能力，模型整体非常干净自然。当压缩率为50 %时，本文方法在各方面性能上都表现良好。当压缩率低至30 %时，本文方法的优化效果虽不如70 %时出色，但相比其他4种算法，本文方法的平滑去噪能力最强。

对比图 9和图 10中本文方法与STROLLR方法在70 %、50 %、30 %这3种图像压缩率下的浅浮雕优化效果，可知：1)模型表面的噪声现象得以改善。2)本文方法对模型细节特征的表现力更强，眼睛部分的色泽更加丰富饱满，阴影的变化增强了模型的立体空间感，深色的眼球使人物更加炯炯有神。而STROLLR方法生成的浅浮雕模型表现平平，整体显示一个色调，在发须浓密处与脸部平坦处也并没有色彩上的区分度。3)本文方法弥补了STROLLR方法的缺陷，清除了边缘压缩噪声，进一步优化模型整体视觉效果。

图 11展示了更多的浅浮雕模型优化效果。图 11(a)中灰度图的压缩率为50 %，图 11(b)是由图 11(a)直接转化生成的浅浮雕模型，图 11(c)是本文方法生成的浅浮雕模型，设置参数$σ_{1}$ = 2，$σ_{2}$ = 6。图 11(b)中模型质量粗糙，表面有细小的块状分布，边缘处出现压缩噪声。这些现象在图 11(a)的灰度图中都无法得以体现。本文方法的优化处理有效改善了图 11(b)中反映的问题，并且特征增强后的浅浮雕模型表现得更加清晰，给人更强烈的视觉冲击感。

浅浮雕主要起装饰作用，图 12中结合置换贴图(displacement mapping)技术，以柱形体、锥形体等为载体，将浅浮雕模型附着在载体基面上进行展示。其中图 12(a)(c)为模型优化前的效果，图 12(b)(d)为模型优化后的效果展示。分别对比图 12(a)(b)、图 12(c)(d)，经本文方法优化后的浅浮雕模型具有更好的装饰效果。以上实验分析表明，本文方法能有效改善浅浮雕模型表面的分块效应和阶梯化等噪声现象，提高整体的平滑连续性，同时在模型的去噪和特征增强方面也有较好的表现，这3方面的提升整体改善了模型的质量和视觉效果，提高了模型的实际应用性。

将本文方法与基于图像的3D重建方法进行对比，结果如图 13所示。阴影恢复形状法(shape from shading, SFS)是一种常用的3D重建方法，用于将2D图像转化生成3D模型，在不同光照条件下通过图像的阴影与明暗程度来计算图像的深度信息，然后结合反射光照模型以实现3D模型的重建。

Quéau等人(2018)基于SFS实现了一个通用变分框架，使SFS可以广泛应用于各种场景，实现从阴影获得纯形状或感知阴影的深度细化。实验以压缩率为70 %的浅浮雕灰度图为输入测试了该SFS方法，并与本文方法进行对比。SFS方法生成的3D模型整体结构形状较为合理，但存在以下几点不足：1)SFS方法的重建结果不够精细，许多线条和特征不能得以恢复，甚至直接丢失，导致模型表面出现大面积的平坦区域；2)SFS通过阴影恢复形状，产生的3D模型受光源、位置及方向的影响，因此需要将模型旋转到合适的角度才能得到一个较为清晰的视觉效果；3)SFS的重建结果中有很多凹凸槽，加上光照和阴影的影响，局部区域或明或暗，由凹凸槽产生的线条使得模型过于复杂。而本文方法生成的浅浮雕模型更加清晰直观，特征细节保留完好。

表 2记录了不同用例在不同方法下的运行时间。其中4个平滑降噪方法所花费的时间从少到多依次为BM3D、WNNM、TWSC和STROLLR。本文方法比以上4种方法所需时间更长。对一幅1 024×1 024像素的浅浮雕灰度图像，本文方法的平均计算时间为1 000 s，约为STROLLR方法的1.5倍。另外，SFS方法的计算时间也只占本文方法的40 %~60 %左右。尽管本文方法的计算时间较长，但相比其他方法，其对于3D模型的优化能力更强，视觉效果更加显著。

本文针对现有3D浅浮雕模型表面的噪声现象，提出一种基于局部自适应稀疏编码和非局部组低秩模型的浅浮雕模型优化算法。算法前后两个阶段都是对数据块进行稀疏表示、块匹配和低秩近似处理，然后采用最小二乘法求解新的数据块，聚合生成新的浅浮雕高度场。两个阶段的主要区别在于块匹配操作，第1阶段中借助图像数据块与外部自然图像的相似性，利用干净的外部字典库并结合K-means聚类来进行块匹配，利用矩阵的低秩性对匹配得到的相似矩阵进行平滑去噪处理；第2阶段中利用重建高度场自身的非局部相似性和相似矩阵的低秩性来确保自身数据块之间的一致性。实验表明了本文方法在平滑、去噪、特征增强方面的良好性能。

然而，二次联合稀疏表示和低秩近似的算法思想不可避免地导致运行时间增长，大约为STROLLR的1.5倍，对于分辨率较大的模型可能需要十几分钟甚至更长的时间来处理。另外，本文中虽然提供了$σ_{1}$和$σ_{2}$参数的参考值，但实际应用中仍需手动调整以保证更好的模型效果，关于如何实现自动化浅浮雕建模优化是以后研究工作的一大难点。

在未来工作中可进一步研究本文方法对浅浮雕的局部区域处理。考虑使用自适应非局部稀疏编码，并研究稀疏编码与外部字典库的相关性，将外部样本数据的作用发挥到极致，以进一步提高浅浮雕的平滑去噪能力，提高算法的运行效率。另一方面，本文主要针对图像有损压缩带来的图像质量降解问题进行图像恢复，可以进一步研究浅浮雕图像的其他受损情况并进行相应的修复处理。