提供符合用户观看体验的内容对于3维多媒体技术的进一步推广具有至关重要的意义^[1]。虽然影视作品中越来越多地采用3D技术，但是3D显示技术的发展近年来有些停滞^[2]，主要原因是3D信息在传输处理过程中会出现图像降质，伴随着一定程度上立体图像的深度感^[3]的下降，影响了用户的沉浸感。此外，3D显示带来的不舒适性也是限制3D技术继续快速发展的一个重要原因^[4-6]。有效的立体图像体验质量评价技术，一方面可以为图像的压缩标准提供新的思路，另一方面可以为合理改进3D产品质量提供参考，从而加快推进3D多媒体应用技术的发展。

立体图像体验质量(QoE)表示用户多种感知的立体视觉体验质量，是一个以用户为核心并综合考虑影响体验质量多维度感知因素的客观结果。立体图像体验质量是3D图像的失真、深度感和舒适度3种用户感知共同作用的结果^[7-9]。失真质量表示图像失真引起的图像降质程度，深度质量表示观看3D内容时体会到的深度感和沉浸感的大小，视觉舒适度表示观看立体图像视觉不疲劳程度。现有对3D QoE的客观评价方法的研究仅从图像失真、立体感知和视觉舒适度中的一个或两个维度出发，评价结果无法全面和准确地反映用户观看3D图像或视频的真实体验。

根据考虑影响立体图像体验质量的不同维度，3D图像体验质量评价方法可以分为基于失真的图像体验质量评价、基于深度感知的体验质量评价、基于舒适度的体验质量评价以及综合不同维度的图像体验质量评价4大类。

基于失真的体验质量评价方法是通过计算失真程度来评价立体图像。Chen等人^[7]提出从Cyclopean图像和视差图像提取自然场景统计特征，根据分布特征评价图像的体验质量。Lin等人^[8]采用log-Gabor滤波器模拟人眼的多通道效应，先用峰值信噪比计算失真前后各通道的差异，再根据能量加权得到体验质量。

基于深度感的体验质量评价方法是通过计算不同深度平面显著程度(即深度感知)来评价立体图像。刘祥凯^[3]提出根据左右视图关键点匹配情况评价深度感知。Farid等人^[9]通过对每个压缩敏感像素构造邻域直方图来评价深度感知。

基于舒适度的体验质量评价方法是通过计算视差范围、图像复杂度、串扰等影响舒适度的因素评价立体图像。Sohn等人^[10]通过提取视差梯度和图像中物体的宽度因素来衡量不疲劳程度。Jung等人^[11]依据人眼的显著性特征，提取显著区域的视差均值、幅值等舒适度特征，采用机器学习算法计算特征与主观得分的相关性。

上述3种方法都是以图像失真、深度感知和舒适度中的一个维度为主进行的3D图像体验质量评价，评价结果不够全面和准确。因此，国内外研究人员开始考虑多个维度综合评价立体图像的体验质量。当3维视频遭受失真时，如何衡量深度感是一个重要的问题。Wang等人^[12]提出一种在失真环境下深度感预测的方法。先预测不同深度水平和图像内容的深度感知困难系数，再预测不同失真类型和失真程度的深度感知困难系数，组合这两部分产生总体深度感知预测模型。Shao等人^[13]通过两阶段的视差调整方法，优化立体图像的视觉舒适度和深度感知，提升立体图像的体验质量。Şenol等人^[14]采用结构相似性计算深度图和纹理图的失真评价立体图像的体验质量。Mittal等人^[15]利用无序熵统计双目视差变化来衡量深度感知质量，并通过综合考虑图像失真质量和深度感知质量来给出3D整体质量。以上方法从不同维度对立体图像进行评价，取得了较好的评价结果。但是，在实际的主观实验中，发现任一维度的改变都会导致立体图像体验质量发生变化，而且现有的方法也没有综合考虑图像失真、深度感知和舒适度这3个方面的因素对3D图像体验质量进行评价。

因此，本文提出了一种基于用户多维感知的3D图像体验质量评价方法，从图像失真、深度感知和舒适度多个维度进行3D图像体验质量评价，从实验结果来看，评价的客观得分与数据库主观得分有更好的相关性，说明本方法更加符合用户视觉体验。

用户多维感知的立体图像体验质量评价过程如图 1所示。该方法首先对左右眼图像进行减操作和加操作获得差异图像和融合图像，随后对差异图像和融合图像进行广义高斯分布函数拟合，获得拟合参数作为失真质量特征；然后获取失真敏感像素图，对每个失真敏感像素点，统计邻域亮度分布；对左右视图进行SIFT关键点匹配，将邻域亮度分布统计结果和关键点匹配数量作为深度质量特征；再提取显著区域视差的均值、幅值作为视觉舒适度特征；最后，联合这3个维度特征作为体验质量特征向量，通过支持向量回归构建客观的预测模型。

无失真的自然场景图像在分布上存在一定的规律，图像失真会导致其分布规律发生变化，故图像质量可以依据提取的特征参数进行估计。Mittal等人^[15]提出了基于空域的特征提取方法，通过计算归一化亮度系数获得失真图像与自然图像在分布规律上的偏差，从而度量图像的失真状况。针对立体图像，本文方法在空域自然场景统计评价模型^[16]中加入差异信息和融合信息以模拟人眼的视差效应和融合效应，具体步骤如下：

1) 利用减法操作(-)获得左右图像的差异图像；

2) 利用叠加操作(+)获得左右图像的融合图像；

3) 统计差异图像和融合图像中当前像素及相邻像素的归一化亮度分布规律。

在提取图像的空域特征之前，需要对差异图像和融合图像进行预处理。给定一幅灰度图像，对每一个像素点$ I(i, j) $，归一化的具体过程^[7]为

$ \hat I(i, j) = \frac{{I(i, j) - \mu (i, j)}}{{\sigma (i, j) + C}} $

(1)

式中

$ \mu (i, j) = \sum\limits_{k = - K}^K {\sum\limits_{l = - L}^L \omega } (k, l)I(i + k, j + l) $

(2)

$ \begin{array}{*{20}{l}} {\sigma (i, j) = }\\ {\sqrt {\sum\limits_{k = - K}^K {\sum\limits_{l = - L}^L \omega } (k, l){{[I(i + k, j + l) - \mu (i, j)]}^2}} } \end{array} $

(3)

$i \in 1, 2, \cdots, M, j \in 1, 2, \cdots, N$为空间索引坐标，$ M $、$ N $为图像的维数。$ C=0.01 $, $ C $的目的是避免分母趋于0。$ ω $是中心对称的高斯加权函数，$ K=L=3 $。图 2(a)为原始差异图直方图，图 2(b)为差异图归一化直方图，归一化后的图像可以通过高斯分布拟合获取分布规律。

对归一化预处理后的系数，采用广义高斯分布函数进行拟合，用快速匹配算法^[17]计算高斯分布的方差$ \sigma $和形状参数$ \lambda $。广义高斯分布表达式为

$ f(x;\lambda , \rho ) = \frac{\lambda }{{2\rho \mathit{\Gamma }(1/\lambda )}}\exp \left( { - {{\left( {\frac{{|x|}}{\rho }} \right)}^\lambda }} \right) $

(4)

式中，$\rho = \sigma \sqrt {\frac{{\mathit{\Gamma }(1/\lambda )}}{{\mathit{\Gamma }(3/\lambda )}}} $，$\mathit{\Gamma }(\alpha ) = \int_0^\infty {{t^{\alpha - 1}}} {{\rm{e}}^{ - t}}{\rm{d}}t$, $\alpha > 0$是Gamma函数。

此外，未失真的差异图像和融合图像，其相邻像素的乘积符合非对称广义高斯分布，由此可以构造出2个坐标轴方向、2个对角方向的亮度系数乘积^[16]。

非对称广义高斯分布(AGGD)定义如下

$ f\left( {x;\lambda , {\sigma _1}, {\sigma _{\rm{r}}}} \right) = \left\{ \begin{array}{l} \frac{\lambda }{{\left( {{\rho _1} + {\rho _{\rm{r}}}} \right)\mathit{\Gamma }\left( {\frac{1}{\lambda }} \right)}}{{\rm{e}}^{ - {{\left( {\frac{{ - {\rm{x}}}}{{{\rho _1}}}} \right)}^\lambda }}}\;\;\, x < 0\\ \frac{\lambda }{{\left( {{\rho _1} + {\rho _{\rm{r}}}} \right)\mathit{\Gamma }\left( {\frac{1}{\lambda }} \right)}}{{\rm{e}}^{ - {{\left( {\frac{x}{{{\rho _r}}}} \right)}^\lambda }}}\;\;\, x \ge 0 \end{array} \right. $

(5)

式中，${\rho _1} = {\sigma _1}\sqrt {\frac{{\mathit{\Gamma }\left( {\frac{1}{\lambda }} \right)}}{{\mathit{\Gamma }\left( {\frac{3}{\lambda }} \right)}}} $, ${\rho _{\rm{r}}} = {\sigma _{\rm{r}}}\sqrt {\frac{{\mathit{\Gamma }\left( {\frac{1}{\lambda }} \right)}}{{\mathit{\Gamma }\left( {\frac{3}{\lambda }} \right)}}} $, $ \lambda $表示非对称广义高斯分布的全局形状，${\sigma _1}$和${{\sigma _{\rm{r}}}}$决定了AGGD的方差。

为提取更多的有效特征，本方法在两个尺度上提取特征。采用广义高斯分布拟合结果进行估计，提取$ \lambda $和$ \sigma $这2个统计参数。对于相邻像素乘积，采用非对称广义高斯分布从各个方向提取$ \lambda $、${\sigma _1}$及${{\sigma _{\rm{r}}}}$这3个统计特征。AGGD的平均值$ \eta $也提取出来作为特征。

$ \eta = \left( {{\rho _1} - {\rho _{\rm{r}}}} \right)\frac{{\mathit{\Gamma }(2/\lambda )}}{{\mathit{\Gamma }(1/\lambda )}} $

(6)

研究表明，失真会降低立体图像的深度感知质量，失真对深度感知的影响主要有两个方面。一方面物体间相对深度信息丢失，容易引起物体前后位置模糊，影响深度感知。另一方面失真使得左右视点图像匹配的特征点减少，使得双目深度感知信息减少，从而降低了深度感。因此，本文从这两方面来获取深度感知特征，具体步骤如下：

1) 计算失真敏感图；

2) 针对失真敏感像素构建相邻像素灰度直方图；

3) 统计直方图特征；

4) SIFT统计左右视图关键点匹配数目。

因为物体的边界区域容易受失真影响，造成相邻物体深度过度平滑，使得前后物体相对深度信息丢失。故可以采用边缘检测算法提取图像边缘来表示压缩敏感区域，其梯度值$ CSM $的计算公式为

$ C S M=\sqrt{G_{x}^{2}+G_{y}^{2}} $

(7)

式中，$G_{x}$和$G_{y}$分别表示深度图在两个坐标轴方向的梯度大小。图 3(a)是通过光流法计算的深度图，图 3(b)是根据sobel算法提取的敏感图。

由于压缩敏感像素位于两个不同深度物体的边界，直方图在两个灰度级会非常尖锐。在压缩的情况下，深度改变倾向于平滑，可以通过局部灰度直方图来获取差异变化^[9]。图 4(a)是无失真的深度图，直方图存在两个明显的峰值；图 4(b)是有高斯白噪声的深度图，直方图峰值较不明显并且值之间更均等地分布。

为了预测深度图像的质量，计算单个像素点的相对深度信息$leve{l_i}$，计算公式为

$ leve{l_i} = \frac{{\max (\mathit{\boldsymbol{H}}) + \max \left( {{\mathit{\boldsymbol{H}}^\prime }} \right)}}{{\sum\limits_{i = 1}^k H (t)}} $

(8)

式中，$ k $代表灰度级数，设定为10。$ \mathit{\boldsymbol{H}} $表示各灰度级统计像素数目集合，$ H(t) $表示第$ t $个灰度级对应像素点的数目，$ \mathit{\boldsymbol{H}}′ $表示除去数目最多的灰度级的统计像素数目集合^[9]。

敏感像素的直方图统计结果为

$ level = \frac{1}{{|\mathit{\boldsymbol{S}}|}}\sum\limits_{i = 1}^{|\mathit{\boldsymbol{s}}|} l eve{l_i} $

(9)

式中，$ \mathit{\boldsymbol{S}} $代表敏感区域，$ level $代表整个图像的相对深度信息，$ level $越大表示深度感知的效果越好。深度感是左右眼接收到的有视差偏移的图像对在大脑中进行匹配融合形成的^[9]。

图像失真，尤其是非对称失真，会带来一定程度的双目不匹配，进而导致立体感下降^[3]。要能够衡量3维信息的深度感，关键在于左右图像对匹配融合情况的计算。本文采用SIFT关键点匹配算法统计不同程度失真的图像对匹配情况。

图 5(a)是高斯模糊后的匹配情况，根据SIFT关键点匹配计算得出的匹配点数目为1 155，对应的$ Dmos $值为38.91。图 5(b)表示JPEG2000压缩的非对称图像匹配情况，计算得出的匹配点数目为266，对应的差分主观得分($ Dmos $)为49.73。结果表明，匹配数目越少，双目深度线索越少，差分主观得分($ Dmos $)越高。

设$\mathit{Num(} \cdot \mathit{)}$表示匹配点的个数，双目深度线索$ count $可以表示为

$ count = |\lg \mathit{Num}( \cdot )| $

(10)

最后，得到深度感知特征向量：$ [level, count] $。

当立体图像的视差超出一定范围，人眼会产生辐辏调节冲突，导致视觉疲劳。且人眼仅对显著区域的舒适/不舒适特性比较敏感，故本文采用基于视觉重要区域的舒适度评价模型^[11]。具体步骤如下：

1) 显著不舒适区域提取。显著不舒适区域同时反映立体视觉重要区域和客观不舒适区域。首先采用显著性区域提取算法提取得到右视点图像的2维显著图$ \mathit{\boldsymbol{SM}}(x, y) $，并将2维显著性和右视差图像$ \mathit{\boldsymbol{D}}(x, y) $进行加权结合，得到立体显著图，记为${\mathit{\boldsymbol{S}}_{{\rm{vs}}}}(x, y)$，即

$ {\mathit{\boldsymbol{S}}_{{\rm{vs}}}}(x, y) = {\omega _1}\mathit{\boldsymbol{D}}(x, y) + {\omega _2}\mathit{\boldsymbol{SM}}(x, y) $

(11)

式中，$\omega_{1}+\omega_{2}=1$。

为了获取立体图像的显著不舒适区域，采用阈值法提取出对应的二值化图像$ \mathit{\boldsymbol{M}}(x, y) $，定义为

$ \mathit{\boldsymbol{M}}(x, y) = \left\{ \begin{array}{l} 1\;\;\, {\mathit{\boldsymbol{S}}_{{\rm{vs}}}}(x, y) > T\\ 0\;\;\;其他 \end{array} \right. $

(12)

式中，$ T $为通过大津法自适应确定的阈值。显著不舒适区域提取如图 6所示。

2) 视差特征提取。提取显著区域视差均值

$ {D_{{\rm{ mean }}}} = \frac{1}{N}\sum\limits_{(x, y) \in M} {\left| {{\mathit{\boldsymbol{S}}_{{\rm{vs}}}}(x, y)} \right|} $

(13)

式中，$ N $代表掩模区域包含的像素点数目，$ \mathit{\boldsymbol{M}} $表示提取的二值化图像。提取显著区域视差幅值为

$ {D_{{\rm{range}}}} = \max \left( {\left| {{\mathit{\boldsymbol{S}}_{{\rm{vs}}}}(x, y)} \right|} \right) $

(14)

由此，得到舒适度特征向量：$\mathit{\boldsymbol{D}} = \left[ {{D_{{\rm{ mean }}}}, {D_{{\rm{ range }}}}} \right]$。

将失真特征、深度感知特征、舒适度特征分别进行归一化处理后联合成体验质量特征向量$ \mathit{\boldsymbol{X}} $，将特征向量$ \mathit{\boldsymbol{X}} $及对应的主观评分值$ Y $作为SVR的训练样本集。$P=1, 2, \cdots, P_{m}$, $P_{m}$为训练样本的个数。$k\left( {\mathit{\boldsymbol{x}}, {\mathit{\boldsymbol{x}}_i}} \right)$为核函数。$ \mathit{\boldsymbol{x}} $表示当前样本的特征向量，$ {{\mathit{\boldsymbol{x}}_i}} $表示第$ i $个样本的特征向量。

当前SVR的函数表达式为

$ f(\mathit{\boldsymbol{x}}) = \sum\limits_{i = 1}^{{p_m}} \omega \cdot k\left( {\mathit{\boldsymbol{x}}, {\mathit{\boldsymbol{x}}_i}} \right) + b $

(15)

$ k\left( {\mathit{\boldsymbol{x}}, {\mathit{\boldsymbol{x}}_i}} \right) = \exp \left( { - \frac{{\sqrt {{{\left\| {\mathit{\boldsymbol{x}} - {\mathit{\boldsymbol{x}}_i}} \right\|}^2}} }}{{{\gamma ^2}}}} \right) $

(16)

即文中选用径向基函数(RBF)作为核函数。式中，$ \gamma $为核的宽度参数。在$ \varepsilon $-SVR中，SVR实验需要事先确定的参数包括宽度系数$ \gamma $和惩罚系数$ C $。实验中取$\gamma = {2^{ - 8}}, C = {2^{12}}$。

SVR的目标是求解最优的函数解，使得$ f(\mathit{\boldsymbol{x}}) $和$ y $尽可能接近，$ \omega $和$ b $是待确定的模型参数。

将训练所得模型进行测试，选取一定数量的测试样本输入已构建的预测模型，得到预测的客观值。然后通过计算客观所得值与数据库提供的主观值的相关性来度量评价方法的性能。本文采用斯皮尔曼秩相关系数(SROCC)、皮尔森线性相关系数(PLCC)和均方根误差(RMSE)3个性能指标对模型进行评价。皮尔森线性相关系数和斯皮尔曼秩相关系数的值越大，均方根误差值越小，算法越准确。

本文实验在美国奥斯汀德克萨斯大学图像和视频工程实验室提供的对称立体图像库(Phase Ⅰ)和非对称立体图像库(Phase Ⅱ)上进行。LIVE-3D数据库^{[7, 17]}是第一个公开可用且包含深度信息和主观得分的数据库。

所有原始的立体图像均为拍摄的室外场景图像，模拟的失真有使用JPEG和JPEG2000(JP2K)压缩标准的压缩、高斯模糊(GB)、加性高斯白噪声(WN)和快衰落(FF)5种类型。LIVE实验室组织17个测试者对立体图像的体验质量给出相应评分，并计算主观差异评分值(DMOS)。

本文将数据库随机分成独立的训练集和测试集，80%的数据用于训练，20%的数据用于测试。重复训练—测试这个过程1 000次，并将1 000次迭代的平均值作为最终的算法性能的评估对象。

Phase Ⅰ立体图像质量数据库由20幅参考图像和365幅相应的失真图像组成(JPEG、JP2K、WN和FF各为80幅，GB为45幅)，且所有的失真都是对称的。将本文方法与现有代表性的立体图像质量评价方法进行比较，包括经典的SSIM^[19]、MS-SSIM^[20]、VIF^[21]、BRISQUE^[16]等2D IQA模型。这些2D算法分别对左右图像进行质量评估，然后取平均值作为3D图像的质量得分。此外，测试了两种3D IQA模型，包括Lin等人^[8]提出的双目多信道整合模型和Chen等人^[18]基于双目对抗提出的模型。表 1—表 3是本文方法与对比方法在数据库上的各项性能指标。从表 1可以看出，对于WN、JP2K、JPEG类型的失真，本文算法具有更好的性能，而对于GB和FF类型的失真，本文算法没有达到最好的效果，但与其他算法相比性能相当。从整体上看，本文算法更加符合用户的视觉体验。由于Phase Ⅰ数据库中只存在对称失真，可以推断本文算法能够更加有效地预测对称失真图像的质量。

依据不同预测算法获得的客观值和测试集上的主观评分值绘制散点图，如图 7所示。从图 7可以看出，本文算法的拟合程度均高于其他算法，表现出很好的性能，与DMOS几乎成线性关系，证明了所提出的方案可以准确预测质量。

Phase Ⅱ立体图像质量数据库由8幅参考图像和360幅失真图像(JP2K、JPEG、WN、FF和GB各72幅)组成。使用SROCC、PLCC和RMSE作为性能指标，并与相同的2D和3D IQA模型进行比较。表 4—表 6是1 000次随机试验的均值结果。可以看到，当测试图像包含非对称失真时，与对称失真相比，2D IQA方法的预测准确性严重下降。然而，本文方法能够非常好地预测非对称失真的质量，并且在Phase Ⅱ数据库上再次胜过所有其他测试的2D和3D IQA模型。这些结果进一步证实了本文提出的预测模型的有效性。

图 8是Phase Ⅱ中的测试图像绘制的散点图。从图 8可以看出，本文方法的客观评价值与主观评分的拟合效果最好，准确性最高。

为了说明结合失真、深度感知、舒适度的评价模型对立体图像评估是有效的，在LIVE 3D图像质量数据库(Phase Ⅱ)上针对考虑的维度进行了模型性能的比较。表 7是1 000次随机测试后的SROCC、PLCC和RMSE值的平均值。表 7中，“失真+深度+舒适度”代表本文方法，将失真特征、深度感知特征、舒适度特征分别进行归一化处理后，联合成体验质量的特征向量作为训练特征。“失真”、“深度”和“舒适度”表示仅考虑失真、深度或舒适度作为训练特征的方法。从表 7可以看出，失真对主观质量的影响最大；结合失真、深度感知以及舒适度的评价在一定程度上提高了预测的准确性。

为了进一步检验算法的性能，在Waterloo IVC Phase Ⅰ和Waterloo IVC Phase Ⅱ数据库上进行了测试。实验按前所述相同的方式进行，使用SROCC、PLCC和RMSE作为性能指标，实验结果如表 8所示。

从表 8可以看出，本文方法在Waterloo IVC数据库上的预测结果和数据库本身提供的主观得分的相关性达到了0.858和0.854，相比于其他算法评价准确性最高，再次证明本文方法优于其他算法。

用户感知的立体图像体验质量与图像失真、深度感知和舒适度等多维因素相关，由此本文提出了一种联合多维特征的立体图像体验质量评价方法来提升评价的性能。本文算法在公开的LIVE和Waterloo IVC数据库上的实验结果表明，与传统的2D评价方法以及现有的3D评价算法相比，本文算法与人们的主观感知评价结果有更好的一致性。

本文算法存在以下不足：由于深度感知特征和舒适度感知特征都需要利用图像的深度信息，故视差图的准确性对实验结果有一定的影响，但获取高精度视差图的复杂度较高，故算法评价所需时间较长。希望今后能降低评价结果的延时。另外，我们的工作可以与立体图像质量优化过程结合起来，根据评价结果动态提升立体图像的质量。今后，将面向更加通用的3维视频展开评价。3维视频由于物体的动态运动也会对视频质量造成影响，因此将引入时域，建立新的模型，推进对立体视频的质量预测。