3维视频作为多媒体领域研究热点已广泛融入到人们的日常生活中。3维视频在带给观众震撼视觉体验的同时，由于立体成像技术的缺陷，可能也会导致观众出现眼疲劳、头疼、恶心等不舒适的症状^[1]。因此，研究立体图像/视频的视觉舒适性及提升方法对改进立体显示技术、为用户提供更高品质的3维视觉服务有重要的实际意义。

人眼在观看立体图像/视频内容时，可能诱发视觉不舒适的因素主要有：辐辏-调节冲突、过大的交叉和非交叉视差、视差分布、空间频率、左右图像不匹配、对象运动等^[2-3]。针对立体图像的视觉舒适度客观评价，学者已开展了相关研究；Kim等人^[4]对过大的水平视差和垂直视差采用加性一阶线性回归来预测人眼对立体图像的视觉疲劳程度。Sohn等人^[5]考虑相对视差和对象厚度因素提出了依靠对象的视差特征来量化视觉舒适度。Jung等人^[6]通过提取基于视觉关注图的视差特征并利用支持向量回归 (SVR) 预测立体图像的视觉舒适度评价值。Park等人^[7]通过分析水平视差分布和与水平视差相关的中颞区域的神经活动，提出了一个基于神经统计框架的视觉舒适度预测模型。Jiang等人^[8]从偏好选择的角度出发，利用学习到的偏好分类模型构建了一个鲁棒的视觉舒适度评价模型。

对于视觉不舒适的立体图像，需要寻求有效的理论与方法进行舒适度提升。由于视差增大而导致辐辏-调节大冲突是引起视觉不舒适的主要因素，目前针对视差调整方面的立体图像视觉舒适度提升方法主要可分为两类：第一类是视差平移^[9-10]，另一类是视差缩放^[11-14]。视差平移方法通过移动左图和右图来调整视差，即平移原始图像的零视差平面而保持视差范围不变^[9]。因此，过大的屏幕视差可通过平移而减小，从而降低了辐辏-调节冲突。该类方法虽计算复杂度低，但当原始视差范围超过一定的舒适观看区域的范围，不管怎样平移，都难以同时保证最大交叉视差和非交叉视差限制在舒适区域之内，则仍会引发观众的视觉不舒适。Lei等人^[10]利用视觉关注模型确定零视差平面来控制视差，以改善人眼对多视点图像的视觉疲劳。视差缩放方法则是将原始场景的视差范围线性或非线性缩放到舒适区域^[11]。通常，减小场景的视差范围可有效避免过大的辐辏-调节冲突，但当进行大尺度的视差缩小时，由于有限的舒适观看区域的范围 (如角视差的±1°)，使得立体图像的整体感知深度大幅度减弱并造成不自然的视觉效应。Sohn等人^[12]通过从全局和局部图像中提取的视觉不舒适因素来指导整体视差的线性和非线性重映射，在提高视觉舒适度的同时保持了场景的自然性。Jung等人^[13]构建了一个基于sigmoid函数的显著自适应非线性视差重映射函数来增强立体图像的视觉舒适感并减小视差失真。Oh等人^[14]基于整体视觉疲劳分值构造了一个非线性重映射算子从而压缩潜在问题区域的视差范围和拉伸舒适区域的视差范围。

为平衡立体图像视觉舒适度的改善和场景立体感的削弱之间的关系，本文提出了一种结合全局线性和局部非线性视差重映射策略的立体图像视觉舒适度提升方法。其主要贡献包括：1) 分别联合空间频率和立体显著性提取视差统计特征，并利用SVR训练得到视觉舒适度预测模型，来自动指导视差调整过程；2) 提出了一个全局线性和局部非线性的两阶段的视差调整策略，特别是以局部的方式针对全局调整后存在的潜在欠舒适区域内的视差进行非线性调整，从而在提升视觉舒适度的同时尽可能维持场景立体感；3) 为证明所提出方法的有效性，设计了一个主观评价实验来同时评估处理后立体图像的视觉舒适度和立体感。

立体图像/视频内容的产生，除了要考虑立体感，还要求满足视觉舒适性。针对视觉可能不舒适的立体图像内容，在改善立体图像视觉舒适度的同时，也需要避免视差的过大缩放而导致场景立体感的大幅度减弱。为此，本文提出了一种两阶段视差重映射策略的立体图像视觉舒适度提升方法，分别为全局视差粗调和局部视差细调等两个阶段，其具体过程如图 1所示。首先，为控制每个阶段视差范围调整的幅度，分别考虑双眼融合极限和视觉注意机制，提取全局和局部的视觉舒适度特征，结合SVR模型引入客观的视觉舒适度预测函数；然后，在第1阶段，为使不舒适的立体图像经整体调整后初步达到比较舒适的程度，对输入的视差图进行全局线性视差重映射，线性迭代调整全局视差，直到预测到的全局视觉舒适度客观评分值大于预先设定的阈值；第2阶段，为进一步提升立体图像的舒适度以及保持场景的立体感，进行局部非线性视差重映射，提取全局线性映射后的视差图中的潜在欠舒适区域，非线性迭代调整该区域内的视差范围，使得结合全局和局部的视觉舒适度预测值达到预定的目标阈值；最后，根据重映射后的视差图利用绘制技术得到更新后的立体图像以改善其舒适性。

为自动预测立体图像的视觉舒适程度，并以此来判断视差调整过程中立体图像的视觉舒适度的改善情况，构建了一个视觉舒适度客观评价模型。首先，联合考虑空间频率和视差因素，得到全局视觉舒适度特征；然后，基于人眼往往更关注感知显著区域的假设，在显著区域上进行视差统计分析，提取到局部的视觉舒适度特征；最后，然后利用SVR训练得到整体的视觉舒适度预测模型。

空间频率会影响融合限制，随着空间频率的降低，双目融合限制提高^[15]。也就是说，具有高空间频率的图像比具有低空间频率的图像会引起更高程度的视觉不适感。这里，利用相位一致性来提取自然图像的空间频率^[16]。相位一致性可通过将log-Gabor滤波器作用于图像而获得。像素点p的相位一致性定义为

$ PC\left( p \right) = \frac{{\sum\limits_j {{E_{{\theta _j}}}(p)} }}{{\alpha + \sum\limits_n {\sum\limits_j {{A_{n, {\theta _j}}}(p)} } }} $

(1)

式中，$ {{A}_{n, {{\theta }_{j}}}}(p) $为尺度$n $和方向$ {{\theta }_{j}} $上的局部幅值，$ {{E}_{{{\theta }_{j}}}}(p) $为方向${{\theta }_{j}} $上的局部能量，α为小的正常数以保证分母不为零，本文取值为0.000 1。由此，可直接根据相位一致性，得到每个像素点p的空间频率M_SF(p)=PC(p)^[14]。

为更有效反映空间频率对视觉舒适程度的影响，通过将空间频率图M_SF作为视差图D的权重与D相乘得到空间频率感知视差图M_SFD，因为空间频率高的区域若具有大视差，则会感受到更严重的视觉不舒适。然后，提取空间频率感知视差图M_SFD中的平均幅值$ {{f}_{1}} $、均值${{f}_{2}} $、方差$ {{f}_{3}} $、最大$k $%的均值${{f}_{4}} $、最小$k $%的均值${{f}_{5}} $和范围$ {{f}_{6}} $，得到6维的全局特征矢量$ {{\mathit{\boldsymbol{F}}}_{\rm{G}}}=[{{f}_{1}}, ~{{f}_{2}}, ~{{f}_{3}}, ~{{f}_{4}}, ~{{f}_{5}}, ~{{f}_{6}}] $。

根据视觉注意机制，人眼在观看立体图像时会更关注一些感知重要区域 (比如显著区域)，也就是说在视觉显著区域的特征会更大程度的影响整幅立体图像的视觉舒适度，而非视觉显著区域的特征对整体的视觉舒适性影响较小^[17]。由此可在立体显著区域提取视差统计特征，作为局部视觉舒适度特征。

立体图像的显著图M_SS通过直接将视差图D作为平面显著图M_SI的权重得到，${\mathit{\boldsymbol{M}}_{{\rm{SS}}}}\left( {x, y} \right) = \mathit{\boldsymbol{D}}(x, y) \times {\mathit{\boldsymbol{M}}_{{\rm{SI}}}}(x, y) $。

然后，对M_SS进行区域分割，获得潜在显著不舒适区域M_SR。这里，采用阈值算法实现区域分割，即

$ {\mathit{\boldsymbol{M}}_{{\rm{Seg}}}}\left( {x, y} \right) = \left\{ \begin{array}{l} 1\;\;\;{\mathit{\boldsymbol{M}}_{{\rm{SS}}}}\left( {x, y} \right) > {T_r}\\ 0\;\;其他 \end{array} \right. $

(2)

式中，阈值$ {T_r} $取M_SS中值从高到底排列后的10%处的值^[18]。M_Seg中值为1的区域表示潜在显著不舒适区域M_SR。结合潜在显著不舒适区域M_SR和视差图D，得到潜在显著不舒适区域视差图M_SDR。

通过对潜在显著不舒适区域视差图M_SDR中的视差进行统计分析，提取得到视差幅值$ {f_7} $、视差均值$ {f_8} $、视差方差$ {f_9} $、最大$k $%视差的均值$ {f_10} $、最小$k $%视差的均值$ {f_11} $、视差范围$ {f_12} $、以及视差分散度$ {f_13} $和视差偏度$ {f_14} $，共组成8维的局部特征矢量${\mathit{\boldsymbol{F}}_{\rm{L}}} = [{f_7}, {f_8}, {f_9}, {f_{10}}, {f_{11}}, {f_{12}}, {f_{13}}, {f_{14}}] $。视差分散度是指视差相对于零视差水平的分散度，视差分布从零处开始分散的越大，更有可能引起调节辐辏冲突，从而引起视觉不舒适。视差偏度是指视差分布的偏斜度，视差分布偏向屏幕前方比偏向屏幕后方更容易导致不舒适感。这里，取$k $=10^[5]，视差用角度表示。

一旦获得立体图像的视觉舒适度特征，可采用回归模型来建立特征与主观评价值之间的映射关系，从而预测得到立体图像视觉舒适程度的客观评价值。这里，采用SVR来构建在线性和非线性视差映射过程中的整体视觉舒适度预测函数

$ \Psi \left( \mathit{\boldsymbol{F}} \right) = \sum\limits_{i = 1}^n \mathit{\boldsymbol{\omega }} \times K\left( {\mathit{\boldsymbol{F}}, {\mathit{\boldsymbol{F}}^i}} \right) + b $

(3)

式中，F为特征矢量，ω为权重矢量，$b $为常数项，$ n $为训练集中立体图像的对数，$ K(\mathit{\boldsymbol{F}}, {\mathit{\boldsymbol{F}}^i}) $为径向基核函数。

在线性视差重映射阶段只考虑全局视觉舒适特征F_G来预测全局的视觉舒适度评价值Ψ(F_G)，而在非线性视差重映射阶段结合全局视觉舒适特征F_G和局部视觉舒适特征F_L来量化视觉舒适程度Ψ(F_G, F_L)。

视差线性重映射通过缩小原始场景的视差范围到目标范围来实现视觉舒适。这个阶段，通过全局视觉舒适度客观评价模型的指导，对原始视差图进行整体调整，寻找到一个最优的缩放值刚好满足目标条件。

为尽可能保持原始场景的视差范围，用一个比例因子ε对输入视差图D进行逐步的全局线性缩小，即

$ {\mathit{\boldsymbol{D}}^\prime } = \varepsilon \times \mathit{\boldsymbol{D}} $

(4)

式中，D′是全局线性重映射后的视差图，比例因子ε∈(0, 1]。

该视差线性重映射过程可通过搜索算法实现：给定视差图D和初始比例因子ε=1，找到一个新的缩小视差的比例因子值，满足全局视觉舒适度预测值Ψ(F_G) 大于设定的阈值VC_GLT的条件。视差图以间隔Δε=0.05的步调进行缩小，即比例因子ε每次以0.05的间隔减小。每次迭代后，在新得到的调整视差图上提取全局特征来重新预测客观的视觉舒适度评分值，如果分值小于预定的目标值，则重复视差缩小过程，直到达到预定的目标值时，算法进程结束。采用视差迭代调整的目的是防止视差缩小过多而影响场景的立体感。图 2给出了全局视差线性重映射过程的一个例子。图 2 (a) 是原始左右视点的红蓝立体合成图；图 2 (b) 是原始左右视点经全局视差线性调整后左右视点的红蓝立体合成图；图 2 (c) 是原始输入视差经全局线性调整后的视差范围。可以看出原始立体图像具有过大的交叉视差，会引起强烈的视觉不适感，经重映射后，整体视差被线性压缩，交叉视差减小，从而视觉不舒适程度得到缓解。

对立体图像的原始视差图进行全局线性重映射后已处于轻度舒适水平，在这一阶段，只针对局部存在的潜在欠舒适区域进行非线性视差重映射，保证视差范围缩小幅度尽可能小的同时，进一步提升视觉舒适度。

给定全局线性重映射后的视差图D′，利用K均值聚类算法分割得到两个区域，将视差均值较大的区域作为潜在欠舒适区域D′_Z，而另一个区域则为舒适区域D′_NZ，主要是考虑到过大的双目视差会引起辐辏和调节的高程度的冲突，这是引起视觉不舒适的主要原因。图 3分别显示了立体图像的右视点图像和它对应的全局线性重映射后的视差图、提取的潜在欠舒适区域的二值化图以及潜在欠舒适区域的彩色图。

为对欠舒适区域内的视差进行非线性调整以提升视觉舒适度，同时为保持分割得到的两个区域内的视差在非线性重映射后的连续性，从而避免深度层位置的反转以减少对重定向立体场景的不自然感知。因此，对潜在欠舒适区域D′_Z使用对数函数进行非线性视差重映射，即

$ {\mathit{\boldsymbol{D}}^{''}}_Z = \eta \times {\rm{ln}}({\mathit{\boldsymbol{D}}^\prime }-{\mathit{\boldsymbol{D}}^\prime }_{{z_{{\rm{min}}}}} + 1) + {\mathit{\boldsymbol{D}}^\prime }_{{z_{{\rm{min}}}}} $

(5)

式中，$ \eta \in [1, {\eta _m}] $是调节因子用来控制非线性重映射后的视差范围，$ {\eta _m} $是设定的初始调节因子，计算公式为

$ {\eta _m} = \frac{{{\mathit{\boldsymbol{D}}^\prime }_{{z_{{\rm{max}}}}}-{\mathit{\boldsymbol{D}}^\prime }_{{z_{{\rm{min}}}}}}}{{{\rm{ln}}({\mathit{\boldsymbol{D}}^\prime }_{{z_{{\rm{max}}}}}-{\mathit{\boldsymbol{D}}^\prime }_{{z_{{\rm{min}}}}} + 1)}} $

(6)

式中，$ {\mathit{\boldsymbol{D}}^\prime }_{{z_{{\rm{max}}}}} $和$ {\mathit{\boldsymbol{D}}^\prime }_{{z_{{\rm{min}}}}} $分别表示潜在欠舒适区域D′_Z中视差的最大值和最小值。

由此，经非线性视差重映射后的视差图D″可表示为

$ {\mathit{\boldsymbol{D}}^{''}} = {\mathit{\boldsymbol{D}}^{''}}_Z \cup {\mathit{\boldsymbol{D}}^\prime }_{NZ} $

(7)

式中，D′_NZ是从全局线性重映射后的视差图D′中分割得到的舒适区域。

该视差非线性重映射过程同样通过搜索算法实现：给定全局线性重映射后的视差图D′和初始调节因子$ {\eta _m} $，对潜在欠舒适区域内的视差进行间隔为Δη=0.5的非线性迭代缩小，最终找到最优的新调节因子，使得在该最优值下的视觉舒适度预测值Ψ(F_G, F_L) 大于且最接近设定的阈值VC_CNLT。图 4为局部视差非线性重映射过程的例子。可以看出，本阶段对第1阶段调整后存在的潜在欠舒适区域内的视差进行了非线性压缩，并保持了区域间视差的连续性以及控制了整体视差范围缩小的幅度，从而达到保证立体感的同时改善视觉舒适程度的目的。

利用重映射后的视差图、原始右视点图像绘制左视点图像，在绘制过程中因为视差图边缘强度的突变等可能导致空洞，再进行空洞填补，从而得到虚拟左视点图像，与原始的右视点图像一起构成重建后的立体图像；这里，可以采用视点合成参考软件 (VSRS) 中相关算法来填补空洞区域^[19]。通过视差图重建并修整左视点图像，形成新的立体图像，来提升立体图像的视觉舒适性。

为反映所提出方法在提升视觉舒适度并保持立体感上的有效性，设计了相关实验进行验证。采用韩国先进科学技术院的IVY Lab立体图像舒适度测试库进行测试^[20]。该测试库共包含120幅分辨率为1 920×1 080的不同场景立体图像，并提供了每幅立体图像的平均主观评价值 (MOS) 和利用深度估计参考软件 (DERS) 得到的视差图。MOS值通过对视觉舒适程度进行五等级 (5：非常舒适，4：舒适，3：轻度不舒适，2：不舒适，1：非常不舒适) 主观打分而得到。实验中先利用该数据库训练得到一个客观的视觉舒适度预测模型，再对处理后的左右视点进行红蓝合成来证实效果，最后设计主观评价实验进一步证明所提出方法的性能。

为构建视觉舒适度预测函数，将IVY Lab立体图像舒适度测试库的120幅MOS值分布广泛的立体图像作为回归模型的训练集。通过将提取得到的立体图像视觉舒适度特征与MOS值输入SVR模型，训练得到一个客观的视觉舒适度预测函数。在第一阶段的全局视差线性重映射过程中，只利用全局特征F_G来构建一个视觉舒适度客观评价模型Ψ(F_G)，调整的目标阈值VC_GLT设定为3.5，因为该值介于MOS值中轻度不舒适和舒适之间，也即该阶段调整的目标是将立体图像整体调到较为舒适的程度。而对于第2阶段的局部非线性视差重映射，同时结合全局特征F_G和局部特征F_L来预测调整后立体图像的视觉舒适度评价值Ψ(F_G, F_L)，阈值VC_CNLT设定为4，该分值4对应于主观评价中的舒适，因此该阶段的目标是进一步提升立体图像的视觉舒适程度。

考虑到所构建的视觉舒适度评价模型的预测准确性，采用100次的十折交叉实验进行验证，并将所提出方法与现有代表性的立体图像舒适度评价方法进行比较，分别Kim方法^[4]，Sohn方法^[5]和Jung方法^[6]。表 1给出了所提出方法与其他具有代表性的3种方法在IVY Lab立体图像舒适度测试库上的各项性能指标的比较结果，其中前两项最优的性能指标加粗表示。从表 1可以看出，在线性视差重映射阶段，对每幅立体图像提取6维的全局特征，所提出方法的Pearson线性相关系数 (PLCC) 值为0.864 2，Spearman等级相关系数 (SROCC) 值为0.829 1，均方根误差 (RMSE) 值为0.372 9；在非线性视差重映射阶段，提取了14维全局和局部的特征，所提出方法的PLCC值为0.869 4，SROCC值为0.830 1，RMSE值为0.366 9，均明显优于其他方法。结果表明，所构建的视觉舒适度预测模型与主观评价值具有良好的一致性，可作为在立体图像的视觉舒适度提升过程中视觉舒适度评价的判断标准。

为更直观显示所提出方法的提升效果，选取了IVY Lab立体图像舒适度测试库中的10幅不同场景的不舒适 (MOS < 4) 的立体图像进行测试，其右视点图像如图 5所示。然后，分别对原始左右视点和处理后的左右视点采用红蓝合成进行立体可视化。另外，为进一步验证所提出方法的有效性、先进性，将所提出方法与现有代表性的立体图像视觉舒适度提升方法进行比较，分别为Lei方法^[10]和Jung方法^[13]。

图 6展示了处理后立体图像的舒适度提升结果的一些例子。从图 6 (a) 可知，原始立体图像的视差过大，从而导致观看时视觉的不舒适，它们的MOS值分别为2.82、1.35、1.71、2.35、2.24；而图 6(b)-(d)经视差重映射后都变得相对舒适。对比3个方法的可视化立体图像，虽然图 6(b)的立体感要强于图 6(c)和图 6(d)，但视觉舒适程度要远低于图 6(c)和图 6(d)，且还是感到轻度的视觉不舒适 (在2.3节中的主观评价实验定量的证实了该结论)。图 7为图 6中第5个测试立体图像中黑色矩形框的细节放大图。相比较图 6 (c) 和图 6(d)的结果，从图 7的细节放大图中可看出两者的视觉舒适程度相差不大，然而图 6 (d) 的立体感要高于图 6 (c)(在2.3节中的主观评价实验同样定量的证实了该结论)。造成这一结果的原因是，Lei方法^[10]是通过计算得到的零视差平面来移动整个场景的视差，而保持整体视差范围不变，因此可以保持良好的立体感。而Jung方法^[13]对场景视差进行了大幅度的非线性映射，场景中过大的交叉和非交叉视差被显著缩减，是通过牺牲立体感来改善视觉舒适度。综合考虑，本文方法在有效提升视觉舒适度的同时维持了场景的立体感。

除了上述比较外，将进一步从主观感知上验证所提出方法对于视觉舒适度的提升和保持立体感的有效性，按照ITU-R BT.500-11^[21]和ITU-R BT.1438^[22]标准设计主观评价实验。在该主观评价实验中，使用65英寸的三星UA65F9000超高清3D-LED显示器。该显示器具有低的串扰水平，最高亮度调整为50 cd/m²。位于显示屏幕和受试者之间的观看距离固定为屏幕高度的3倍。本实验采用ITU-R BT.500-11标准中的双刺激连续质量标度方法 (DSCQS)。DSCQS方法需要原始的立体图像和处理后的立体图像两类，且原始的立体图像和处理后的立体图像随机呈现。每幅立体图像显示10 s，切换不同的立体图像前播放5 s的灰度图像。这里，对2.2节中选取的标号为NO.0-NO.9的立体图像进行主观评价实验。共有17名受试者参与主观评价实验，所有受试者都具有正常或矫正到正常的视力，且达到了60″的最小立体视力。实验中，采用与IVY Lab立体图像库的主观打分一致的方式，要求受试者对立体图像的视觉舒适程度和立体感分别进行五等级打分，即5：非常舒适 (非常强)，4：舒适 (强)，3：轻度不舒适 (中)，2：不舒适 (弱)，1：非常不舒适 (非常弱)。最后对所有的实验数据进行检验，丢弃2份异常的分数后，利用剩下的15份数据计算得到最终的视觉舒适度的MOS值 (VC)、立体感的MOS值 (DS)，以及两者综合的MOS值 (Ave)，即Ave = 0.5(VC + DS)。

表 2给出了本文方法与其他具有代表性的2种方法的主观评价结果，其中VC和Ave中最优的指标加粗表示。显然，对于视觉舒适度的主观评价结果，Lei方法要明显低于Jung方法和本文方法，并且分值都在3分附近波动，说明经过Lei方法调整后，视觉舒适程度比原始是有略微的改善，但并未达到视觉舒适的程度，观看时依旧感到轻微的不舒适。而Jung方法和本文方法将不舒适的立体图像提升到舒适的程度，分值都位于4分上下，两者改善的程度相差相当。同时，对立体感的主观评价结果表明，Jung方法要明显弱于Lei方法和本文方法，受试者能明显感到经Jung方法调整后场景的立体感变弱，而Lei方法的立体感最强。结合视觉舒适度和立体感两个因素来综合评价，本文方法要明显优于Lei方法和Jung方法，在视觉舒适度和立体感之间达到了一个平衡。

图 8更直观地显示出所提出方法与Lei和Jung方法的对比结果，其中图 8(a)-(c)分别是视觉舒适度 (VC)、立体感 (DS) 和两者平均 (Ave) 的主观评价对比结果。可以明显看出，本文方法能够在保证立体感的前提下达到提升视觉舒适度的目的，而Lei方法对于视觉舒适度的改善效果一般，Jung方法虽然有效改善了视觉舒适度，却削弱了图像的立体感。

针对人眼观看立体图像内容时视差对视觉舒适度的影响，提出了一种结合全局线性和局部非线性视差重映射策略的立体图像视觉舒适度提升方法。该方法的关键之处主要包括：首先，构建了客观视觉舒适度预测模型来自动指导视差调整，而不需要人为控制调整过程；其次，提出了一个两阶段的视差重映射策略，分别是全局视差线性粗调整和局部视差非线性细调整；最后，在视差线性和非线性调整阶段分别考虑了不同的视觉舒适度影响因素来增强立体图像的视觉舒适度。结果表明，所提出方法能有效提升立体图像的视觉舒适度并保持场景的立体感。进一步的研究工作，可结合视差的时域运动特性将该方法扩展到立体视频的舒适度提升中。