0 引言

1 光场表示与采集设备概述

1.1 光场表示

光场的概念是用于描述光线在3维空间中的传输特性。文献[5]提出了7维的全光函数$L(x, y, z, θ, ϕ, λ, t)$来描述3维空间中光线的位置、方向、波长及时间信息，其中$(x, y, z)$为光线经3维空间任意一点的坐标，$(θ, ϕ)$为光线的俯仰角和方位角，$λ$和$t$分别表示光的波长和时刻。然而，7维全光模型需要记录的信息体量大、维度高，为存储带来巨大压力, 同时给后续的信息处理带来巨大困难，难以在实际生活中得到应用。针对该问题，文献[5]将全光模型的维数由7维降低到5维，该方法假设光线波长恒定，从而舍弃了光线的时间及波长信息。随后，文献[2]对5维全光模型进一步简化，提出了基于“双平面”的4维光场模型$L(u, v, s, t)$，其中$(u, v)$为第1个平面坐标，用于描述光场的角度信息，$(s, t)$为第2个平面坐标，用于描述光场各视角的空域信息。该4维光场模型的示意图如图 1所示。

图 1 4维光场模型示意图^[2]

Fig. 1 Four-dimensional light field model^[2]

1.2 光场采集设备

1.2.1 相机移动平台

1.2.2 相机阵列

1.2.3 基于压缩感知的光场采集设备

1.2.4 全光相机

全光相机的核心技术是集成成像技术。该技术基于光路可逆原理，利用微透镜阵列仅需一次曝光即可完成3维场景信息采集。重建的3维场景具有全视差(包括水平视差和垂直视差)，且在一定视角范围内包含密集的准连续视点。早在1908年，法国物理学家Lippmann就已提出了集成摄影技术^[18]。然而，受限于微透镜阵列的加工材料及工艺限制，对集成成像技术的研究在20世纪初进展缓慢。直至20世纪中叶，随着电子技术的迅猛发展及微透镜阵列制造工艺的不断进步，尤其是电荷耦合器件、互补金属氧化物半导体等感光元器件的出现，弥补了传统感光胶片的不足，集成成像技术才逐渐引起研究者们的关注。

1992年Adelson等人^[19]设计了全光相机结构，该相机将一个微透镜阵列放置在相机主透镜和图像传感器之间。图 2展示了该相机结构及采集过程的示意图。光线经过微透镜阵列后，图像传感器单元通过记录不同入射角度的场景信息完成信息采集。受限于图像传感器及微透镜阵列的制造工艺，Adelson等人^[19]在相机模型中加入场镜(field lens)，使得主透镜的光瞳始终处于微透镜焦距的无穷远处，同时采用中继镜来调和图像传感器与微透镜阵列之间的尺寸差异。虽然该光场相机模型只能获取角度分辨率为5×5、空域分辨率为100×100像素的光场图像，但这是集成成像技术与光电系统的结合，为数据存储、数据处理和显示带来极大的便利。

图 2 全光相机结构示意图^[19]

Fig. 2 Plenoptic camera structure^[19]

Ng^[18]设计了首款手持式光场相机。该相机模型没有采用图 2所示的相机结构，取消了场镜和中继镜，将传感器安装在微透镜阵列一倍焦距的位置，使得相机体积大大缩小，可获取角度分辨率为14×14的光场图像，相比于Adelson等人^[19]设计的相机，所获取光场图像的角度分辨率得到极大的提升。基于此模型，Lytro公司开发了两款消费级光场相机Lytro和Lytro Illum，由于使用方便且价格适中，已被广泛应用在光场图像数据采集及计算机视觉领域的研究中。

由于光场图像的角度信息和空域信息只能用图像传感器记录，因此必须在角度分辨率和空间分辨率二者之间做出取舍。Ng^[18]设计的光场相机牺牲空间分辨率记录光线的角度信息，为了提高光场图像的空间分辨率，Georgeiv等人^[20]提出了聚焦光场相机(focused plenoptic camera)。与Ng^[18]设计的相机结构不同，聚焦光场相机的图像传感器安装在微透镜阵列的焦面上，该设计使得微透镜成像面在微透镜阵列与主透镜光瞳平面之间的虚拟像平面上，从而可通过调整图像传感器、微透镜阵列及虚拟像平面三者之间的距离来调节光场相机的角度分辨率和空间分辨率。基于该相机模型，Raytrix公司开发了一系列工业级光场相机^[20]。与Lytro相比，Raytrix精度更高，且具备采集视频功能，但售价高昂。

Lytro和Raytrix都属于单镜头光场相机，由于该类型光场相机体积小且使用方便，尤其是价格适中的Lytro Illum，已成为目前光场图像处理领域普遍使用的光场图像数据采集设备。图 3显示了由光场相机采集的光场图像“Seagull”^[22]，光场图像由多个基本图片(elemental image)组成，每个基本图像尺寸为75×75像素，整幅光场图像尺寸为7 240×5 236像素。在图 3中，不难发现相邻基本图像之间存在大量的重叠区域，整幅光场图像具有较大的空域冗余。同时，通过视点图像绘制算法^[23]，可将光场图像转换成多幅子视点图像。子视点图像即代表单个特定视点观测到的3维场景。子视点图像的尺寸和位置与微透镜阵列有关，由于各视点图像共用同一图像传感器，因此每幅子视点图像的空间分辨率较低。另外，各子视点图像表征了光场的角度信息，根据图 1所示的4维光场模型，可用角度平面的2维坐标$(u, v)$索引各子视点图像。

图 3 光场图片区域放大图和子视点图像示意图

Fig. 3 Zoom-in map for light field image and its sub-view images

在本文中，由相机阵列和光场相机采集的光场数据统称为密集光场数据。由于相机阵列和全光相机采集的数据格式不同，文中的光场图像单指由全光相机采集的光场数据，由光场图像转化的多幅子视点图像统称为子视点图像集。

2 光场数据压缩

2.1 JPEG Pleno标准概述

JPEG Pleno标准面向3种真3维数据(包括光场、点云、全息)，旨在提出一个包含多种新颖压缩工具的编码系统，支持数据及元数据(metadata)的编辑、随机接入及产权保护等功能。同时，JPEG Pleno将提供一个高效的数据压缩格式；解决在资源(包括传输码率带宽、计算复杂度、功耗等)受限下如何保证重建场景的视觉质量；支持多种应用需求，如低延时、JPEG压缩格式的兼容性、可拓展性、差错掩盖、并行/分布式处理等。值得一提的是，JPEG Pleno标准仍然采用JPEG系统(JPEG system)的通用规范，包括辅助元数据(包括数据的采集、生成、标定、渲染等)的标志信息、数据编辑信息和用户接口等。

JPEG Pleno标准包含7个部分，其框架如图 4所示。目前，JPEG Pleno已开始4个部分(Part 1—Part 4)标准制定工作。

图 4 JPEG Pleno标准框架^[3]

Fig. 4 JPEG Pleno standard framework^[3]

Part 1定义了JPEG Pleno框架的句法元素格式规范，包括两部分内容：JPEG Pleno框架的通用规范和编码器输入文件格式信息。在Part 1中，JPEG Pleno超级工具箱(superbox)记录输入数据格式(光场、点云、全息)及元数据信息。

Part 2为光场数据压缩部分，包括两部分内容：光场数据的编码工具和文件格式信息。目前，光场压缩的标准化工作仍在进行中，JPEG Pleno已公布了光场编码验证模型。

Part 3为一致性实验(conformance testing)部分，评估第3方测试平台实验数据的一致性。

Part 4为JPEG Pleno标准参考软件(reference software)，是各模块的软件实现，用以仿真实验。该参考软件没有考虑计算复杂度，因此不适用于对实时性要求较高的应用场景。另外，点云数据压缩、全息数据压缩和质量测试(quality test procedures)的标准化工作目前还处于探索阶段，且不是本文的关注重点，因此不再过多陈述。

2.2 JPEG Pleno光场编码器

1) 多层级编码结构。为了满足随机接入的需求，JPEG Pleno光场编码器采用多层级编码结构(hierarchical coding structure) ^{[3, 25]}。以图 5所示角度分辨率为13×13的光场图像为例，子视点图像分为6个层级。在实际应用中，每一层的子视点图像集都可由用户自由设定。第1层只包含1个视点的图像，由于中央视点图像质量最高，因此往往被设置为第1层。在编码过程中，高层级的子视点图像将参考重建后低层级的子视点图像。

图 5 多层级编码结构示意图^[25]

Fig. 5 Hierarchical coding structure^[25]

2) 编码器框架。JPEG Pleno光场编码器框架如图 6，分为3个模块。第1个模块采用图像编码标准JPEG 2000对包含有$N$幅参考图像的参考视点图像集(记为$\left\{\boldsymbol{L}_{\mathrm{ref}_{i}} | i=1, \cdots, N\right\}, \boldsymbol{L}_{\mathrm{ref}_{i}}$为第$i$幅参考图像)进行编码，然后将码流传至解码端。参考视点图像集的构建与多层级编码结构和目标码率有关。在低码率情况下，只选取少量的低层级子视点图像(在码率极低的情况下，参考视点图像集只包含中央视点图像)；在高码率情况下，参考视点图像集可包含多幅来自于多个低层级的子视点图像。重建的参考视点图像$\boldsymbol{L}_{\mathrm{ref}_{i}}^{\mathrm{dec}}$作为第3个模块的输入，用以预测参考视点图像集以外的非参考视点图像。该模块对每幅参考视点图像单独编码，没有考虑视点间的相关性，因此压缩性能不高。

图 6 JPEG Pleno光场编码器框架示意图^[3]

Fig. 6 Framework of JPEG Pleno light field encoder^[3]

第2个模块是深度图像参考集(记为$\left\{\boldsymbol{D}_{\mathrm{ref}_{i}} | i=1, \cdots, H\right\}$，其中$\boldsymbol{D}_{\mathrm{ref}_{i}}$为第$i$幅深度图参考图像)编码模块，其中深度图像由深度估计算法得到。与子视点图像参考集构建方式一样，在低码率情况下，只选取1幅深度图；在高码率情况下，参考集中可包含多个视点的深度图。该模块同样采用JPEG 2000压缩标准对深度图像进行压缩，将深度图的码流传至解码端；重建的深度图$\boldsymbol{D}_{\mathrm{ref}_{i}}^{\mathrm{dec}}$作为第3个模块的输入，用以估计非参考视点的深度图。

第3个模块在图 6中右半部分，是JPEG Pleno光场编码器的核心部分，根据输入的参考视点图像及深度图，利用视点几何关系预测其他非参考视点的纹理图及深度图。如图 6中所示，当存在多个参考视点时，根据各参考视点的空间位置信息，可对当前视点$(k, l)$进行视点间预测；对于纹理图，JPEG Pleno光场编码器采用文献[26]提出的算法合并多幅映射图$\boldsymbol{W}_{k, l}$；对于深度图，选取得到的多幅深度图同一位值的中间值作为最终预测值，得到预测的深度图$\boldsymbol{D}_{k, l}^{\mathrm{dec}}$。由于视点间映射会产生空洞，针对该问题，JPEG Pleno光场编码器首先利用文献[27-28]提出的算法得到稀疏预测模板，将该模板与合并后的映射图卷积实现空洞填充，最终生成非参考视点的预测图。该预测图与原始的非参考视点图像做残差，然后利用JPEG 2000压缩标准对得到的残差进行编码。最终生成的码流包含5个部分：子视点图像参考集、深度图参考集、预测残差、稀疏预测模板参数$\{p\}$和变换图像合并算法参数$\{o\}^{\mathrm{C}}$。

2.2 基于变换的光场压缩方法

基于变换的光场压缩算法流程如图 7所示，首先将光场图像转化为子视点图像，针对子视点图像集采用不同的变换方法得到变换系数，最后经量化熵编码输出码流。本文根据变换方法的特点，进一步将该类算法分为：基于多维变换的压缩方法和基于图变换(graph transform)的压缩方法。

图 7 基于变换的光场压缩方法流程图

Fig. 7 Illustration for transform coding approaches

2.2.1 基于多维变换的压缩方法

2.2.2 基于图变换的压缩方法

图信号(graph signal)能够较好地描述图像中不规则形状，已引起研究者们的广泛关注。尤其在2017—2018年，涌现了许多基于图变换的光场压缩研究工作。其中，部分文献采用预测+图变换的混合编码结构，但该类方法的重点是如何利用图高效表示光场信息。因此，本文分类时以是否采用了图变换为依据，将采用预测+图变换的压缩方法划分。

在对比分析基于图变换的压缩方法之前，简单介绍图变换的基本原理：首先，构建图模型$\boldsymbol{G}=\{\boldsymbol{V},\boldsymbol{E}\}, \boldsymbol{V}$为图模型$\boldsymbol{G}$中的节点集合，$\boldsymbol{E}$为图模型$\boldsymbol{G}$的边集合，边代表每个节点之间的链接关系；假设图模型$\boldsymbol{G}$中存在$N$个节点，根据$\boldsymbol{E}$中描述的链接关系，可得链接矩阵$\boldsymbol{A} \in {\bf R}^{N \times N}, \boldsymbol{A}$中的每个元素$a_{i, j}$代表图$\boldsymbol{G}$中第$i$个节点与第$j$个节点的链接关系；然后，由链接矩阵$\boldsymbol{A}$可得图模型$\boldsymbol{G}$的拉普拉斯矩阵$\boldsymbol{L}=\boldsymbol{D-A}, \boldsymbol{D}$为对角矩阵，其对角元素的值为

$d_{i i}=\sum\limits_{i=1}^{N} a_{i j}$

最后对拉普拉斯矩阵$\boldsymbol{L}$奇异值分解，即

$ \mathit{\boldsymbol{L}} = {\mathit{\boldsymbol{U}}^{\rm{T}}}\mathit{\boldsymbol{ \boldsymbol{\varLambda} U}} $

式中，$\mathit{\boldsymbol{ \boldsymbol{\varLambda}}}$为对角矩阵，$\boldsymbol{U}$即为由图模型$\boldsymbol{G}$得到的变换基。

因此，图的构建方式不同，所得的变换基也不同。文献[39]利用深度信息对子视点图像的每一行像素进行分类，每一类中的像素都具有相同的深度；根据每一类的深度信息构建光场的图表示(graph representation), 并对其他视点图像进行预测，所得残差采用高效视频编码标准(HEVC)进行压缩。该方法依赖视点的深度信息，对深度图的精确度要求较高，只适用于计算机虚拟生成的光场数据。文献[39]提出了一种基于图学习(graph learning)的光场图像压缩框架。在图连接构建过程中，文献[40]将每个子视点图像作为图的节点，以相邻视点间的相似度作为图的边。在编码端，通过最小化图的稀疏度和连通性得到最优的图表示，根据图表示选取参考视点；为了获得较好的压缩性能和重建质量，分别采用无损和有损的压缩方式将图的权重矩阵和参考视点图像压缩并传输至解码端；在解码端，已知解码后的权重矩阵和参考视点图像，通过最小化视点间的相似性来重建光场图像。类似的基于图变换的光场压缩研究工作还出现在文献[41-42]中。

通常，基于Bayer模式的传感器数据(每个像素点只含有一个颜色通道的信息)需经过去马赛克、标定等一系列预处理过程转化为传统的RGB格式图像(每个像素点包含红、绿、蓝3个颜色通道信息)，但是前期的预处理过程增大了光场数据的冗余，为光场压缩带来困难。针对这一问题，文献[43]直接对未经预处理的传感器数据进行压缩，提出了一种基于图提升变换(graph lifting transform)的光场紧凑表示方法，该方法首先将原始像素(只有一个颜色分量的信息)映射到集成图像上，然后由视点几何关系生成子视点图像，进而根据子视点图像每个像素代表的颜色通道分别构建RGB 3个颜色分量的邻接图，最后利用图提升变换编码分别对RGB 3个颜色分量进行变换编码。在高码率条件下，该方法的性能优于HEVC帧内编码方法。

针对原始光场数据，除了文献[43]提出的基于图变换的压缩方法外，还有一些相关的研究工作。文献[44]通过减少光场数据比特深度的方式，将高比特深度的数据转化为低比特深度数据(一般为8 bit)，利用JPEG压缩转化后的数据，同时通过大量的统计实验建立数据映射表，在重建时通过查表的方式恢复高精度像素值。文献[45]利用线性变换和插值对光场图像数据进行预处理，进而获得规则化的光场图像，然后对规则化图像进行颜色空间转换并用图像/视频编码器进行压缩，有效规避了较大的计算量。

为了获得更好的压缩性能，采用图变换的方法已逐渐引起研究者的关注。近年涌现出许多基于图变换的光场图像压缩算法。该类算法通过设计紧凑的图表示进而得到更加高效的变换基，具有较高的新颖度。为了更清晰直观对比基于变换的光场压缩算法，表 1列出了该部分主要算法的变换核及性能对比结果。

表 1 基于变换的光场压缩方法对比
Table 1 Comparison of transform coding methods for light field

下载CSV

文献	数据类型	变换方法	算法分析及性能对比
[29]	光场图像	JPEG (DCT)、JPEG2000 (DWT)	压缩性能较低，一般作为算法对比的基准
[30]	子视点图像集	4D-DWT	适用于小尺寸光场数据，算法复杂度高
[31-32]	子视点图像集	3D-DCT、3D-DWT	算法性能优于JPEG，但复杂度较高
[33]	光场图像	小波包变换	重建质量可调，压缩性能优于JPEG2000和文献[31]
[34]	子视点图像集	小波变换	首次利用视差预测，压缩性能优于文献[34]
[35-36]	多聚焦图像集	3D-DCT	低码率下，压缩性能优于JPEG
[37]	多幅光场图像合成的图像	稀疏表示	低码率下，压缩性能优于H.264
[38]	子视点图像集	字典学习+稀疏表示	压缩性能优于传统字典学习方法
[39]	子视点图像集	图变换	需要高精度的深度信息，仅适用于虚拟生成的光场数据
[40]	子视点图像集	图学习	压缩性能优于HEVC和JPEG Pleno标准
[43]	图像传感器数据	图变换	高码率下，压缩性能优于HEVC帧内编码
[44]	图像传感器数据	JPEG (DCT)	对高比特传感器数据进行比特缩减，利用JPEG进行数据压缩，适用于光场数据压缩的硬件实现中

2.3 基于伪视频序列的光场压缩方法

光场图像可转化为多幅子视点图像，图 8显示了横向和环形两种扫描方式，其中$(u, v)$代表 4维光场模型角度平面坐标，用来索引不同视点的位置。由于光场相机的成像机制，每幅子视点图像质量并不相同，因此，采用伪视频序列(pseudo-sequence)的生成方式将会影响压缩性能。针对该问题，文献[46-49]提出了横向、纵向、之字形、环形及分组等不同的扫描方式。

图 8 横向和环形扫描示意图^[46]

Fig. 8 Illustration for two scanning orders^[46]

为了进一步提高编码性能，文献[50]提出一种由之字形扫描和U型扫描组成的混合扫描方法，该方法可充分利用各子视点之间的信息冗余，使得伪视频序列中相邻帧之间具有更高的内容相似度。文献[51-53]对环形和横向扫描两种排序方式在多种编码配置环境下的压缩性能进行了对比，证明了图像的排序方式会对压缩性能造成较大的影响。文献[54]根据帧间时域依赖关系，提出了一种基于图像质量的排序方式，取得了良好的压缩性能。上述扫描方式算法主要针对2维子视点图像阵列，文献[55]综合考虑子视点图像转化与伪视频序列生成两个部分，使得两部分共用同一种扫描方式，然后利用视频编码器压缩生成的伪视频序列，能够达到较高的压缩比率。

子视点图像代表光场的角度信息，分布在2维空间中，现有编码器采用1维层级参考结构，无法高效地去除视点间的冗余信息。因此，文献[56-57]提出了2维层级参考结构，如图 9所示，各视点首先被划分为4个象限，每个象限4个边角位置(红色框)的视点图像为第1层；按照层级高低，每层包含的图像分别用绿、黄、黑色框表示，高层级的视点图像会参考低层级的重建图像。基于该2维层级结构，文献[58]根据视点间的依赖关系，将全局率失真优化思想^[59-63]应用到视点域中；所提方法与文献[57]相比，取得了更优的率失真性能。

图 9 2维层级编码结构示意图^[57]

Fig. 9 2D hierarchical coding structure^[57]

上述研究工作都是基于单视点视频编码平台，利用运动搜索算法进行视点间预测，无法充分利用视差信息。文献[64-65]利用多视点视频编码工具，提出了一种3D-HEVC和HEVC混合的编码框架，该框架从光场图像中提取单个或多个视点图像，采用3D-HEVC编码器对多视点图像进行编码；根据重建的多视点图像还原出光场图像，然后与未压缩的光场图像相减得到残差图像；利用HEVC编码器对所得残差进行编码，最终的码流包含两部分：一部分来自于多视点图像，另一部分来自于密集视点视频的残差图像。

基于伪视频序列的压缩方法的思想是将光场图像的大部分空域相关性转换为时域相关性，利用视频编码器帧间预测方法，去除伪视频序列的时域冗余。而排序方式之所以会对压缩性能造成影响，是因为排序方式改变了编码器的参考帧候选集。由于子视点图像的相似性与子视点之间的距离成反比，因此当参考帧候选集中包含相邻子视点图像时，当前帧的预测效率更高。表 2列出了该部分主要算法的扫描方式及性能对比结果。

表 2 基于伪视频序列的光场压缩算法对比
Table 2 Comparison of pseudo-sequence based light field compression methods

下载CSV

文献	数据类型	扫描方式	算法分析及性能对比
[46]	子视点图像集	旋转扫描	压缩性能优于JPEG和H.264横向扫描方式
[47-48]	子视点图像集	将子视点图像分组+横向扫描	压缩性能优于HEVC
[49]	子视点图像集	横向或纵向扫描	利用帧间预测对每行(横向扫描)或每列(纵向扫描)子视点图像进行压缩，压缩性能优于帧内编码
[50]	子视点图像集	之字形和U形混合的扫描方式	压缩性能优于之字形和U形扫描方式
[54]	子视点图像集	依赖于子视点图像质量的扫描方式	压缩性能优于之字形扫描方式
[55]	子视点图像集	旋转、横向、纵向、自定义扫描方式	该算法在x.264平台实现，适用于光场图像压缩实时性要求较高的应用场景
[56-57]	子视点图像集	2维层级参考结构	压缩性能优于JPEG和HEVC

2.4 基于预测的光场压缩方法

2.4.1 基于图像自相似性的预测编码方法

由于光场图像的基本图像之间相似性很大，文献[66]将视频编码中帧间预测思想引入到帧内编码中，如图 10所示，通过搜索当前编码块的左侧和上方已解码区域得到预测块，所得残差与运动矢量一起传至解码端。基于相同思想，文献[67]提出了一种基于图像自相似性的双向预测方法，在搜索窗口中沿着两个不同方向搜寻与当前编码块相似的两个解码块，通过率失真代价函数决定最佳预测块。该方法可有效地去除光场图像的空间冗余，与JPEG和HEVC相比，编码性能显著提升。

图 10 基于自相似性的帧内预测^[66]

Fig. 10 Self-similarity based intra prediction^[66]

类似的工作还有文献[68]提出的基于模板匹配的预测方法，如图 11所示，首先求解模板C在搜索窗口中重建块模板最优的线性表示，然后用相同的系数表示当前编码块$P$的预测值，最后将预测残差传至解码端。文献[69]采用仿射变换对参考块进行处理，并且增加仿射变换的种类获取更多的预测块候选，最后根据率失真代价函数选择最优的预测块及相应的仿射变换模式。

图 11 模板匹配算法示意图^[68]

Fig. 11 Illustration for template matching based coding method^[68]

与上述方法不同，文献[70]针对原始光场图像，提出了一种基于宏像素边界匹配的压缩方法，该方法首先对原始光场图像的宏像素进行重排列，然后通过预测块的边界像素和当前编码块的边界像素加权的方式得到预测值。基于宏像素的光场压缩算法往往需要对原始光场数据进行预处理，类似的算法还有文献[71]中基于宏像素的光场视频帧间预测方法，该方法基于宏像素对当前预测单元的运动矢量进行校正，然后利用校正的运动矢量进一步搜索得到率失真代价最小的运动矢量，有效提升了帧间预测效率。

基于图像自相似性的压缩方法大部分基于视频帧内编码框架，利用现有的帧间预测及模板匹配算法去除空间冗余。就去除数据冗余性的效率而言，现有视频编码工具去除时域冗余的效率往往要高于空域冗余。因此，该类算法的性能往往难以超越基于视差几何的预测编码算法。

2.4.2 基于视差几何的预测编码方法

由于光场数据各视点间相关性高，如何高效地去除视点间冗余是光场压缩的关键问题。基于视差几何的预测编码方法利用视点间的几何关系，估计各视点间的视差或各视点的深度图，进而利用视差图或深度图进行视点间预测，提升算法性能。

文献[72]提出了一种结合单应性变换和低秩逼近的光场压缩方法，该方法利用单应性变换将各子视点图像映射到一个或多个深度面上，然后求解映射后图像的低秩表示，取得了比文献[56]更优的压缩性能。该算法虽然采用单应性变换获得低秩的光场数据，但只能重建各视点重叠区域，降低了光场的空间分辨率。

近两年，采用类似JPEG Pleno光场编码器框架结构的算法研究成为主流。文献[73]挖掘视点间的相似性，通过对相邻视点中的重建块线性加权预测当前编码块，并在HEVC屏幕编码器上实现算法仿真。文献[74]提出了一种3层可分级光场图像编码框架：在编码端，首先对光场图像进行下采样，采用有损压缩方式将采样图像压缩并传至解码端(基本层码流)；其次，采用无损压缩方式将预测的视差图传至解码端(第2层码流)；最后，利用解码的采样图像和视差图重建光场图像，与原始光场图像做差获得残差图像，采用HEVC帧内和帧间编码将残差图像压缩并传至解码端(第3层码流)；在解码端，按照接收到的不同层级码流即可解码出尺寸和质量各异的光场图像。与文献[57]类似，文献[75]将各视点图像划分为4个区域，综合考虑各子视点图像的质量及其对各区域的影响，定义了5个结构关键视点(structural key views)；然后根据视点几何关系计算视差，利用基于字典学习和稀疏编码预测其他子视点图像，最后将选取的5个结构关键视点图像、视差图和预测残差压缩并传至解码端。实验结果表明，在相同码率下，该算法的重建质量峰值信噪比(PSNR)比文献[57]算法提高0.5 dB。

文献[76-77]提出了一种基于线性逼近先验(linear approximation prior)的压缩方法，如图 12所示，该方法首先将子视点图像分为两部分$\boldsymbol{S}_{A}$和$\boldsymbol{S}_{B}$，其中，$\boldsymbol{S}_{A}$部分被转化为伪视频序列并用视频编码器进行压缩，并传至解码端，然后利用解码重建后的$\boldsymbol{S}_{A}$通过求解线性逼近问题预测$\boldsymbol{S}_{B}$，最后将预测残差压缩并传至解码端。实验结果表明，在相同码率下，该算法的性能比x.265编码器最高可提升1.5 dB。文献[76-77]所提算法相比，该方法无须传输视差信息即可重建光场图像。

图 12 光场编解码框架示意图^[76]

Fig. 12 Light field compression framework^[76]

基于文献[76]算法思想，文献[78]在两部分子视点图像中选取16个视点图像，然后利用选取的16幅视点图像中的9幅线性逼近其余的7幅子视点图像；在重建过程中，首先重建选取的16幅子视点图像，然后通过卷积神经网络(CNN)模型虚拟合成其他视点图像。相比HEVC，该方法能够节省50%以上的码率。文献[79]方法与JPEG Pleno光场编码器框架类似，选取少量的参考视点，利用深度图预测非参考视点，实验结果表明该方法比文献[56]和文献[46]算法性能更好。表 3列出了基于预测的主要算法对比，包括压缩时输入的光场数据格式、算法优缺点及性能对比等。

表 3 基于预测的光场压缩算法对比
Table 3 Comparison of predictive coding methods for light field

下载CSV

分类	文献	数据类型	方法	算法优缺点
基于图像自相似性的预测编码方法	[66-67]	光场图像	将帧间预测引入到帧内预测中	基于现有视频帧内编码框架，与基于视差几何的压缩算法相比，复杂度较低，但编码性能不高
	[68]	光场图像	模板匹配
	[69]	光场图像	通过对预测块进行多种仿射变换提升预测效率
	[70]	原始光场数据	基于宏像素的帧内预测方法
基于视差几何的预测编码方法	[72]	子视点图像集	单应性变换+低秩逼近	只能重建出各子视点重叠区域
	[74]	光场图像	可分级编码方案	可根据带宽重建尺寸和质量各异的光场图像
	[75]	子视点图像集	选取部分视点作为参考视点，然后将参考视点图像及预测残差传至解码端，根据解码重建的参考视点重建其他非参考视点	该类算法框架已成为目前光场图像压缩的主流，并且压缩性能普遍优于其他类压缩算法
	[76-77]	子视点图像集
	[78]	子视点图像集
	[79]	子视点图像集

3 光场数据库

为了验证算法性能，许多研究机构相继公布了不同规模的光场数据库。表 4总结了9个主流的光场数据库，包括斯坦福大学光场档案馆(Stanford Light Field Archives)^[80]先后公布的一系列光场数据库及瑞士洛桑联邦理工学院(EPFL)利用光场相机Lytro Illum采集的光场数据库^[85]。

表 4 光场数据库
Table 4 Light field dataset

下载CSV

数据库		角度分辨率	空间分辨率/像素
Stanford Multiview Light Field Datasets[80]		3~5个视点	541×376
Stanford Lytro Light Field Archive[80]		15×15	625×434
Standford Light Field Archive (new)[80]	From the Gantry	17×17	640×1 024~1 536×1 152
	Microscope Light Field	16×16、20×20	170×114、289×289
	From Camera Array	45、88个视点	640×480
Standford Light Field Archive (old)[80]		8×8~32×32	128×128~256×256
LFSD[81]		11×11	379×379
LCAV-31[82]		10×10	301×301
HCI Light Field Datasets (old)[83]		9×9	628×768~926×1 024
HCI Light Field Datasets (new)[84]		9×9	512×512
EPFL Light Field Datasets[85]		15×15	625×434
Synthetic Light Field Archive[86]		5×5、7×7	525×840、384×512
JPEG Pleno(https://jpeg.org/jpegpleno/plenodb.html.)		15×15~20×20	170×114~1 536×1 152

数据库LCAV-31针对物体识别，包含的光场数据背景和内容单一，因此不适合验证光场压缩算法性能^[82]。数据库LFSD针对光场显著性检测^[81]，海德堡联合图像处理实验室(HCI)针对深度估计先后公布了两个光场数据库^[83-84]。另外，JPEG Pleno在2018年公布了JPEG Pleno光场压缩测试数据集，包含了斯坦福大学、洛桑联邦理工学院和海德堡联合图像处理实验室等多家机构公布的光场数据库(https://jpeg.org/jpegpleno/plenodb.html)。

4 结语

4.1 总结

4.2 展望

参考文献

[1] Zhang C, Liu F, Hou G Q, et al. Light field photography and its application in computer vision[J]. Journal of Image and Graphics, 2016, 21(3): 263–281. [张弛, 刘菲, 侯广琦, 等. 光场成像技术及其在计算机视觉中的应用[J]. 中国图象图形学报, 2016, 21(3): 263–281. ] [DOI:10.11834/jig.20160301]
[2] Levoy M, Hanrahan P. Light field rendering[C]//Proceedings of the 23rd Annual Conference on Computer Graphics and Interactive Techniques. New York, USA: ACM, 1996: 31-42.[DOI: 10.1145/237170.237199]
[3] Schelkens K, Alpaslan Z Y, Ebrahimi T, et al. JPEG Pleno: a standard framework for representing and signaling plenoptic modalities[C]//Proceedings of SPIE Applications of Digital Image Processing XLI. San Diego, USA: SPIE, 2018.[DOI: 10.1117/12.2323404]
[4] Ebrahimi T, Foessel S, Pereira F, et al. JPEG Pleno:toward an efficient representation of visual reality[J]. IEEE Multimedia, 2016, 23(4): 14–20. [DOI:10.1109/MMUL.2016.64]
[5] Adelson E, Bergen J. The plenoptic function and the elements of early vision[M]//Landy M, Movshon J A. Computational Models of Visual Processing. Cambridge: MIT Press, 1991: 3-20.
[6] Levoy M, Hanrahan P. Method and system for light field rendering: US, 6097394A1[P]. 2000-08-01.
[7] Isaksen A, McMillan L, Gortler S J. Dynamically reparameterized light fields[C]//Proceedings of the 27th Annual Conference on Computer Graphics and Interactive Techniques. New York, USA: ACM, 2000: 297-306.[DOI: 10.1145/344779.344929]
[8] Ihrke I, Stich T, Gottschlich H, et al. Fast incident light field acquisition and rendering[J]. Journal of WSCG, 2008, 16(1): 25–32.
[9] Yang J C, Everett M, Buehler C, et al. A real-time distributed light field camera[C]//Proceedings of the Eurographics Workshop on Rendering. Pisa, Italy: The Eurographics Association, 2002: 1-10.[DOI: 10.2312/EGWR/EGWR02/077-086]
[10] Zhang C, Chen T. A self-reconfigurable camera array[C]//Proceedings of the 27th Annual Conference on Computer Graphics and Interactive Techniques. Los Angeles, California, USA: ACM, 2004: #151.[DOI: 10.1145/1186223.1186412]
[11] Liu Y B, Dai Q H, Xu W L. A real time interactive dynamic light field transmission system[C]//Proceedings of 2006 IEEE International Conference on Multimedia and Expo. Toronto, Canada: IEEE, 2006: 2173-2176.[DOI: 10.1109/ICME.2006.262686]
[12] Wilburn B, Joshi N, Vaish V, et al. High performance imaging using large camera arrays[J]. ACM Transactions on Graphics, 2005, 24(3): 765–776. [DOI:10.1145/1073204.1073259]
[13] Dansereau D G, Schuster G, Ford J, et al. A wide-field-of-view monocentric light field camera[C]//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI, USA: IEEE, 2017: 3757-3766.[DOI: 10.1109/CVPR.2017.400]
[14] Levin A, Fergus R, Durand F, et al. Image and depth from a conventional camera with a coded aperture[J]. ACM Transactions on Graphics, 2007, 26(3): 70–70. [DOI:10.1145/1276377.1276464]
[15] Liang C K, Lin T H, Wong B Y, et al. Programmable aperture photography:multiplexed light field acquisition[J]. ACM Transactions on Graphics, 2008, 27(3): #55. [DOI:10.1145/1360612.1360654]
[16] Marwah K, Wetzstein G, Bando Y, et al. Compressive light field photography using overcomplete dictionaries and optimized projections[J]. ACM Transactions on Graphics, 2013, 32(4): 46. [DOI:10.1145/2461912.2461914]
[17] Chen J, Chau L P. Light field compressed sensing over a disparity-aware dictionary[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2017, 27(4): 855–865. [DOI:10.1109/TCSVT.2015.2513485]
[18] Ng R. Digital light field photography[D]. Stanford: Stanford University, 2006: 23-24.
[19] Adelson E H, Wang J Y A. Single lens stereo with a plenoptic camera[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1992, 14(2): 99–106. [DOI:10.1109/34.121783]
[20] Georgeiv T, Zheng K C, Curless B, et al. Spatio-angular resolution tradeoffs in integral photography[C]//Proceedings of the 17th Eurographics conference on Rendering Techniques. Nicosia, Cyprus: ACM, 2006: 263-272.[DOI: 10.2312/EGWR/EGSR06/263-272]
[21] Perwaβ C, Wietzke L. Single lens 3D-camera with extended depth-of-field[C]//Proceedings of SPIE Human Vision and Electronic Imaging. Burlingame, California, USA: SPIE, 2012: 829108.[DOI: 10.1117/12.909882]
[22] Yu Z, Yu J Y, Lumsdaine A, et al. An analysis of color demosaicing in plenoptic cameras[C]//Proceedings of 2012 IEEE Conference on Computer Vision and Pattern Recognition. Providence, Rhode Island, USA: IEEE, 2012: 901-908.[DOI: 10.1109/CVPR.2012.6247764]
[23] Georgiev T G, Lumsdaine A. Focused plenoptic camera and rendering[J]. Journal of Electronic Imaging, 2010, 19(2): 021106. [DOI:10.1117/1.3442712]
[24] Astola P, Tabus I. Improving residual coding of WaSP light field codec[C]//Proceedings of 2018 International Conference on 3D Immersion. Brussels, Belgium: IEEE, 2018: 1-8.[DOI: 10.1109/IC3D.2018.8657907]
[25] Astola P, Tabus I. WaSP: hierarchical warping, merging, and sparse prediction for light field image compression[C]//Proceedings of the 7th European Workshop on Visual Information Processing. Tampere, Finland: IEEE, 2018: 1-6.[DOI: 10.1109/EUVIP.2018.8611756]
[26] Astola P, Tabus I. Light field compression of HDCA images combining linear prediction and JPEG 2000[C]//Proceedings of the 26th European Signal Processing Conference. Rome, Italy: IEEE, 2018: 1860-1864.[DOI: 10.23919/EUSIPCO.2018.8553482]
[27] Helin P, Astola P, Rao B, et al. Sparse modelling and predictive coding of subaperture images for lossless plenoptic image compression[C]//Proceedings of 3DTV-Conference: The True Vision-Capture, Transmission and Display of 3D Video. Hamburg, Germany: IEEE, 2016: 1-4.[DOI: 10.1109/3DTV.2016.7548953]
[28] Helin P, Astola P, Rao B, et al. Minimum description length sparse modeling and region merging for lossless plenoptic image compression[J]. IEEE Journal of Selected Topics in Signal Processing, 2017, 11(7): 1146–1161. [DOI:10.1109/JSTSP.2017.2737967]
[29] Babacan S D, Georgiev T G. Method and apparatus for block-based compression of light field-images: US, 8155456B2[P]. 2012-04-10.
[30] Magnor M A, Endmann A, Girod B. Progressive compression and rendering of light fields[C]//Proceedings of Vision Modeling and Visualization. Saarbrücken, Germany: [s.n.], 2000: 199-204.
[31] Aggoun A. A 3D DCT compression algorithm for omnidirectional integral images[C]//Proceedings of 2006 IEEE International Conference on Acoustics, Speech, and Signal Processing. Toulouse, France: IEEE, 2006.[DOI: 10.1109/ICASSP.2006.1660393]
[32] Aggoun A. Compression of 3D integral images using 3D wavelet transform[J]. Journal of Display Technology, 2011, 7(11): 586–592. [DOI:10.1109/JDT.2011.2159359]
[33] Xu D, Dai Q H, Xu W L. Data compression of light field using wavelet packet[C]//Proceedings of 2004 IEEE International Conference on Multimedia and Expo. Taipei, China: IEEE, 2004: 1071-1074.[DOI: 10.1109/ICME.2004.1394394]
[34] Chang C L, Zhu X Q, Ramanathan P, et al. Light field compression using disparity-compensated lifting and shape adaptation[J]. IEEE Transactions on Image Processing, 2006, 15(4): 793–806. [DOI:10.1109/TIP.2005.863954]
[35] Sakamoto T, Kodama K, Hamamoto T. A novel scheme for 4-D light-field compression based on 3-D representation by multi-focus images[C]//Proceedings of 2012 IEEE International Conference on Image Processing. Orlando, USA: IEEE, 2012: 2901-2904.[DOI: 10.1109/ICIP.2012.6467506]
[36] Liang C K. Predictive light field compression: US, 20160212443A1[P]. 2016-07-21.
[37] Choudhury C, Tarun Y, Rajwade A, et al. Low bit-rate compression of video and light-field data using coded snapshots and learned dictionaries[C]//Proceedings of 2015 IEEE International Workshop on Multimedia Signal Processing. Xiamen, China: IEEE, 2015: 1-6.[DOI: 10.1109/MMSP.2015.7340830]
[38] Yin B C, Su J Z, Shi Y H, et al. A joint structural observation and sparse representation optimization method for light field camera: CN, CN108492239A[P]. 2018-09-04. [尹宝才, 宿建卓, 施云惠, 等.一种面向光场相机的结构化观测与稀疏表示的协同优化方法: 中国, CN108492239A[P]. 2018-09-04.]
[39] Su X, Rizkallah M, Maugey T, et al. Graph-based light fields representation and coding using geometry information[C]//Proceedings of 2017 IEEE International Conference on Image Processing. Beijing, China: IEEE, 2017: 4023-4027.[DOI: 10.1109/ICIP.2017.8297038]
[40] Viola I, Maretic H P, Frossard P, et al. A graph learning approach for light field image compression[C]//Proceedings of Applications of Digital Image Processing XLI. San Diego, USA: SPIE, 2018.[DOI: 10.1117/12.2322827]
[41] Rizkallah M, Su X, Maugey T, et al. Graph-based transforms for predictive light field compression based on super-pixels[C]//Proceedings of 2018 IEEE International Conference on Acoustics, Speech and Signal Processing. Calgary, Canada: IEEE, 2018: 1718-1722.[DOI: 10.1109/ICASSP.2018.8462288]
[42] Elias V R M, Martins W A. On the use of graph Fourier transform for light-field compression[J]. Journal of Communication and Information Systems, 2018, 33(1): 92–103. [DOI:10.14209/jcis.2018.10]
[43] Chao Y H, Cheung G, Ortega A. Pre-demosaic light field image compression using graph lifting transform[C]//Proceedings of 2017 IEEE International Conference on Image Processing. Beijing, China: IEEE, 2017: 3240-3244.[DOI: 10.1109/ICIP.2017.8296881]
[44] Akeley K, Bevensee B, Pitts C, et al. Compression of light field images: US, 20160316218[P]. 2016-10-27.
[45] Jin X, Han H X, Dai Q H. A light field image compression method: CN, CN106254719A[P]. 2018-11-30. [金欣, 韩海旭, 戴琼海.一种基于线性变换和图像插值的光场图像压缩方法: 中国, CN106254719A[P]. 2018-11-30.]
[46] Dai F, Zhang J, Ma Y K, et al. Lenselet image compression scheme based on subaperture images streaming[C]//Proceedings of 2015 IEEE International Conference on Image Processing. Québec City, Canada: IEEE, 2015: 4733-4737.[DOI: 10.1109/ICIP.2015.7351705]
[47] Jiang Y. Research on light field compression[D]. Chengdu: University of Electronic Science and Technology of China, 2016. [蒋妍.光场图像压缩算法研究[D].成都: 电子科技大学, 2016.]
[48] Wang Z N, Bai Q L, Jiang Y, et al. A light field image compression method: CN, CN106375766A[P]. 2017-02-01. [王正宁, 柏祁林, 蒋妍, 等.一种光场图像压缩方法: 中国, CN106375766A[P]. 2017-02-01.]
[49] Guo Z L, Yang X X, Diao W M, et al. A light field image compression method: CN, CN201710305196.9[P]. 2017-09-05. [郭正霖, 杨昕欣, 刁为民, 等.一种光场图像的压缩方法: 中国, CN201710305196.9[P]. 2017-09-05.]
[50] Chen Z B, Zhao S Y, Yang K, et al. A light field image compression method based on hybrid scanning orders: CN, CN201611192842.7[P]. 2017-03-22. [陈志波, 赵盛洋, 杨昆, 等.基于混合扫描顺序的光场图像压缩方法: 中国, 201611192842.7[P]. 2017-03-22.]
[51] Viola I, Řeábek M, Ebrahimi T. Comparison and evaluation of light field image coding approaches[J]. IEEE Journal of Selected Topics in Signal Processing, 2017, 11(7): 1092–1106. [DOI:10.1109/JSTSP.2017.2740167]
[52] Vieira A, Duarte H, Perra C, et al. Data formats for high efficiency coding of Lytro-Illum light fields[C]//Proceedings of 2015 International Conference on Image Processing Theory, Tools and Applications. Orleans, France: IEEE, 2015: 494-497.[DOI: 10.1109/IPTA.2015.7367195]
[53] Sun X, Shi Z R. Light field compression based on HEVC encoding and decoding[J]. Electronic Design Engineering, 2017, 25(4): 133–137. [孙夏, 石志儒. 基于HEVC编解码的光场图像压缩[J]. 电子设计工程, 2017, 25(4): 133–137. ] [DOI:10.14022/j.cnki.dzsjgc.2017.04.034]
[54] Liu Y Y, Zhu C, Mao M. Light field image compression based on quality aware pseudo-temporal sequence[J]. Electronics Letters, 2018, 54(8): 500–501. [DOI:10.1049/el.2017.4560]
[55] Dai F, Zhang Y D. A compression system for light field image captured by micro-lens array: CN: CN104469372A[P]. 2018-09-07. [代锋, 张勇东.用于压缩微透镜阵列采集的光场图像的方法和系统: 中国, CN104469372A[P]. 2018-09-07.]
[56] Liu D, Wang L Z, Li L, et al. Pseudo-sequence-based light field image compression[C]//Proceedings of 2016 IEEE International Conference on Multimedia & Expo Workshops. Seattle, WA, USA: IEEE, 2016: 1-4.[DOI: 10.1109/ICMEW.2016.7574674]
[57] Li L, Li Z, Li B, et al. Pseudo-sequence-based 2-D hierarchical coding structure for light-field image compression[J]. IEEE Journal of Selected Topics in Signal Processing, 2017, 11(7): 1107–1119. [DOI:10.1109/JSTSP.2017.2725198]
[58] Gao Y B. Research on rate distortion optimization in video coding[D]. Chengdu: University of Electronic Science and Technology of China, 2018. [高艳博.基于率失真优化的视频编码方法研究[D].成都: 电子科技大学, 2018.]
[59] Yang T W, Zhu C, Fan X J, et al. Source distortion temporal propagation model for motion compensated video coding optimization[C]//Proceedings of 2012 IEEE International Conference on Multimedia and Expo. Melbourne, Australia: IEEE, 2012: 85-90.[DOI: 10.1109/ICME.2012.171]
[60] Li S, Zhu C, Gao Y B, et al. Lagrangian multiplier adaptation for rate-distortion optimization with inter-frame dependency[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2016, 26(1): 117–129. [DOI:10.1109/TCSVT.2015.2450131]
[61] Gao Y B, Zhu C, Li S, et al. Temporally dependent rate-distortion optimization for low-delay hierarchical video coding[J]. IEEE Transactions on Image Processing, 2017, 26(9): 4457–4470. [DOI:10.1109/TIP.2017.2713598]
[62] Gao Y B, Zhu C, Li S, et al. Source distortion temporal propagation analysis for random-access hierarchical video coding optimization[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2019, 29(2): 546–559. [DOI:10.1109/TCSVT.2017.2787190]
[63] Guo H W, Zhu C, Li S X, et al. Optimal bit allocation at frame level for rate control in HEVC[J]. IEEE Transactions on Broadcasting, 2019, 65(2): 270–281. [DOI:10.1109/TBC.2018.2847445]
[64] Dricot A, Jung J, Cagnazzo M, et al. Improved integral images compression based on multi-view extraction[C]//Proceedings of SPIE Applications of Digital Image Processing XXXIX. San Diego, CA, USA: SPIE, 2016.[DOI: 10.1117/12.2238707]
[65] Dricot A, Jung J, Cagnazzo M, et al. Integral images compression scheme based on view extraction[C]//Proceedings of 2015 European Signal Processing Conference. Nice, France: IEEE, 2015: 101-105.[DOI: 10.1109/EUSIPCO.2015.7362353]
[66] Li Y, Sjöström M, Olsson R, et al. Efficient intra prediction scheme for light field image compression[C]//Proceedings of 2014 IEEE International Conference on Acoustics, Speech and Signal Processing. Florence, Italy: IEEE, 2014: 539-543.[DOI: 10.1109/ICASSP.2014.6853654]
[67] Conti C, Nunes P, Soares L D. HEVC-based light field image coding with bi-predicted self-similarity compensation[C]//Proceedings of 2016 IEEE International Conference on Multimedia & Expo Workshops. Seattle, WA, USA: IEEE, 2016: 1-4.[DOI: 10.1109/ICMEW.2016.7574667]
[68] Lucas L F R, Conti C, Nunes P, et al. Locally linear embedding-based prediction for 3D holoscopic image coding using HEVC[C]//Proceedings of the 22nd European Signal Processing Conference. Lisbon, Portugal: IEEE, 2014: 11-15.
[69] Monteiro R J S, Nunes P J L, Rodrigues N M M, et al. Light field image coding using high-order intrablock prediction[J]. IEEE Journal of Selected Topics in Signal Processing, 2017, 11(7): 1120–1131. [DOI:10.1109/JSTSP.2017.2721358]
[70] Jin X, Han H X, Dai Q H. A light field image compression method based on macro-pixel boundary matching: CN, CN106961605A[P]. 2017-07-18. [金欣, 韩海旭, 戴琼海.一种基于宏像素边界匹配的光场图像压缩方法: 中国, CN106961605A[P]. 2017-07-18.]
[71] Jin X, Li L J, Dai Q H. Macro-pixel based inter prediction method for light field video: CN, CN107483936A[P]. 2017-12-15. [金欣, 李羚俊, 戴琼海.一种基于宏像素的光场视频帧间预测方法: 中国, CN107483936A[P]. 2017-12-15.]
[72] Jiang X R, Le Pendu M, Farrugia R A, et al. Light field compression with homography-based low-rank approximation[J]. IEEE Journal of Selected Topics in Signal Processing, 2017, 11(7): 1132–1145. [DOI:10.1109/JSTSP.2017.2747078]
[73] Liu D Y, Wang G J, Wu J, et al. Light field image compression method based on correlation of rendered views[J]. Laser Technology, 2019, 43(4): 551–556. [刘德阳, 王广军, 吴健, 等. 基于视点相关性的光场图像压缩算法[J]. 激光技术, 2019, 43(4): 551–556. ] [DOI:10.7510/jgjs.issn.1001-3806.2019.04.020]
[74] Li Y, Sjöström M, Olsson R, et al. Scalable coding of plenoptic images by using a sparse set and disparities[J]. IEEE Transactions on Image Processing, 2016, 25(1): 80–91. [DOI:10.1109/TIP.2015.2498406]
[75] Chen J, Hou J H, Chau L R. Light field compression with disparity-guided sparse coding based on structural key views[J]. IEEE Transactions on Image Processing, 2018, 27(1): 314–324. [DOI:10.1109/TIP.2017.2750413]
[76] Zhao S Y, Chen Z B. Light field image coding via linear approximation prior[C]//Proceedings of 2017 IEEE International Conference on Image Processing. Beijing, China: IEEE, 2017: 4562-4566.[DOI: 10.1109/ICIP.2017.8297146]
[77] Chen Z B, Zhao S Y. A light field image compression method based on linear reconstruction: CN, 201711065302.7[P]. 2018-03-06. [陈志波, 赵盛洋.基于线性重建的光场图像压缩方法: 中国, 201711065302.7[P]. 2018-03-06.]
[78] Bakir N, Hamidouche W, Déforges O, et al. Light field image compression based on convolutional neural networks and linear approximation[C]//Proceedings of the 25th IEEE International Conference on Image Processing. Athens, Greece: IEEE, 2018: 1128-1132.[DOI: 10.1109/ICIP.2018.8451597]
[79] Huang X P, An P, Shen L Q, et al. Efficient light field images compression method based on depth estimation and optimization[J]. IEEE Access, 2018, 6: 48984–48993. [DOI:10.1109/ACCESS.2018.2867862]
[80] Stanford Light Field Archives[DB/OL]. 2018-10-01[2019-02-18]http://lightfields.stanford.edu.
[81] Li N Y, Ye J W, Ji Y, et al. Saliency detection on light field[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(8): 1605–1616. [DOI:10.1109/TPAMI.2016.2610425]
[82] Ghasemi A, Afonso N, Vetterli M. LCAV-31: a dataset for light field object recognition[C]//Proceedings of SPIE Computational Imaging Ⅻ. San Francisco, California, USA: SPIE, 2014: 902014.[DOI: 10.1117/12.2041097]
[83] Wanner S, Meister S, Goldluecke B. Datasets and benchmarks for densely sampled 4D light fields[C]//Proceedings of Annual Workshop on Vision, Modeling and Visualization. Lugano, Switzerland, Goslar: Eurographics Association, 2013: 225-226.[DOI: 10.2312/PE.VMV.VMV13.225-226]
[84] Honauer K, Johannsen O, Kondermann D, et al. A dataset and evaluation methodology for depth estimation on 4D light fields[C]//Proceedings of the 13th Asian Conference on Computer Vision. Taipei, China: Springer, 2017: 19-34.[DOI: 10.1007/978-3-319-54187-7_2]
[85] Řeábek M, Ebrahimi T. New light field image dataset[C]//Proceedings of the 8th International Conference on Quality of Multimedia Experience. Lisbon, Portugal, IEEE, 2016: 1-2.[DOI: 10.5281/zenodo.209499]
[86] Synthetic light field archive[DB/OL]. 2013-04-20[2019-02-18]http://web.media.mit.edu/gordonw/SyntheticLightFields.
[87] Lerbour R, Mercier B, Meneveaux D, et al. Quality-based improvement of quantization for light field compression[C]//Proceedings of the 2nd International Conference on Computer Graphics Theory and Applications. Barcelona, Spain, [s.n.], 2007: 235-243.[DOI: 10.5220/0002078802350243]
[88] Graziosi D B, Alpaslan Z Y, McNeill D A, et al. Content adaptive light field compression: US, 20170142427A1[P]. 2017-05-18.