随着机器视觉领域的发展，利用视觉方法来解决深度提取问题也逐渐成为了计算机视觉领域研究的热点之一。单目视觉系统所获取到的场景图像是3维空间在2维平面的投影，在此变换中会丢失深度信息，对其进行逆求解，从2维图像中提取深度的过程就是单目深度信息的获取。

20世纪后期，Grimson^[1]基于人类视觉系统率先提出了机器视觉模型及相关算法。之后，深度信息在机器视觉领域的应用开始引起各国学者关注。1987年，Ikeuchi^[2]提出了基于双目视觉系统的深度恢复方法，首次将机器视觉技术应用于深度提取，而后又有Shao等人^[3]基于此方法提出改进，使得深度恢复效果得到了一定提升。

进入21世纪，伴随着硬件设备的更新，人们开始尝试将单目图像中提取的深度线索运用到深度信息领域，其中包括线性透视，物体遮挡，以及运动视差等。

线性透视是指通过瞳孔中心的光线一般给出中心投影的真实图像，由于该现象的存在，较近的物体所占视角大，看起来较大；较远的物体所占视角小，看起来较小。2004年，Battiato等人^[4]将此信息用于提取图像深度，取得了不错的效果。

物体遮挡是判断物体前后关系的重要条件。当观察者移动时，遮挡关系的改变可以使人们更容易判断物体的前后关系^[5]。

运动视差也是一种十分重要的深度线索，当观察者在固定环境中运动时，由于物体的距离不同，导致视角变化快慢产生差异，从而导致产生运动视差。由此而衍生的SFM^[6](structure from motion)方法，结合光流，用运动来估计场景的3维结构。

此外，依托图像采集设备，聚焦线索也十分常用，图像能够在镜片焦点处呈现最清晰的像，由此而采集不同焦距下同一场景的图像来进行深度信息的恢复，主要有基于聚焦^[7]和散焦^[8]两种方法。

近年来，伴随着机器学习技术的长足进步，人们也开始将此技术运用到图像深度恢复领域，先对大量2维图像及其对应的深度图进行训练，再对新的输入图像进行深度提取。Harman等人^[9]正是基于此思想，提出了基于机器学习的深度恢复方法。

深度信息提取的相关问题一直是计算机视觉领域的热门研究方向，现有的很多光度立体视觉技术也致力于此，其基本方法是通过分析物体表面在不同光源照射下的表面亮度变化，根据亮度方程求解表面法向，进而积分对物体表面进行3维重建。相对于本文的深度获取方法，光度立体学技术一般需要多光源，受限于此，一般也很少应用于大范围场景中。但利用光度立体技术进行3维重建对单一物体的表面细节的恢复效果很好，是优于本算法的一个方面。且为了简化表面法向的计算过程，现有的大多数光度立体技术通常假设表面入射光为平行光^[10]，且光强不随距离发生变化，为达到这一条件，实际应用中必须采用光强度的远距离点光源或大面积的阵列光源，而本文算法中的光源采用的是近点光源，其光照强度满足距离的平方反比衰减，更符合实际情况，且实现成本更低。

本文提出一种全新的基于光强的单目深度信息获取方法，综合利用了物理光学、立体视觉和图像处理技术，推导出深度信息与物体反射光强之间的关系。该方法仅需要1个可移动光源加上相机拍摄的3张图片，即可快捷地获取深度信息，并通过实验初步验证了该方法的可行性。

场景亮度对应光源表面射出的光通量，图像照度则对应图像平面得到的光通量。在图 1的基础上，可以定义物体表面双向反射分布函数，记$f({{\theta }_{i}},{{\phi }_{i}};{{\theta }_{e}},{{\phi }_{e}})$，设沿$\left( {{\theta }_{i}},{{\phi }_{i}} \right)$入射到物体表面的照度为$\delta E\left( {{\theta }_{i}},{{\phi }_{i}} \right)$，由$\left( {{\theta }_{e}},{{\phi }_{e}} \right)$方向看到的发射亮度为$\delta L\left( {{\theta }_{e}},{{\phi }_{e}} \right)$，则双向分布函数(BRDF)^[11]为

$ f\left( {{\theta _i},{\phi _i};{\theta _e},{\phi _e}} \right) = \frac{{\delta L\left( {{\theta _e},{\phi _e}} \right)}}{{\delta E\left( {{\theta _i},{\phi _i}} \right)}} $

(1)

实际上多数自然表面对辐射的波长而言都是粗糙表面。当目标物的表面足够粗糙，以至于它对可见光辐射的反射辐射亮度在以目标物的中心的2π空间中呈常数，则称该物体为漫反射体，亦称朗伯体。漫反射又称朗伯(Lambert)反射，也称各向同性反射。根据这个定义可知朗伯体表面的BRDF即$f({{\theta }_{i}},{{\phi }_{i}};{{\theta }_{e}},{{\phi }_{e}})$是一个常数。对于此类表面，由它所在方向上的亮度积分与该表面的总照度相等可计算得到

$ f\left( {{\theta _i},{\phi _i};{\theta _e},{\phi _e}} \right) = \frac{1}{{\rm{ \mathsf{ π} }}} $

(2)

此外，朗伯体物体表面为完全漫反射表面即向所有的方向以同样的辐亮度反射，则得到此类表面的双向反射分布函数为一个常数为

$ f\left( {{\theta _i},{\phi _i};{\theta _e},{\phi _e}} \right) = \lambda $

(3)

考虑点光源对表面进行照射，光线入射方向与物体表面面元法线方向有$\theta _i$夹角，光照强度存在距离衰减，平方反比律是一种典型的距离衰减，因此得到物体表面照度为

$ E = \frac{I}{{{D^2}}}\cos \left( {{\theta _i}} \right) $

(4)

式中，$E$为物体表面照度，$I$为点光源光强，$D$为点光源到物体表面的距离。

当物体表面收到这样的辐照时，根据双向反射函数可得表面辐亮度为

$ L = \lambda \frac{I}{{{D^2}}}{r_d} \times \cos \left( {{\theta _i}} \right) $

(5)

式中，$r_d$为散射光的反射系数，$L$为物体表面辐亮度。

数字成像过程是物体表面发射的光子能量在CCD像平上积分的过程，下面分析图像亮度与物体表面辐亮度的关系。

平面角可理解为单位圆上的一段弧长，将此概念类比到3维空间中，得到立体角^[12]的定义为以锥体的顶点为球心作球面，该锥体在球表面截取的面积与球半径平方之比，单位为球面度(单位sr)。

如图 2所示，以$O$点为顶点，$O$点到面元d$A$的方向与面元法线方向夹角为$\theta $，距离为$r$，d$A$₀为面元在单位球上的投影，得到立体角d$\omega $为

$ {\rm{d}}\omega = {\rm{d}}{A_0} = \frac{{{\rm{d}}A\cos \left( \theta \right)}}{{{r^2}}} $

(6)

辐亮度^[13]指的是辐射体沿着辐射方向、单位面积、单位立体角上的辐射通量，其单位为瓦特/(平方米·立体角)(W/(m²·sr)), 计算公式为

$ {L_r} = \frac{{{\rm{d}}\phi }}{{{\rm{d}}{\omega _r}\cos \left( {{\theta _r}} \right){\rm{d}}{A_r}}} $

(7)

辐照度^[13]用来表征物体表面所接收到的光照，定义为辐射传输方向上的单位立体角内，通过垂直于该方向上的单位面积、单位波长间隔的辐射功率，其单位为瓦特/平方米(W/m²), 计算公式为

$ {L_i} = \frac{{{\rm{d}}\phi }}{{{\rm{d}}{A_i}}} $

(8)

人们能看到日常生活中的物体是因为它们表面的反射光线进入到人眼。对于照相机而言同理，且物体反射进入的入射光越多，图像看起来也会更亮。将第1节推导得到的物体表面反射辐亮度式(5)作为输入，接着推导物体表面辐射到照相机成像的过程，定量分析图像亮度与物体表面辐亮度的关系。

如图 3所示展示了物体表面面元d$A$₀反射光进入到图像表面面元d$A_p$的整个过程。

首先，依据辐射度相关知识可知物体表面辐射到透镜上的能量d$\phi $为

$ {\rm{d}}\phi = {L_r}{\rm{d}}{A_0}\cos \left( \alpha \right){\rm{d}}{\omega _0} $

(9)

式中，d$\omega $₀是物体表面面元与透镜之间的立体角，$d$为透镜直径，$L_r$为物体表面辐亮度。

根据2.1中立体角的有关概念得到式(9)中表面面元与透镜之间的立体角为

$ {\rm{d}}{\omega _0} = \frac{{{\rm{ \mathsf{ π} }}{d^2}}}{{4{r^2}}}\cos \left( \theta \right) $

(10)

式中，$r$=|$OA$|，且由于$O$点与面元d$A$₀和d$A_p$所形成的立体角相等，可得到

$ \frac{{{\rm{d}}{A_p}\cos \left( \theta \right)}}{{{{\left| {OA'} \right|}^2}}} = \frac{{{\rm{d}}{A_0}\cos \left( \alpha \right)}}{{{r^2}}} $

(11)

由几何关系可知

$ \left| {OA'} \right| = \frac{f}{{\cos \left( \theta \right)}} $

(12)

将式(10)—式(12)代入到式(9)中整理可得

$ {\rm{d}}\phi = \frac{{\rm{ \mathsf{ π} }}}{4}{L_r}{\left( {\frac{d}{f}} \right)^2}{\rm{d}}{A_p}{\cos ^4}\left( \theta \right) $

(13)

进一步根据辐照度相关知识可得图像表面面元的辐照度为

$ {L_i} = \frac{{{\rm{d}}\phi }}{{{\rm{d}}{A_p}}} = \frac{{\rm{ \mathsf{ π} }}}{4}{L_r}{\left( {\frac{d}{f}} \right)^2}{\cos ^4}\left( \theta \right) $

(14)

辐照度正比于图像亮度，所以

$ I\left( {x,y} \right) = k{L_i} = k\frac{{\rm{ \mathsf{ π} }}}{4}{L_r}{\left( {\frac{d}{f}} \right)^2}{\cos ^4}\left( \theta \right) $

(15)

式中，$k$为比例系数。

图像表面亮度与物体表面辐亮度成正比，根据物体表面反射模型可知物体表面辐亮度又与点光源到物体距离有直接关系，也就是改变点光源与物体之间的距离，图像亮度也会随之变化，根据这一信息，提出一种利用亮度信息进行单目深度信息提取的算法。

式(5)描述的是点光源发射光强与物体表面辐亮度的关系，式(15)描述的是物体表面辐亮度与图像亮度的关系，联立两式可得图像亮度与点光源之间的关系，即

$ \begin{array}{*{20}{c}} {I\left( {x,y} \right) = k\lambda {r_d}\frac{{\rm{ \mathsf{ π} }}}{4}\frac{I}{{{D^2}}}{{\left( {\frac{d}{f}} \right)}^2} \times }\\ {{{\cos }^4}\left( \theta \right)\cos \left( {{\theta _i}} \right)} \end{array} $

(16)

在3次图像采集过程中，摄像机位置不变，焦距、曝光时间不变，则式(16)中参数$d$, $f$, $\theta $不变，令

$ {K_d} = k\lambda {r_d}\frac{{\rm{ \mathsf{ π} }}}{4}{\left( {\frac{d}{f}} \right)^2}{\cos ^4}\left( \theta \right) $

(17)

代入式(16)中，得

$ I\left( {x,y} \right) = {K_d}\frac{I}{{{D^2}}}\cos \left( {{\theta _i}} \right) $

(18)

如图 4所示，对算法过程进行阐述，红色虚线所示为摄像机光轴，摄像机在场景中任意位置，先采集环境光状态下的场景图像$I_1$，然后打开点光源，拍摄得到场景图像$I_2$，将点光源沿摄像机光轴方向移动Δ$d$，使得物体表面光强发生变化，拍摄得到场景图像$I_3$。利用图像$I_1$消去图像$I_2$、$I_3$中环境光带来的光强分量后相除，可消除比例因子$K_d$。

由式(18)可得到$I_2$与$I_3$的表达式为

$ \left\{ \begin{array}{l} {I_2} = {I_1} + {K_d}\frac{I}{{{D^2}}}\cos \left( {{\theta _i}} \right)\\ {I_3} = {I_1} + {K_d}\frac{I}{{{{\left( {D - \Delta d} \right)}^2}}}\cos \left( {{{\theta '}_i}} \right) \end{array} \right. $

(19)

解得

$ D = \Delta d \cdot \frac{1}{{1 - \sqrt {\frac{{\left( {{I_2} - {I_1}} \right)\cos \left( {{{\theta '}_i}} \right)}}{{\left( {{I_3} - {I_1}} \right)\cos \left( {{\theta _i}} \right)}}} }} $

(20)

$\theta _i$为点光源入射光方向与物体表面面元法线方向夹角，由于光源移动了距离Δ$d$(已知量，测量得到)，$\theta _i$会发生变化，但是物距(深度)未知，于是cos($\theta _i$)值的前后变化为本方法的误差因素。为分析光源移动前后cos($\theta _i$)的比值能够接近于1，进行比值相消，本文在典型情况下，对该因素带来的误差做定量分析。

在图像采集过程中，影响cos($\theta _i$)值前后变化的因素有4个：分别是物体在摄像机视场中所处位置, 物体表面面元朝向, 光源距离物体垂直距离以及光源沿摄像机光轴移动距离。

对于物体在摄像机视场中所处位置，越接近摄像机视场边缘误差越大，所以在后面的误差分析中都选取摄像机视场边缘作为前提。

对于物体表面面元朝向所带的误差，进行分析：如图 5所示，为使面元$S$能接收到前后两次光照，面元朝向的变化范围为从无限接近平行于$AS$一直到无限接近平行于$BS$，得到面元法线方向的变化范围从无限接近$n_1$到无限接近$n_2$，其中$n_1$垂直于$AS$，$n_2$垂直于$BS$。

法线方向带来的误差变化分3个阶段：从$n_1$到$BS$，$BS$到$AS$，以及$AS$到$n_2$，其中第3阶段的分析同第一阶段，第1阶段与第2阶段的极值出现在法线方向无限接近于$n_1$时，因为此时初始$\theta _i$无限接近于90°，余弦值无限接近于0，所以cos($\theta _i$)前后的比值也无限接近于0，缩小误差的方法在于将使$\theta _i$′也无限接近于90°，即使∠$ASB$无限接近于0°，在实际场景中，即要求光源距离目标的距离，远大于光源移动距离，此时可使误差达到最小。

日常场景中，摄像机视角不大，此处假设摄像机横向视场为8 m，取视场边缘点进行分析，当光源距离物体垂直距离为物体移动距离的50倍时，得到∠$ASB$随光源移动距离的变化曲线如图 6所示。

由图 6可知，当光源移动距离在10 cm附近时，∠$ASB$达到最大值0.55°左右。

取∠$ASB$的最大值0.55°，当$\theta _i$无限接近于90°即$\theta _i$′无限接近于(90°－∠$ASB$)度时，对光源移动前后cos($\theta _i$)的比值进行计算得到如图 7(a)曲线，计算其与1的相对误差得到如图 7(b)曲线。

由图 7(b)可知，虽比值与1的相对误差最大值达到5%左右，但当$\theta _i$的弧度在1.1左右即60°时，比值与1的相对误差就可在1.7%左右，现实场景中，$\theta _i$即光源入射方向与面元法线方向超过60°时，在摄像机采集图像过程中此面元就已经接近于一条线。

综合以上两个因素的分析，为保证测量范围更广，在算法中取光源移动距离即Δ$d$为1 cm，此时在满足光源距离物体垂直距离为物体移动距离的50倍这一条件下的∠$ASB$的最大值为0.14°，此时cos($\theta _i$)与cos($\theta _i$′)的比值与1的相对误差最大值1.5%，实际场景中误差小于此值可忽略不计，测量范围应大于0.5 m。

综合以上分析，在算法中取光源移动距离即Δ$d$为1 cm，在满足光源距离目标的距离远大于光源移动距离即测量范围应大于0.5 m时，光源移动前后cos($\theta _i$)值的变化带来的误差可忽略不计。因此cos($\theta _i$)≈cos($\theta _i$′)，代入到式(20)中可得

$ D = \Delta d \cdot \frac{1}{{1 - \sqrt {\frac{{\left( {{I_2} - {I_1}} \right)}}{{\left( {{I_3} - {I_1}} \right)}}} }} $

(21)

即在已知Δ$d$的情况下，通过3幅图像的亮度信息就可以估计出场景的深度信息。

针对提出的算法对不同的场景进行了实验，分析了深度恢复效果。图像采集时需要禁止相机的自动曝光、自动降噪等功能，采取固定的光圈、快门和焦距，以保证3幅图像的成像参数尽量一致。

图 8所示为利用算法进行深度恢复时所需的3幅图像，对图 9中标注的阶梯状的盒子所形成的场景进行深度恢复并得到如图 10所示的恢复图。

从实验结果可见，本方法可以有效估计出前后物体的深度变化，阶梯状信息明显，表 1对深度值进行了定量分析。

从绝对误差上来讲，此种方法的误差小于8.6%，且在距离逐渐增大时，随着cos($\theta _i$)近似误差的缩小，进一步缩小，这与前文中对cos($\theta _i$)近似分析的结果相一致。

对于图 11的其他场景进行深度恢复，得到如图 12的效果图。

采用灰度图形象化的对其他一些日常场景深度恢复图进行展示，对于光照区域，距离由近及远，图像亮度增加显示了距离的增加。整体恢复效果明显，对深度值有很好的估计。

提出了一种基于图像亮度线索的单目深度信息获取方法。该方法在分析了物体表面辐亮度与图像亮度的关系的基础上，利用点光源在移动过程中所带来的图像亮度变化信息，求解场景深度值。深度提取过程只需拍摄3幅图像，对硬件要求简单，计算复杂度小，不需要场景存在显著的边缘等几何信息，最后通过实验验证了此方法的可行性。

本文提出的深度提取方法仅仅通过了初步的原理和性能验证，在未来工作中还有进一步完善和优化的空间，其中主要包括：分析在非理想点光源照明情况下的物体反射强度；采用混合表面反射模型以适应非全漫反射物体表面。