|
发布时间: 2022-02-16 |
深度估计与三维重建 |
|
|
收稿日期: 2020-09-28; 修回日期: 2021-01-09; 预印本日期: 2021-01-16
基金项目: 国家重点研发计划资助(2017YFA0701200);国家自然科学基金项目(61973059)
作者简介:
苗国超, 1995年生, 男, 硕士研究生, 主要研究方向为计算机视觉。E-mail: 1801690@stu.neu.edu.cn
魏阳杰, 通信作者, 女, 教授, 主要研究方向为微纳米尺度光学视觉感知与信息处理, 面向移动机器人的智能环境感知。E-mail: weiyangjie@cse.neu.edu.cn 侯威翰, 男, 博士研究生, 主要研究方向为计算机视觉。E-mail: ihwh@163.com *通信作者: 魏阳杰 weiyangjie@cse.neu.edu.cn
中图法分类号: TP301.6
文献标识码: A
文章编号: 1006-8961(2022)02-0461-14
|
摘要
目的 显微光学成像有景深小和易模糊等缺陷,很难根据几何光学中的点扩散函数准确评估图像的模糊程度,进而很难计算景物深度。同时,传统的使用边缘检测算子衡量图像模糊程度变化的方法缺少与景物深度之间的函数关系,影响深度计算的精度。为此,本文提出一种显微光学系统成像模糊程度与景物深度关系曲线的获取方法。方法 从显微光学系统中的光学传递特性出发,建立光学传递函数中的光程差、高频能量参数和景物深度之间的数学关系,并通过归一化和曲线拟合得到显微光学系统的成像模糊程度与景物深度之间的解析函数。结果 为了验证本文获取的图像模糊程度和景物深度之间的函数关系,首先使用纳米方形栅格的模糊图像进行深度计算,实验测得的深度平均误差为0.008 μm,即相对误差为0.8%,与通过清晰图像和模糊图像的逐个像素亮度值比较,根据最小二乘方法搜索两幅图像的亮度差最小时求得深度的方法相比,精度提高了约73%。然后基于深度测量结果进行模糊栅格图像的清晰重构,重构后的图像在平均梯度和拉普拉斯值两个方面都明显提高,且相对于传统基于高斯点扩散函数清晰重构方法,本文方法的重构精度更高,稳定性更强;最后通过多种不同形状和亮度特性的栅格模糊图像的深度计算,证明了本文的模糊程度—深度变化曲线对不同景物的通用性。结论 本文建立的函数关系能够更加直观地反映系统参数对光学模糊成像过程的影响。使用高频能量参数表征图像的模糊特性,既可以准确测量图像模糊程度,也与景物深度具有直接的函数关系。固定光学系统参数后,建立的归一化系统成像模糊程度与景物深度之间的函数关系不会受到景物图像的纹理、亮度等特性差异的影响,鲁棒性强、更方便、更省时。
关键词
光学显微系统; 模糊程度; 景物深度; 解析函数; 光学传递特性; 高频能量参数
Abstract
Objective In micro-optical imaging, the depth-of-field is small, and the image easily becomes defocused. However, accurately evaluating the blur degree of the image according to the point spread function in geometric optics and then calculating the depth of the scene is difficult. Although the traditional method applies edge detection operators to measure the change of the image blur degree, these operators evaluate the blur degree of the image according to the change speed of the edge brightness, no direct mathematical relationship with the system parameters and the depth of the scene exists, and a mathematical model of the relationship between image blurriness, optical system parameters, and scene depth accurately cannot be established. In addition, the evaluation value of blurring degree is closely related to image features such as scene texture and brightness; hence, their robustness is poor. More importantly, in microscopic imaging systems, the effect of light diffraction and refraction is remarkable, and the optical system parameters on the imaging quality are complex and mutually coupled. Most of these evaluation methods are based solely on image characteristics to achieve fuzzy evaluation, without considering the parameters of the optical system, and accurately reflecting the overall characteristics of these systems is difficult. Therefore, studying the quantified and generalized relationship model between the degree of image blur, the depth of the scene, and the systematic parameters based on the transmission characteristics of light in optical imaging is necessary to restore scene depth information and reconstruct the focused images. Method A general defocused-depth model for optical microscopy systems is proposed in this paper. First, starting from the optical transfer characteristics in the microscopic optical system, the mathematical function relationship between the optical path difference in the optical transfer function and the depth of the scene is established, and the influence of the optical path difference on the optical transfer characteristics is analyzed, that is, the high-frequency response of the optical system is gradually attenuated as the optical path difference increases. According to the composition characteristics of optical imaging, the outline of an image is determined by low-frequency signals, the image details are determined by high-frequency signals, and the loss of image high-frequency signals means image blur. Then, the high-frequency energy parameters are introduced to describe the blur degree of the image. To obtain the high-frequency energy of the image, first, high-pass filtering is performed on the image to obtain a frequency-domain image that only contains the high-frequency information of the image. Then, the sum of the pixel values of the spatial image is calculated by using its inverse Fourier transform to obtain the high-frequency energy parameters of the image, and the mathematical function relationship between the high-frequency energy parameters and the depth of the scene is established through the optical transfer function. Finally, a general fuzzy depth model of the microscope optical system is obtained through normalization and curve fitting. Result To verify the defocused depth model of the optical system proposed in this paper, first, depth calculation is performed using the blurred image of the nano square grid. The average error of the depth measured in our experiment is 0.008 μm, and the relative error is 0.8%. Compared with the pixel-by-pixel brightness value comparison method based on the least squares principle, accuracy is improved by approximately 73%. Based on these measurement results, the focused image reconstruction of the blurred grid image is performed. The reconstructed image has a substantial improvement in average gradient and Laplacian value. Compared with the traditional clear reconstruction method based on Gaussian point spread function, the reconstruction accuracy of our method is higher, and the stability is stronger. Finally, the versatility of the blur degree-depth curve to different scenes in this paper is proven through the depth calculation of the striped grid blurred image and the focused image reconstruction. Conclusion The functional relationship established in this paper can more intuitively reflect the influence of system parameters on optical blur imaging. Using high-frequency energy parameters to characterize the blur characteristics of an image can only measure the degree of image blurring accurately and has a direct functional relationship with the depth of the scene. More importantly, with the fixed parameters of an optical system, the functional relationship established between the normalized system imaging blur degree and the scene depth in this paper is not affected by variation of image texture and brightness. Therefore, it is robust, convenient, and time saving in real applications.
Key words
optical microscopy system; blur degree; scene depth; analytic function; optical transmission characteristics; high frequency energy parameter
0 引言
在生物医学、机器人微操作和材料科学等领域,微纳米尺度下的高精度观测是目标识别、特征检测和信息获取的必要条件和关键技术(Herath等,2014;Barretto等,2011)。目前,能够实现微纳米尺度观测的技术主要包括荧光显微技术、原子力显微技术、电子显微技术(Wetzer等,2019)和光学显微技术。
荧光显微镜可以通过入射激光激发出的荧光信号获取样品的纳米级图像,但荧光信号衰减快,无法实现连续成像且荧光剂易对样品(如活性细胞)造成损伤(Rodriguez等,2016)。原子力显微技术是通过探针逐点扫描样品表面成像,精度可以达到纳米尺度,但成像过程耗时,不适用于动态样品特性观测(Ghosh等,2016)。电子显微镜是根据电子光学原理,用电子束和电子透镜代替光束和光学透镜,实现物质的细微结构的纳米尺度成像,缺点是要求真空观测环境、不适合动态样品成像、样品有损制备且价格昂贵。与上述观测技术相比,光学显微成像技术具有对环境要求低、对样品无损和直观快速等优势,但是,高精度光学显微镜的放大倍数高、景深小,容易出现离焦成像模糊现象,即物距、像距和焦距之间不满足几何成像中的高斯成像公式时,点光源成像发生能量扩散现象。另外,传统的光学显微镜一般只能得到景物2维图像,缺少景物3维形貌信息。因此,如何从光学成像过程的能量分布和能量传播特性出发,探索图像模糊程度定量评价标准,建立图像的模糊程度、景物深度以及系统参数之间的关系模型是提升光学图像成像分辨率、恢复景物深度信息的关键,也一直是光学领域的研究热点。
Pentland(1987)最早提出了离焦深度重建方法(depth from defocus,DFD),利用光学离焦模糊图像的模糊程度求解景物深度。此后,很多学者对如何建立图像的模糊程度和景物深度之间的关系进行了一系列研究。根据几何光学,可将离焦模糊图像的能量分布模型抽象为一个圆盘点扩散函数,然后通过建立点扩散函数的扩散半径与深度的关系来恢复景物深度。Subbarao和Gurumoorthy(1988)考虑透镜的非理想性以及其他因素,用2维高斯函数替代圆盘函数作为点扩散函数,建立高斯函数的标准差与景物深度之间的关系。在很多应用中,高斯函数相对于圆盘函数能够更加准确地描述点光源能量扩散特性,但是,标准差和扩散半径的关系与系统参数紧密相关。因此,在测量景物模糊图像的模糊程度之前,需要进行一系列的标定实验得到这个关系参数,标定过程烦琐、耗时(Subbarao,1989)。更重要的是,无论是圆盘函数还是高斯函数,都需要根据模糊图像测量点扩散函数的半径值来衡量图像的模糊程度。然而根据模糊原理,一幅模糊图像是很多个点光源模糊成像的叠加。因此,根据图像特性直接测量点扩散函数半径值是非常困难的,实际中往往需要引入优化迭代方法才能逼近真实的半径值(张颖等,2014;刘克等,1994)。
为了直接表征光学图像的模糊程度,也有学者引入Laplace、Sobel和Canny等边缘检测算子来测量图像中边缘亮度的变化速度,进而描述图像模糊程度的变化情况(代文征和杨勇,2019;Wei等,2018;Xie和Tu,2017;郑莹和孙燮华,2005)。这种模糊测量方法是许多光学相机自动聚焦的本质。但是因为与系统参数和景物深度都没有直接的数学关系,无法根据这些算子准确建立图像的模糊程度与光学系统参数、景物深度之间的数学关系模型。另外,这些模糊程度的评价值与景物纹理、亮度等图像特征紧密相关,鲁棒性差。更重要的是,显微成像系统中,光的衍射、折射现象影响显著(Sheinin等,2020;Scandolo等,2018;Jeon等,2019),光学系统参数对成像质量的影响是复杂且相互耦合的,这些评价方法多是单纯依据图像特性实现模糊评估的,不考虑光学系统参数,很难准确反映系统的整体特性。
曾明等人(2004)提出利用图像的高频能量参数表征光学图像的模糊程度,并使用不同深度的序列模糊图像标定出图像高频能量参数与深度之间的关系模型。实际中,测得一幅模糊图像的高频能量参数后,可以根据标定的关系模型获取深度信息。尽管提取模糊图像高频能量参数的过程非常直接方便,但是因为关系模型不具有通用性,测量不同的样品深度前,都需要重新进行标定实验,过程烦琐、耗时。孙明竹等人(2009)提出通过显微物镜离焦光学传递函数建立景物深度和图像模糊程度的关系实现深度测量。此方法中图像模糊程度是用传递函数中的光程差参数表征的,而从模糊图像中无法直接求解出光程差。因此,必须通过清晰图像和模糊图像的逐个像素亮度值比较,根据最小二乘方法搜索两幅图像的亮度差最小时即可得到模糊图像的深度信息。但是,求解的每幅模糊图像的深度都需要进行逐点比较和搜索,这个过程需要大量运算,测量精度低。梁锐等人(2020)提出了一种基于模糊图像和B样条小波变换的自适应距离测量方法,虽然比传统基于高斯模糊图像的距离测量方法精度更高,但是此方法的测量误差为米级别,而对于显微光学图像要求微纳米级别的误差,显然是不适应的。
综上所述,现有根据图像的模糊程度求景物深度的方法存在以下问题:1)尽管可以建立点扩散函数的半径与景物深度之间的函数关系,但是直接测量一幅模糊图像的点扩散半径非常困难,常见的迭代求解方法时间长;2)使用边缘检测算子表示图像模糊程度时,因为缺少图像模糊程度与光学系统参数、景物深度之间的准确数学关系,深度计算的鲁棒性差;3)使用高频能量参数表征光学图像的模糊程度的方法,需要标定实验或者图像亮度比较求解深度,计算量大、精度低。
为了解决上述问题,进而更好地对模糊图像进行景物深度还原和清晰重构,本文结合高频能量参数和系统光程差参数,基于显微光学系统中的光学传递特性,建立高频能量参数与景物深度之间的函数关系,并通过归一化和曲线拟合的方法得到显微光学系统的成像模糊程度与景物深度之间的解析函数,最后基于解析函数对模糊图像进行景物深度还原和清晰图像重构。实验验证了本文提出的模糊程度与景物深度之间函数关系的有效性、准确性和不同景物间的通用性。本文方法的创新性主要体现在3个方面:1)提出的模糊程度与景物深度之间的函数关系充分考虑到实际光学成像中多透镜集成成像以及复杂的系统参数,相比简单的凸透镜成像模型,能够更加直观地反映系统参数对光学模糊成像过程的影响;2)采用高频能量参数表征图像的模糊程度,建立与景物深度直接的函数关系,不需任何标定和迭代过程;3)固定光学系统参数后,建立的归一化系统成像程度与景物深度之间的解析函数不会受到景物图像的纹理、亮度等特性差异的影响,适用于不同的样品,鲁棒性强、更方便、更省时。
1 光学系统中的光学传递特性
1.1 显微物镜的光学传递函数
光学显微系统中,聚焦和离焦成像时波前球面对比示意图如图 1所示。其中,
Hopkins(1955)最先推导出显微镜的光学传递函数(optical transfer function,OTF)的形式,描述了光程差与光学传递特性之间的关系,具体为
$ \begin{gathered} {OTF}_{E}(u, v, w)=\frac{\lambda \cos \left({\rm{ \mathsf{ π} }} w s^{2}\right)}{{\rm{ \mathsf{ π} }}^{2} w s} \times \\ \left\{\cos ^{-1}\left(\frac{s}{2}\right) J_{1}\left(\frac{4 {\rm{ \mathsf{ π} }} w s}{\lambda}\right)+\rho_{1}\right\}-\frac{\lambda \sin \left({\rm{ \mathsf{ π} }} w s^{2}\right)}{{\rm{ \mathsf{ π} }}^{2} w s} \rho_{2}\\ \rho_{1}=\sum\limits_{n=1}^{\infty}(-1)^{n+1} \frac{\sin (2 n) \cos ^{-1}(s / 2)}{2 n} \rho_{11} \\ \rho_{2}=\sum\limits_{n=1}^{\infty}(-1)^{n} \frac{\sin (2 n+1) \cos ^{-1}(s / 2)}{2 n+1} \rho_{22} \\ \rho_{11}=\left[J_{2 n-1}\left(\frac{4 {\rm{ \mathsf{ π} }} w s}{\lambda}\right)-J_{2 n+1}\left(\frac{4 {\rm{ \mathsf{ π} }} w s}{\lambda}\right)\right] \\ \rho_{22}=\left[J_{2 n}\left(\frac{4 {\rm{ \mathsf{ π} }} w s}{\lambda}\right)-J_{2(n+1)}\left(\frac{4 {\rm{ \mathsf{ π} }} w s}{\lambda}\right)\right] \end{gathered} $ | (1) |
式中,
由于式(1)计算非常复杂,Stokseth(1969)通过简化得到了
$ \begin{gathered} OTF (u, v, w)= \\ \left\{\begin{array}{lc} \left(1-0.69 s+0.007\ 6 s^{2}+0.043 s^{3}\right) \times & \\ \ \ \ \ \ \ \ \ \ \ 2 J_{1}(\psi) / \psi & s \leqslant 2 \\ 0 & s>2 \end{array}\right.\\ \psi =\left[\frac{4 {\rm{ \mathsf{ π} }} w|s|}{\lambda}\left(1-\frac{|s|}{2}\right)\right] / \frac{4 {\rm{ \mathsf{ π} }} w|s|}{\lambda}\left(1-\frac{|s|}{2}\right) \end{gathered} $ | (2) |
空间频率
$ s=\frac{2 \sqrt{u^{2}+v^{2}}}{f_{c}}=\frac{\lambda}{\sin \alpha^{\prime}} \sqrt{u^{2}+v^{2}} $ | (3) |
式中,
对图 1标识的三角形
$ w=-I_{0}-I \cos \alpha^{\prime}+\left(I_{0}^{2}+2 I I_{0}+I^{2} \cos ^{2} \alpha^{\prime}\right)^{1 / 2} $ | (4) |
为了得到像距变化与物距变化之间的关系,引入几何光学成像中的高斯公式,具体为
$ \frac{1}{d_{0}+d}+\frac{1}{I_{0}+I}=\frac{1}{f} $ | (5) |
式中,
根据式(5),像距变化
$ I=-I_{0}+\frac{f\left(d_{0}+d\right)}{d_{0}+d-f}=-I_{0}+\beta $ | (6) |
将式(6)代入式(4),传递函数参数光程差
$ \begin{gathered} w=-I_{0}-\left(\beta-I_{0}\right) \cos \alpha^{\prime}+ \\ \left(I_{0}^{2}+2 I_{0}\left(\beta-d_{0}\right)+\left(\beta-I_{0}\right)^{2} \cos ^{2} \alpha^{\prime}\right)^{1 / 2} \end{gathered} $ | (7) |
孙明竹等人(2009)利用式(7)物距变化与光程差的关系实现深度测量,基本原理是使用光学传递函数的光程差参数表示图像的模糊程度,并建立模糊度与深度的关系模型。由于从图像中不能求取光程差,该方法通过清晰图像和模糊图像的逐个像素点比较和搜索得到模糊图像的深度信息。但是,逐点比较和搜索过程运算时间长、计算效率低。
在上述研究的基础上,本文继续探索物距变化与光程差之间的关系,以及物距变化对光学系统成像特性的影响。首先,固定焦距、孔径角等系统参数,观察
1.2 光学模糊成像模型
对于线性不变系统,空间域内一幅模糊图像可以表示为(Pronina等,2020;郑楚君等,2004)
$ \boldsymbol{g}=\boldsymbol{g}_{0} * \boldsymbol{h}+\boldsymbol{n} $ | (8) |
式中,
根据几何光学理论,当景物深度相对于理想物距发生变化时,点光源模糊成像的圆斑半径
$ r_{g}=\frac{D I_{0}}{2}\left|\frac{1}{f}-\frac{1}{I_{0}}-\frac{1}{d_{0}+d}\right| $ | (9) |
式中,
传统的模糊深度模型多使用高斯函数近似点扩散函数
$ \sigma=\frac{\gamma D I_{0}}{2}\left|\frac{1}{f}-\frac{1}{I_{0}}-\frac{1}{d_{0}+d}\right| $ | (10) |
从式(10)可见,固定系统参数后,
在频率域中,类似地,可以得到景物深度变化与图像模糊程度之间的关系。首先,频域内的点扩散函数
$ \begin{gathered} G(u, v)=G_{0}(u, v) H(u, v)+N(u, v)= \\ G_{0}(u, v) {OTF}(u, v, w)+N(u, v) \end{gathered} $ | (11) |
式中,
如式(2)所示,固定系统其他参数时,
2 模糊程度与景物深度之间解析函数
2.1 模糊图像中的高频能量
根据图 3可知,模糊图像中的高频能量参数越少,图像越模糊。图像处理中一般可以使用频域内的高通滤波器滤除一幅模糊图像
$ \begin{gathered} G_{1}^{\prime}(u, v)=G_{1}(u, v) \times G H P(u, v)= \\ {OTF}(u, v, w) \times G_{0}(u, v) \times G H P(u, v) \end{gathered} $ | (12) |
式中,
$ G H P(u, v)=1-\mathrm{e}^{ \frac{-\left(\left(u-\frac{M}{2}\right)^{2}+\left(v-\frac{N}{2}\right)^{2}\right)}{2 D_{0}^{2}}} $ | (13) |
式中,
因为计算模糊图像的高频能量参量一般在空间域进行,所以需要将
$ g_{1}^{\prime}(x, y)=\frac{1}{M N} \sum\limits_{u=0}^{M-1} \sum\limits_{v=0}^{N-1} G^{\prime}{}_{1}(u, v) \mathrm{e}^{j 2 {\rm{ \mathsf{ π} }}\left(\frac{u x}{M}+\frac{v y}{N}\right)} $ | (14) |
模糊图像
$ E h=\frac{1}{M N} \sum\limits_{x=0}^{M-1} \sum\limits_{y=0}^{N-1}\left(g_{1}(x, y)\right) $ | (15) |
由式(15)可知,每一幅模糊图像都可以得到一个对应的
$ E h=T(d) $ | (16) |
为了得到函数
$ E h_{i\_\text{norm }}=E h_{i} / E h_{0} $ | (17) |
式中,
通过曲线拟合方法可获得该光学系统的高频能量参数
$ E h_{\text {norm }}=\hat{T}(d) $ | (18) |
得到一个光学系统的
$ d=\hat{T}^{-1}\left(E h_{\text {norm }}\right) $ | (19) |
当变换不同样品时,无需使用序列图像重新计算新的
$ d=\hat{T}^{-1}\left(\frac{E h_{j}}{E h_{0 N}}\right) $ | (20) |
2.2 基于光学传递函数的清晰图像重构
基于式(18)中的模糊程度与景物深度之间的函数关系,当获取一幅景物的模糊图像后,可以求解出该图像的深度
$ F(u, v)=\frac{G(u, v)}{H(u, v)}=\frac{G(u, v)}{O T F(u, v, w)} $ | (21) |
实际应用中,
$ F(u, v)=\frac{G(u, v)}{O T F(u, v, w)+C(u, v)} $ | (22) |
式中,
最后,将
本文提出的显微光学系统成像模糊程度与景物深度关系曲线的获取方法的具体步骤如下:
1) 初始参数设置。包括图像块大小
2) 使用式(15)计算不同深度序列图像的
3) 使用式(17)归一化处理后,通过曲线拟合,得到模糊程度与深度之间的解析函数
得到显微光学系统的成像模糊程度与深度之间的解析函数
1) 输入一幅待测景物的清晰图像,通过式(15)计算清晰图像的
2) 将清晰图像的
3) 输入该景物的任意一幅模糊图像块
4) 将
5) 使用式(7)计算
6) 根据式(22)得到清晰频域图像,使用反傅里叶变换得到空间域清晰图像。
7) 拼接图像块,得到景物完整的清晰图像。
2.3 模糊程度与景物深度之间的关系曲线验证
为了验证深度变化
栅格是MikroMasch公司生产的TGXYZ系列正方形栅格,每个栅格的高度和宽度都为500 nm。
实验时,首先在被观测栅格处于显微镜的理想物距处时,采集栅格图像,如图 5所示。然后,以理想物距处为起点,分别沿着镜头的光轴向远离镜头和靠近镜头的方向移动平台,移动步长为1 μm,得到一系列栅格的模糊图像。为了方便计算,将图像进行了切块,设置的图像块大小为140×140像素,截取后的图像块序列如图 6所示。
首先验证本文模糊图像高频能量提取方法的正确性。由于采集图像序列时精准控制平台的移动步长,即每一幅模糊图像的深度变化值已知。因此使用图 6中的清晰图像,根据式(16)计算图像序列的高频能量
为了进一步证明真实值和测量值两组数据是否具有一致性,采用相关系数法进行分析(汤淑春和文传源,1998),以此验证本文计算
$ R=\frac{Z_{12}}{Z_{1} Z_{2}} $ | (23) |
式中,
根据式(23),计算求得
然后,为了得到
$ E h_{\text {norm }}=\hat{T}(d)=a d^{4}+b d^{3}+p d^{2}+q d+r $ | (24) |
归一化的函数关系拟合参数为
为了说明本文归一化的模糊程度与景物深度之间的函数关系的通用性,同样以1 μm为步长分别采集了条纹栅格和圆形栅格的序列图像进行建模实验,条纹栅格不同深度图像序列如图 9(a)所示,圆形栅格不同深度图像序列如图 9(b)所示。根据本文方法建立的两种栅格的模糊程度与景物深度关系曲线如图 10所示。从图 10可见,3种样品的模糊程度和深度变化之间的曲线几乎是完全重合的,证明本文建立的模糊程度与景物深度之间的函数关系归一化后,与景物的纹理和亮度特征无关,只与系统的特性有关。因此,实际应用中,对于不同的观测样品,不需要重新建立它们的模糊程度与景物深度之间的函数关系,只需要采集一幅新景物的清晰图像实现高频能量归一化处理,就可以使用已建的显微光学系统成像模糊程度与景物深度之间的函数关系计算模糊图像深度,重构该景物清晰图像。
3 实验
3.1 深度计算实验
首先,根据式(15)对图 6中的序列图像求出高频能量
同时,为了更加清晰地表达本文深度计算方法的精度,通过计算相邻两幅图像的深度变化值来分析深度计算误差,平台的精确步长为1 μm,相邻两幅图像的深度变化值如表 1所示,误差分析结果如图 12所示。可以看出,本文实验测得的步进深度平均误差为0.008 μm,即相对误差为0.8%;逐点比较搜索法测得的步进深度平均误差为0.03 μm,即相对误差为3.0%。因此,与逐点比较搜索的方法相比,本文提出的显微光学系统成像模糊程度与景物深度之间的函数关系在深度求解时更为精确。
表 1
相邻两幅图像的深度变化值
Table 1
The depth change of two adjacent images
/μm | |||||||||||||||||||||||||||||
1-2 | 0.898 | 1.122 | |||||||||||||||||||||||||||
2-3 | 1.113 | 1.313 | |||||||||||||||||||||||||||
3-4 | 0.901 | 1.096 | |||||||||||||||||||||||||||
4-5 | 1.021 | 0.680 | |||||||||||||||||||||||||||
5-6 | 0.973 | 0.884 | |||||||||||||||||||||||||||
6-7 | 0.965 | 0.887 | |||||||||||||||||||||||||||
7-8 | 1.037 | 1.247 | |||||||||||||||||||||||||||
8-9 | 0.994 | 1.32 | |||||||||||||||||||||||||||
9-10 | 1.018 | 0.820 | |||||||||||||||||||||||||||
10-11 | 1.147 | 1.240 | |||||||||||||||||||||||||||
11-12 | 1.154 | 1.571 | |||||||||||||||||||||||||||
12-13 | 0.883 | 0.165 | |||||||||||||||||||||||||||
13-14 | 1.109 | 1.165 | |||||||||||||||||||||||||||
14-15 | 0.899 | 0.91 | |||||||||||||||||||||||||||
平均值 | 1.008 | 1.030 |
3.2 清晰图像重构
根据已知深度值进行模糊图像的清晰重构实验。选取一幅模糊图像,如图 13所示,可以看出该样品并不是完全垂直于光轴,而是倾斜放置,自上向下倾斜,因此,图像各部分模糊程度是不同的。
将图 13切分为一系列大小一样的图像块,设置大小为140×140像素,相邻两幅图像块的重叠部分为70像素。清晰重构结果如图 14所示。为进一步探究本文算法精度,对同一幅原图利用高斯模型反卷积方法进行实验比较,并从不同的图像清晰度评价标准进行对比。根据高斯分布的西格玛准则,数值分布在
对比图 14(b)(c)可以发现,高斯反卷积方法得到的清晰图像在边缘处明显仍很模糊,而本文方法重建的景物图像能够很好地再现栅格边缘。为了量化对比两种方法,使用平均梯度值和拉普拉斯值对重构后图像的清晰度进行客观评价和分析,评价结果如表 2所示。可以看出,本文方法重构后图像的平均梯度增加0.024 7,拉普拉斯值增加11.100 6,高斯反卷积方法重建图像的平均梯度增加0.020 5,拉普拉斯值增加9.001。可见使用本文方法重构的图像相比高斯反卷积方法,平均梯度和拉普拉斯值都明显更高。
表 2
重构后图像的清晰程度评价
Table 2
Clarity evaluation of reconstructed images
图像 | 平均梯度值 | 拉普拉斯算子值 |
原始模糊图像块 | 0.029 1 | 39.446 6 |
高斯反卷积法重构图像块 | 0.049 6 | 48.447 6 |
本文方法重构图像块 | 0.053 8 | 50.547 2 |
然后,对不同深度变化时的序列模糊图像块进行清晰重构,图 15(a)(b)分别为使用平均梯度值和拉普拉斯值对重构图像进行评价的结果。从图 15可见,重构前的拉普拉斯平均值为37.5,平均梯度平均值为0.040 2,重构后的拉普拉斯平均为50.1,平均梯度平均值为0.056 3。可见,重构后图像的平均梯度和拉普拉斯值都有明显增加。另外,使用本文方法重构的不同深度值的模糊图像,平均梯度值在0.055~0.06之间,拉普拉斯值在50~50.2之间,表示重构后的图像块的模糊程度基本一致,也证明了本文方法对深度变化的序列模糊图像清晰重构的有效性和稳定性。
最后,将重构后的图像块按照切分顺序拼接为一幅完整图像,得到图 13的整体重构结果,如图 16所示。在图 16中,随机选取18个区域求其平均梯度值和拉普拉斯值,并在原图 13中找到对应区域,用高斯反卷积重构后,求其平均梯度值和拉普拉斯值。图 17为两者结果对比图。可以看出,本文方法重构后图像的平均梯度值和拉普拉斯值都要高于高斯反卷积方法重构后的图像,且值非常稳定。说明本文方法可以用于大幅图像的清晰重构,且重构后图像的清晰程度基本一致。
3.3 通用性验证
为了验证本文提出的图像模糊程度与景物深度之间的函数关系曲线仅与具体的光学系统参数有关,而与系统观测景物的纹理和亮度等无关,即本文方法具有通用性,通过显微成像平台以步长为1 μm调节景物深度,得到条纹、圆形和凹陷正方形栅格的一系列模糊图像,如图 18所示。根据本文算法,已经使用图 6中的栅格图像建立了显微光学系统的归一化成像模糊程度与景物深度之间的解析函数,之后可以求解出序列模糊图像的深度值,求得的条纹、圆形和凹陷正方形栅格的深度结果如图 19所示,对应的误差分析结果如图 20所示。
本文方法求解的条纹样品、圆形样品和凹陷正方形栅格相邻深度的平均误差分别为0.011 μm、0.015 μm和0.009 4 μm,逐点比较搜索方法求解的条纹样品、圆形样品和凹陷正方形栅格相邻深度的平均误差分别为0.039 μm、0.018 μm和0.021 μm。因为采集系列图像时相邻深度是固定的1 μm,因此,本文方法计算的条纹样品、圆形样品和凹陷正方形栅格相邻深度的相对误差为1.1%、1.5%和0.94%。逐点比较搜索方法计算的条纹样品、圆形样品和凹陷正方形栅格相邻深度的相对误差为3.9%、1.8%和2.1%。可见,利用本文归一化的成像模糊程度与景物深度之间的解析函数求解的这3种样品的深度误差都低于逐点比较搜索方法,这既说明了本文深度计算方法的准确性,更是表明本文的归一化成像模糊程度与景物深度之间的解析函数只与光学系统参数有关,与样品表面纹理和亮度等特征无关。
4 结论
本文主要研究了显微光学成像中模糊图像的模糊程度与景物深度之间的关系和应用,包括以下3个方面:1)显微光学成像系统中的光学传递特性;2)表征图像模糊程度的高频能量参数与景物深度之间的函数关系获取;3)基于实际样品模糊图像的深度恢复与清晰重构。
首先分析了光程差的变化对光学传递函数响应的影响,推导出光程差与深度变化的关系,提取出图像的高频能量参数。然后建立高频能量参数与景物深度变化之间的关系曲线,并通过实验验证了此关系曲线的正确性。随后为了使本文方法对不同的景物具有通用性,对图像进行归一化处理,得到归一化的光学系统的成像模糊程度与景物深度之间的解析函数,以此函数关系为基础对图像进行了不同景物的深度恢复和清晰重构。最后使用本文方法与传统方法进行了对比实验,在图像深度恢复方面,本文方法比传统方法精度提高了约73%,在图像清晰重构效果上,本文方法清晰重构的图像的平均梯度值比传统方法提高8.4%,此拉普拉斯值计算值提高4.3%。
但是本文方法仍存在以下不足之处,本文研究主要针对静态景物,对动态景物进行观测时的有效性仍不明显,所以接下来开展的工作是动态景物的深度恢复与清晰重构,另外,当样品的尺度和平台位移可以比拟时,模型的适应性仍有待提高,这也是今后的研究方向。
参考文献
-
Barretto R P J, Ko T H, Jung J C, Wang T J, Capps G, Waters A C, Ziv Y, Attardo A, Recht L, Schnitzer M J. 2011. Time-lapse imaging of disease progression in deep brain areas using fluorescence microendoscopy. Nature Medicine, 17(2): 223-228 [DOI:10.1038/nm.2292]
-
Dai W Z, Yang Y. 2019. Noise image edge detection based on improved Gauss-Laplace operator. Application Research of Computers, 36(8): 2544-2547, 2555 (代文征, 杨勇. 2019. 基于改进高斯-拉普拉斯算子的噪声图像边缘检测方法. 计算机应用研究, 36(8): 2544-2547, 2555) [DOI:10.19734/j.issn.1001-3695.2018.02.0183]
-
Ghosh S, Yu C L, Ferraro D J, Sudha S, Pal S K, Schaefer W F, Gibson D T, Ramaswamy S. 2016. Blue protein with red fluorescence. Proceedings of the National Academy of Sciences of the United States of America, 113(41): 11513-11518 [DOI:10.1073/pnas.1525622113]
-
Herath S C B, Yue D, Hui S, Kim M C, Wang D A, Wang Q G, Van Vliet K J, Asada H, Chen P C Y. 2014. Quantification of magnetically induced changes in ECM local apparent stiffness. Biophysical Journal, 106(1): 332-341 [DOI:10.1016/j.bpj.2013.11.4459]
-
Hopkins H H. 1955. The frequency response of a defocused optical system. Proceedings of the Royal Society of London. Series A, Mathematical and Physical Sciences, 231(1184): 91-103 [DOI:10.1098/rspa.1955.0158]
-
Jeon D S, Baek S H, Yi S, Fu Q, Dun X, Heidrich W, Kim M H. 2019. Compact snapshot hyperspectral imaging with diffracted rotation. ACM Transactions on Graphics, 38(4): #117 [DOI:10.1145/3306346.3322946]
-
Liang R, Wei Y J. 2021. Adaptive distance measurement method with blur of B-spline wavelet function. Journal of Image and Graphics, 26(3): 503-515 (梁锐, 魏阳杰. 2021. 自适应B样条小波函数模糊距离测量方法. 中国图象图形学报, 26(3): 503-515) [DOI:10.11834/jig.190659]
-
Liu K, Yang J Y, Quan J, Cheng Y Q. 1994. Blur identification and restoration of images with out-of-focus blur. Acta Automatica Sinica, 20(1): 58-65 (刘克, 杨静宇, 权军, 程永清. 1994. 离焦图象模糊辨识及复原方法研究. 自动化学报, 20(1): 58-65)
-
Pentland A P. 1987. A new sense for depth of field. IEEE Transactions on Pattern Analysis and Machine Intelligence, 9(4): 523-531 [DOI:10.1109/TPAMI.1987.4767940]
-
Pronina V, Kokkinos F, Dylov D V and Lefkimmiatis S. 2020. Microscopy image restoration with deep wiener-Kolmogorov filters//Vedaldi A, Bischof H, Brox T and Frahm J M, eds. Computer Vision-ECCV 2020. Glasgow, UK: Springer: 185-201[DOI: 10.1007/978-3-030-58565-5_12]
-
Rodriguez E A, Tran G N, Gross L A, Crisp J L, Shu X K, Lin J Y, Tsien R Y. 2016. A far-red fluorescent protein evolved from a cyanobacterial phycobiliprotein. Nature Methods, 13(9): 763-769 [DOI:10.1038/NMETH.3935]
-
Scandolo L, Lee S, Eisemann E. 2018. Quad-based Fourier transform for efficient diffraction synthesis. Computer Graphics Forum, 37(4): 167-176 [DOI:10.1111/CGF.13484]
-
Sheinin M, Reddy D N, O'Toole M and Narasimhan S G. 2020. Diffraction line imaging//Vedaldi A, Bischof H, Brox T and Frahm J M, eds. Computer Vision-ECCV 2020. Glasgow, UK: Springer: 1-16[DOI: 10.1007/978-3-030-58536-5_1]
-
Stokseth P A. 1969. Properties of a defocused optical system. Journal of the Optical Society of America, 59(10): 1314-1321 [DOI:10.1364/JOSA.59.001314]
-
Subbarao M and Gurumoorthy N. 1988. Depth recovery from blurred edges//Proceedings of the Computer Society Conference on Computer Vision and Pattern Recognition. Ann Arbor, USA: IEEE: 498-503[DOI: 10.1109/CVPR.1988.196281]
-
Subbarao M. 1989. Efficient depth recovery through inverse optics//Freeman H, ed. Machine Vision for Inspection and Measurement. Boston: Academic Press: 101-126
-
Sun M Z, Zhao X, Lu G Z. 2009. Depth measurement in the direction of optical axis based on defocused micro-manipulation system. Acta Physica Sinica, 58(9): 6248-6257 (孙明竹, 赵新, 卢桂章. 2009. 基于离焦的微操作机器人系统光轴方向深度测量. 物理学报, 58(9): 6248-6257) [DOI:10.3321/j.issn:1000-3290.2009.09.058]
-
Tang S C, Wen C Y. 1998. Study on validation by comparing data from simulation and field tests. Journal of System Simulation, 10(4): 37-41 (汤淑春, 文传源. 1998. 仿真结果与试验数据的一致性研究. 系统仿真学报, 10(4): 37-41)
-
Wei X, Yang Q X, Gong Y H. 2018. Joint contour filtering. International Journal of Computer Vision, 126(11): 1245-1265 [DOI:10.1007/S11263-018-1091-5]
-
Wetzer E, Lindblad J, Sintorn I M, Hultenby K and Sladoje N. 2019. Towards automated multiscale imaging and analysis in TEM: glomerulus detection by fusion of CNN and LBP maps//Leal-Taixé L and Roth S, eds. Computer Vision-ECCV 2018 Workshops. Munich, Germany: Springer: 465-475[DOI: 10.1007/978-3-030-11024-6_36]
-
Xie S N, Tu Z W. 2017. Holistically-nested edge detection. International Journal of Computer Vision, 125(1): 3-18 [DOI:10.1007/S11263-017-1004-Z]
-
Zeng M, Zhang J X, Chen S J, Wang X H, Zhao X. 2004. Estimation of depth from defocus for micromanipulation based on high frequency energy parameter Eh. Robot, 26(4): 351-356 (曾明, 张建勋, 陈少杰, 王湘晖, 赵新. 2004. 基于高频能量参数Eh的微操作纵向深度估计. 机器人, 26(4): 351-356) [DOI:10.3321/j.issn:1002-0446.2004.04.013]
-
Zhang Y, Qu B C, Jia Z F, Huo K Y. 2014. Parameter estimation of point spread function for defocused image. Electronic Technology and Software Engineering, (14): #116 (张颖, 曲博超, 贾志芳, 霍柯言. 2014. 散焦模糊图像点扩散函数参数估计. 电子技术与软件工程, (14): #116)
-
Zheng C J, Li R, Chang H S. 2004. Restoration of defocus blurred digital image using Wiener filter in frequency domain. Laser Journal, 25(5): 57-58 (郑楚君, 李蓉, 常鸿森. 2004. 离焦模糊数字图像的Wiener滤波频域复原. 激光杂志, 25(5): 57-58) [DOI:10.3969/j.issn.0253-2743.2004.05.022]
-
Zheng Y, Sun X H. 2005. The improvement of Laplace operator in image edge detection. Journal of Shenyang Jianzhu University (Natural Science), 21(3): 268-271 (郑莹, 孙燮华. 2005. 图像边缘检测Laplace算子的改进. 沈阳建筑大学学报(自然科学版), 21(3): 268-271) [DOI:10.3321/j.issn:1671-2021.2005.03.024]