Print

发布时间: 2021-08-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.210189
2021 | Volume 26 | Number 8




    高光谱成像技术新进展    




  <<上一篇 




  下一篇>> 





低成本便携式多光谱成像系统的研发及优化
expand article info 朱豪男, 胡孟晗, 张健, 李庆利
华东师范大学上海市多维度信息处理重点实验室, 上海 200241

摘要

目的 针对现有多光谱成像系统存在成本高、结构复杂、操作难度大和响应速度慢等问题。因此,本文提出了一种基于脉冲调制的低成本便携式多光谱成像系统,并采用客观图像质量评估(image quality assessment,IQA)的方法对其系统参数进行优化。方法 该系统主要由光源模块、控制模块、图像采集模块和图像分析模块4部分组成。光源模块采用9个波长的LED (light emitting diode)阵列,其中心波长为365 nm、390 nm、460 nm、515 nm、585 nm、620 nm、650 nm、730 nm和840 nm;控制模块主要包括LED驱动电路和USB (universal serial bus)电源,可以通过发送一定时间间隔的脉冲波来分时点亮LED,并通过一定阻抗匹配使LED发光强度达到最大值;图像采集模块主要使用去除红外截止滤波片的高清红外工业相机,该相机的最佳光谱感应范围包含所选的9个LED灯珠的中心波长;图像分析模块主要执行客观图像质量评估算法。系统执行时,STC89C51单片机发射周期为T的脉冲波来驱动9种不同波长的LED分时点亮。然后,计算机平台调用高清红外相机模组,以相匹配的间隔捕获多光谱图像。在系统拍摄参数优化实验中,本文采用模糊度和清晰度评价指标对所获得的多光谱图像从相机拍摄时间间隔、相机拍摄距离和光照强度3个角度进行质量评估,进而获得较优的系统成像参数。结果 通过改变系统拍摄参数,对3个场景下的不同拍摄条件所获取的多光谱图像质量进行评估,结果显示:对于本文所搭建的多光谱成像系统,相机拍摄时间间隔与LED灯珠频闪周期同步,拍摄距离为25 mm,光照强度为45 Lux下成像质量相对较好。结论 本文设计并搭建的基于脉冲调制的低成本便携式多光谱成像系统成本低、操作难度小、结构简单、成像质量较好、成像速度较快,可以满足多光谱成像系统大规模推广使用的要求。此外,本文的系统设计方法、设计思路和实验方案等可以为后续研究提供借鉴。

关键词

脉冲调制; 多光谱成像; 图像质量评价; 实验设计优化; 嵌入式系统; 图像处理

Development and optimization of a low-cost and portable multispectral imaging system
expand article info Zhu Haonan, Hu Menghan, Zhang Jian, Li Qingli
Shanghai Key Laboratory of Multidimensional Information Processing, East China Normal University, Shanghai 200241, China
Supported by: National Natural Science Foundation of China (61901172, 61831015, U1908210);Shanghai Municipal Natural Science Foundation (19511120100, 18DZ2270700, 18DZ2270800)

Abstract

Objective Hyperspectral imaging systems are widely used in various fields owing to their image-spectral characteristic and unique "spectral fingerprint" information. Multispectral imaging systems are generally less costly and more suitable for the large-scale applications compared with hyperspectral imaging systems. Nonetheless, the existing multispectral imaging systems suffer from certain problems, such as high cost, complex structure, difficult operation, and slow response time. Accordingly, a low-cost portable multispectral imaging system based on pulse modulation is proposed in this study, and its imaging parameters are optimized using the objective image quality assessment methods. Method This system strives for a high degree of integration in a hardware design. The light source and control central processing unit(CPU) are integrated on a small printed circuit board(PCB). The 18 light emitting diode(LED) pairs of nine different wavelengths are integrated on a circular PCB board to form a circle by using a disc design. The light source can be converged, and the brightness can be improved to a certain extent. The proposed multispectral imaging system is mainly composed of a light source, a control, an image acquisition section, and an image analysis part. The light source part mainly includes nine LED arrays with the center wavelengths of 365 nm, 390 nm, 460 nm, 515 nm, 585 nm, 620 nm, 650 nm, 730 nm, and 840 nm. The control part mainly includes the self-designed LED driver circuit and universal serial bus(USB) power supply, which can light up LED arrays by sending the pulse waves at certain time intervals in time and allows the LED arrays to reach the maximum luminous intensity through the certain impedance matching. The image acquisition part primarily consists of a high-definition infrared industrial camera without the near infrared(IR) cut-off filter, which has an optimal spectral sensing range encompassing the central wavelengths of the selected nine LED arrays. The computer is used to call OpenCV through the Python language to control the camera to take images at a certain frequency. The image analysis part mainly performs the objective image quality assessment algorithms. When the system is executed, the STC89C51 microcontroller emits a pulse wave with a period of T (T is adjustable) to drive nine different wavelengths of LED arrays to light up in time. Subsequently, the computer platform calls the camera modules to capture multispectral images at matching intervals. In the system optimization experiments, we use the sharpness and the blur metrics to objectively evaluate the quality of the obtained multispectral images from three perspectives of camera shooting interval, imaging distance, and light intensity, thus obtaining better system imaging parameters. Result The quality of multispectral images acquired from various shooting parameters and shooting conditions under three different scenarios are evaluated. Results show that the image quality of the developed multispectral imaging system is relatively good under the camera shooting interval synchronized with the bead strobe cycle of the LED arrays. The imaging distance is 25 mm, and the light intensity is 45 Lux. Conclusion The developed multispectral imaging system based on pulse modulation is low-cost, less difficult to operate, has a simple structure, has better imaging quality, has faster imaging speed, and can meet the requirements of large-scale promotion of multispectral imaging systems for various application domains. In addition, the system design methods, design ideas, and experimental protocols covered in the current work may provide references for the subsequent studies.

Key words

pulse modulation; multispectral imaging; image quality assessment; experimental design optimization; embedded systems; image processing

0 引言

高光谱成像技术融合了光谱技术和计算机视觉的优势,能够获取待测物体连续的空间信息和光谱信息,具有"图谱合一"的特点(胡孟晗等,2016张倩等,2020)。目前,该技术已经广泛地应用在生态资源(Liu等,2021)、军事航天(Wang等,2020)、农业食品(Hu和Li,2019)、医学诊断(刘立新等,2018)和文物保护(Bayarri等,2021)等领域。高光谱数据的波段多且谱带窄(可达上百乃至上千个波段)。这种高的光谱分辨率优势虽然能够给分析任务带来非常详尽的光谱指纹信息,但是与分析任务不相关的波段图也增加了计算的复杂度,加大了数据传输的压力,占用了数据储存的空间。

鉴于许多分析任务只需要少量的、经过仔细遴选过的波段,故多光谱成像技术受到了学术界和工业界的广泛关注。目前,高光谱成像技术通常作为基础研究的工具进行使用:当待分析目标或待分析物质的特定响应光谱指纹未知的时候,则可以使用高光谱成像系统进行详尽光谱扫描,然后采用化学计量学方法确定特定的响应波段集合来研发相应的多光谱成像系统。相比于高光谱成像系统,多光谱成像系统的成本一般较低,更适合大规模的推广使用。

当前,多光谱成像系统主要有以下5种实现方式:

1) 基于滤波片的多光谱成像系统。这种系统一般也称为多镜头型多光谱成像系统。一般在成像芯片前端配置多个对特定波段有通过选择的特殊滤波片来实现多光谱成像。目前,比较成熟的产品有法国Parrot公司的Sequoia多光谱相机、美国Micasense公司RedEdge-MX和ALTUM多光谱相机等。也有学者自己设计了一套基于滤波片的多光谱成像系统,并将其应用在苹果系列产品的损伤检测(Zhang等,2018)。但是,基于滤光片的多光谱成像系统一般需要电极驱动滤波片进行滚轮式或转盘式的切换,使用起来并不是特别方便,成像不连续,且成本也不低。

2) 多相机型多光谱成像系统。这种系统一般由几台对不同光谱范围有感应的相机组合在一起,每台相机有可能还会配置不同的滤光片。总体上技术方案与多镜头型多光谱成像系统类似。

3) 单镜头多光谱成像系统。这种系统一般采用一个镜头拍摄,其在探测器像元上分别镀不同波段的滤波膜实现多光谱成像。目前,比较成熟的产品有SILIOS公司的9通道多光谱相机、XIMEA公司的16和25通道多光谱相机。单镜头多光谱成像系统结构简单,图像重叠精度较高,但是相机成本较高。

4) 基于液晶可调谐滤波器的多光谱成像系统。这种系统更准确地说是一种高光谱成像系统,其也可以通过调制液晶来实现多光谱成像系统。这种系统的成像机构复杂度低、体积小、功率消耗小,且可以实现温度补偿和快速驱动结合,适用于恶劣条件下的成像。目前,深圳市中达瑞和科技有限公司在该技术上有较为成熟的实现方案。但是,这种系统的成本相对较高。

5) 基于LED(light emitting diode)灯珠频闪的多光谱成像系统。这种系统是一种成本非常低且切实可行的解决方案,已有不少学者进行了探索。戎念慈等人提出一种基于LED光源照明的可见—近红外光谱成像系统,该系统可以实现8波段的多光谱图像的获取(戎念慈和黄梅珍,2020);翟春婕和周桂雪(2020)搭建了一种基于智能手机的多光谱指纹图像便携式采集装置,可以通过蓝牙控制4个LED照明并拍摄对应指纹图像;Bolton等人(2018)设计了一款"端到端"的低成本多光谱成像系统,采用13颗LED灯珠,匹配区域扫描照相机来获取多光谱图像;Li等人(2021)提出了一种基于RGB(red、green、blue)相机和LED光源的分频调制多光谱图像采集方法,该系统可以置于暗室环境中并采集得到6个波段的图像。以上系统可能存在无法在同一焦距采集所有波长的光谱图像、无法实现连续光谱图像的采集、未全面地考虑相机选型等问题。此外,少有学者对该类系统进行成像参数设置上的优化研究。

因此,本文的主要贡献如下:1)设计并搭建了一套基于脉冲调制的低成本、可便携的多光谱成像系统;2)采用图像质量评估算法,从清晰度和模糊度两个失真角度对多光谱图像进行质量评估,并对成像参数进行优化。

1 基于脉冲调制的多光谱成像系统

1.1 系统总体设计

除了性能指标外,成本因素也在很大程度上限制了多光谱成像系统的大规模推广使用。本文的系统总体设计原则是权衡成像系统的性能与成像系统的构建成本来设计出一款可以满足大规模应用需求的多光谱成像系统。基于此,提出的一种低成本多光谱成像系统,采用软硬件结合的方式,将低成本相机模组和多波段LED合理匹配,捕捉不同波段图像。

本文设计的基于脉冲调制的多光谱成像系统主要由光源模块、控制模块、图像采集模块和图像分析模块4个部分组成。其系统原型如图 1所示。

图 1 多光谱成像系统原型(正视图)
Fig. 1 Multispectral imaging system (front view)

光源模块采用9种LED阵列,其中心波长为365 nm、390 nm、460 nm、515 nm、585 nm、620 nm、650 nm、730 nm、840 nm。

控制模块主要包括LED驱动电路和USB(universal serial bus)电源。输入电压范围0 V~5 V。输出电流可调,最高可达1.2 A。控制部分可以通过发送一定时间间隔的脉冲波分时点亮LED,并通过一定阻抗匹配使LED发光强度达到最大值。

图像采集模块主要包括高清红外工业相机、装有Python的计算机,其中相机使用的是华锐视通厂生产的,其帧率为30帧/s,曝光时间为1/680 s。该相机的最佳光谱感应范围包含所选的9个LED灯珠的中心波长。此外,为了能够得到图像质量较佳的近红外图像,去除了相机镜头上的红外截止滤波片。该相机可以通过USB 2.0与计算机平台相连,并通过Python编程语言调用OpenCV(Open Source Computer Vision Library)库来实现图像的获取。

图像分析模块采用搭载MATLAB R2020b的计算机平台(Windows 10操作系统)。

出于研制低成本小型多光谱成像系统的初衷,本系统所采用的器件成本较低,可以用于大规模推广应用。由表 1可知,本文多光谱成像系统在研发阶段的成本为90元左右。

表 1 多光谱成像系统参数表
Table 1 Parameters of multispectral imaging system

下载CSV
模块 参数 可调参数 成本/元
单片机 51单片机 脉冲间隔 ≈2
BGA封装
LED 9波段(见表 2) 亮度 ≈1
120 mA~320 mA
USB 2.0 HS/FS 拍摄间隔
相机模组 DC 5V ≈75
32×32 mm 单次拍摄照片数量
lens标配3.6 mm
双层一阶
PCB板 厚度:0.7 mm - ≈10
半径:45 mm
注:"-"表示该参数缺失。

1.2 系统硬件设计

考虑到低成本、小巧便携的需求,本系统在硬件设计上力求高度集成。光源和控制CPU(central processing unit)集成在一块小型PCB(printed circuit board)板上。同时,采用圆盘设计将9对(18颗)不同波长的LED集成在一块圆形PCB板上,形成一个圆圈,使光源可以汇聚,使亮度得到一定提升。较以往较大型多光谱成像设备,由于所使用LED的功率均为毫瓦量级,故本系统还有低功耗的特点。另外,整套系统使用成本在百元级,真正意义上实现了多光谱成像设备的低成本化,未来有望投入广泛使用。

硬件部分主要包括核心处理器、LED驱动电路、相机驱动电路。通过软件编程实现CPU控制LED驱动电路、相机驱动电路的工作,并获取多光谱图像数据。该系统硬件设计原理图如图 2所示。以下各部分详细介绍了硬件电路设计的原理。

图 2 系统设计原理图
Fig. 2 System design schematic diagram

1.2.1 核心控制电路

控制部分采用STC89C51单片机作为CPU处理器,来驱动9种不同波长的LED分时点亮。在保持直流电压大小不变的条件下,利用软件编程实现单片机I/O(input、output)口的通断。同时,采用不同电阻匹配,将直流电压变换成电压脉冲序列,达到LED分时频闪的效果。其核心控制逻辑框图如图 3所示。

图 3 核心控制逻辑框图
Fig. 3 Core control logic block diagram

STC89C51是具有4组I/Q端口和8位I/O端口(分别为P0,P1,P2,P3)的40引脚双列芯片。其中每个I/O端口都能根据自身需求,将其设置为独立模式的数据信息输入或输出端。在STC89C51的主控制电路体系架构中,XTAL2和XTAL1通过微调电容与外部晶体振荡器相连。同时,单片机的RST(Reset)位与一个按键并联10 μF电容相连,实现开关的控制。

1.2.2 LED驱动电路

系统中选用9种(18颗)不同波长的LED灯珠。系统创新性地采用圆盘设计,将LED灯珠高度集成在一块圆形PCB板上,形成一个圆圈,使光源可以汇聚,亮度得到了一定提升,从而保证系统的成像质量。LED阵列工作流程图如图 4所示。LED驱动电路可以实现9个波段LED的方波调制(如图 5所示)。通过具有串口外设的微控制器编程,实现直流电压调节控制。由于不同LED的工作电压不同,故与之匹配的电阻也不同。通过一定阻抗匹配使LED发光强度达到最大值。

图 4 LED阵列工作流程图
Fig. 4 Workflow of LED array
图 5 单片机发出的脉冲波波形(周期T可调)
Fig. 5 Shape of the pulse wave emitted by a single chip computer (The period T is adjustable)

具体来说,本系统中使用的9颗不同波长的LED灯珠正常工作时电压是不同的,而单片机的I/O端口在输出高电平时输出的电压是既定的。因此,不同的LED需要选择与之匹配的电阻来限流,以达到LED正常工作且亮度最高的状态。LED限流电阻$R$计算为

$ R = \frac{{5 - U}}{I} $ (1)

以红色LED灯珠为例,正常工作电压$U$最大为2.4 V,正向工作电流$I$为20 mA。将以上电流和电压代入式(1)可得限流电阻大小为130 Ω,故一般选择100~150 Ω即可。其他LED灯珠所使用LED灯珠限流电阻计算方式相同。

系统所用9种不同波长LED灯珠的信息如表 2所示。所使用的LED为深圳市普朗克光电科技有限公司设计制作的。

表 2 多光谱成像系统所用9个波长LED灯珠信息
Table 2 Information about LED of nine wavelengths used in the proposed multispectral imaging system

下载CSV
颜色 峰值波长/nm 正向电压/V 发光强度/mcd
紫外光 365~375 3.0~3.6 1~10
紫光 390~420 3.0~3.6 30~50
蓝光 460~470 3.0~3.4 300~400
绿光 512~525 2.8~3.4 1 500~2 400
黄光 585~595 2.0~2.4 600~1 000
红光 620~625 2.0~2.4 600~1 000
深红光 650~660 2.0~2.4 150~450
远红光 730~740 2.0~2.4 1~10
红外光 840~850 1.3~1.6 1~10

1.2.3 相机驱动电路

相机驱动电路是该多光谱成像系统中非常重要的一个部分,其性能的优劣直接决定了系统的性能(Ahmed等,2017)。

本系统选用高清红外工业相机模组,光谱响应范围为360~1 000 nm,光谱响应峰值在700 nm附近,最高帧率可达120帧,具有较好的频率响应。相机与计算机平台通过USB 2.0相连,通过软件编程来驱动相机,从而获取多谱段的图像,具有灵敏度高、图像质量高等优点。

1.3 系统软件设计

软件控制着整个系统工作时序,使得系统有序地实现LED分时频闪与多光谱图像获取功能,是各个功能模块稳定、实时实现的保障。

1.3.1 核心处理器软件设计

系统的控制模块是整个系统的核心部分。该系统工作中需要产生2组,各9个方波,每个方波对应每一颗LED,使之按照一定间隔点亮。其脉冲方波如图 5所示。

1.3.2 相机驱动软件设计

相机驱动模块采用Python语言进行编程,调用OpenCV计算机视觉库来驱动USB相机模组进行有序拍照。按照LED灯珠的调制频率,设置相机快门的采集频率,并与之匹配,从而连续地获取多光谱图像。

在获取图像的过程中,使用计算机通过Python语言调用OpenCV控制相机以一定频率拍照;OpenCV提供了完善的Python接口,便于调用;同时OpenCV包含了超过2 500个算法和函数,几乎任何一个能想到的成熟算法都可以通过调用OpenCV的函数来实现,十分方便。

在本系统中,主要使用的函数有:

1).videoCapture(1)函数用来调用相机,其中参数1表示调用USB相机模组。

2).cv2.waitKey(),即等待指定的毫秒数确定是否有键盘输入,若在等待时间内按下任意键则返回按键的ASCII(American standard code for information interchange)码,程序继续运行;若没有按下任何键,超时后返回-1。参数为0表示无限等待,这个函数的调用可以避免窗口一闪而逝,无法看到显示的图片。

3).time.sleep()函数,用来推迟调用线程的运行,这也是图像获取中的关键步骤,可以通过参数设置毫秒数来让相机以一定的拍摄间隔捕获图像。

2 多光谱成像系统的优化

2.1 图像质量评估

图像是一种重要的多媒体信息。相比于其他多媒体信息,图像信息有着自己独特的优点。现今,图像信息及其相关分析技术已经在各个领域得到广泛的应用。因此,对图像的质量进行评估已经是一个广泛而基本的问题。在多光谱成像系统的优化过程中,不同的图像采集参数会不可避免地带来某些图像失真和降质。因此,本文通过质量评估的相关算法对获取的图像进行评估,以调整系统的参数,使之工作在最优状态,获得最佳的图像数据。

图像质量评估(image quality assessment, IQA)可以作为图像采集、传输、压缩、恢复和增强等众多应用中对图像质量进行评估的主要技术。由于主观IQA的多重局限性,客观IQA已经广泛地应用在各个领域(Zhai和Min,2020)。图像质量评价方法可以分为全参考质量评价(full reference IQA, FR-IQA)、无参考质量评价(no reference IQA, NR-IQA)和半参考质量评价(reduced reference IQA, RR-IQA)。其中,无参考质量评价可以在不存在原始无失真图像情况下评估失真图像质量(Hu等,2020)。在多数应用中,原始无失真图像难以获得,因此无参考评价比全参考评价应用广泛度相对更高(Oszust等,2020)。因此,本文将无参考IQA用于系统的优化。

本文采用清晰度和模糊度两个维度对获取的图像进行质量评估。所选用的测试场景为牛奶盒子、花朵和纸质文字。这样设置的现实意义如下:花朵代表植物场景,可在一定程度上反映系统对水果、植物等农作物的成像效果;纸质文字代表纸张类场景,可在一定程度上反映系统对古旧书籍、文献等的成像效果;牛奶盒的表面塑膜具有反射性,可在一定程度上反映系统对反光包装的产品成像质量。

2.1.1 清晰度评价

清晰度是图像质量分析中最重要的参数,它决定了一幅图像传达的细节。图像清晰度的评估对图像去模糊操作等任务是十分有益的(Chubala等,2020)。

针对清晰度指标的评估,采用Vu等人(2012)提出的S3算法来测量局部图像区域的感知锐度。在该算法中,使用了两种锐度估计器,分别是基于局部幅度谱斜率的谱估计器和基于总变差的空间估计器。该算法首先将输入的彩色图像转换为灰度图像,再将基于光谱斜率的锐度测量和基于总变差的锐度测量结合到最终的锐度图中。然后将图分解为一个单一的指数来量化整幅图像的整体感知锐度(Gu等,2015)。

2.1.2 模糊度评价

图像在采集、压缩、传输和存储过程中,无可避免地会引起失真。模糊失真是图像质量下降的主要因素之一(Hua等,2020),因此对图像的模糊度进行评测和度量对多光谱成像系统的图像质量十分必要。

采用Narvekar和Karam(2011)提出的改进无参考模糊度量方法, 来对获取的多光谱图像的模糊度进行评价。该方法利用了可见模糊和累积模糊检测概率的概念,并基于人类模糊感知在不同对比度下的敏感性,提出了一种概率框架,可以估计出图像中每条边缘被检测出模糊度概率,随之将每条边缘的模糊感知信息汇集到整个图像上,通过评估模糊检测累积概率来获得最终的质量分数。

2.2 优化参数及方法

从3个可调的参数来对研制的多光谱成像系统进行优化。该3个参数及其设置分别是:相机拍摄时间(0.3 s, 0.6 s, 0.9 s);相机拍摄距离(25 mm,50 mm, 100 mm);光照强度(3 Lux,45 Lux, 168 Lux)。通过计算不同拍摄参数下多光谱图像的客观质量参数并绘制相应的分数曲线来进行系统参数的优化。

2.2.1 相机拍摄时间

在系统设计中,9种不同波段的LED灯珠在单片机的脉冲波调制下,分时频闪,并协同相机获取多光谱图像。由于单片机时钟的计时脉冲基准是由外部晶振的频率经过12分频后所提供的。因此,本系统采用内部的定时、计数器来实现计时功能。在系统优化前,首先对相机的拍摄触发时间进行调试,以求找到最佳的同步时间。

经过预备实验,LED频闪间隔设置为0.3 s为经验上的最佳值。但是,由上述分析可知,LED的控制频闪时间间隔并不稳定,故需要探究相机拍摄时间对成像质量的影响。在优化相机拍摄时间间隔时,保持拍摄距离25 mm和光照强度45 Lux不变。

2.2.2 相机拍摄距离

在系统结构的设计方面,本文将9对(18颗)LED分别对称焊接在圆盘状的PCB上。核心控制单元置于中央,同时匹配相机进行拍照。由于LED的发光强度有限,且受环境光的影响较大,因此对相机的拍摄距离参数进行调试,以求找到最佳的拍摄距离。在优化相机拍摄距离参数时,设置拍摄时间间隔0.3 s和光照强度45 Lux不变。

2.2.3 光照强度

系统中所采用的相机为去除了红外滤光片的高清工业相机模组,成像波段较宽,但由于去除红外滤光片,受太阳光影响较大,容易引入噪声,干扰成像效果。因此,在优化系统时,保持相机拍摄时间间隔0.3 s和相机拍摄距离25 mm不变,对系统在3个不同的光照强度下进行图像捕获,以求找到最佳的拍摄光强。

3 实验结果与分析

在评估图像数据清晰度时,采用的是Vu等人(2012)提出的S3算法,即一种旨在测量图像中的局部感知清晰度的算法。该算法利用了图像的光谱和空间特性;对于每一个像素块,测量其幅度谱和总空间的斜率变换,通过加权几何平均以及结果度量等措施解决视觉感知问题,最终生成一个锐度图,即S3。在S3中,较大的值表示在感知上较锐利的区域,以此来量化整个图像的清晰度。

在评估图像数据模糊度时,采用的是Narvekar和Karam(2011)提出的改进无参考模糊度量方法。该方法基于对不同对比度值的人眼模糊感知进行研究,利用概率模型以及合并信息计算来估计检测到的图像在每个边缘的模糊值,以此来量化整个图像的模糊度。

3.1 相机拍摄时间

在实验中,在相机拍摄距离和光照强度分别设为25 mm和45 Lux的前提条件下,设置相机拍摄时间间隔为0.3 s,0.6 s,0.9 s,拍摄牛奶盒子、花朵和纸质文字3个场景下的多光谱图像,并采用清晰度和模糊度两个算法进行评分。其中,相机拍摄间隔通过Python程序代码中的计时函数进行调节。

在图像清晰度方面,0.3 s相机拍摄间隔下的图像要普遍优于其他相机拍摄时间间隔下的图像(如图 6)。这也印证了在LED灯珠触发时间和相机拍摄时间同步的条件下,多光谱成像系统可以最大程度地保证图像质量。

图 6 不同相机拍摄时间间隔下清晰度指标的表现
Fig. 6 Performance of sharpness metric under different imaging times
((a) milk carton; (b) flower; (c) paper text)

从清晰度分数来看,在0.3 s相机拍摄间隔下,牛奶盒场景图像和花朵场景图像均在390 nm处得分最高,而纸质文字场景图像在515 nm处得分最高。纸质文字场景图像在390 nm下取得的图像质量最差,仅有0.457,这表明多光谱成像系统在面对不同物体时,成像质量会有一定差异。

采用模糊度评价算法对图像质量进行评估发现,在牛奶盒和花朵两个场景下,0.3 s相机拍摄间隔下获取的多光谱图像质量均要优于其他两个相机拍摄时间间隔,而在纸质文字场景下,整体成像质量比另外两个场景较差(图 7)。特别地,在纸质文字场景中,3个相机拍摄间隔下获得图像成像质量均较差,其模糊度评分在4~5之间。0.3 s相机拍摄时间间隔下,牛奶盒在650 nm处获得的图像得分最高,而花朵场景在730 nm,365 nm,840 nm处的图像得分较高。

图 7 不同相机拍摄时间间隔下模糊度指标的表现
Fig. 7 Performance of blur metric under different imaging times
((a) milk carton; (b) flower; (c) paper text)

3.2 相机拍摄距离

在实验中,在相机拍摄间隔和光照强度分别设为0.3 s和45 Lux的前提条件下,设置相机拍摄距离25 mm,50 mm, 100 mm,拍摄牛奶盒子、花朵和纸质文字3个场景下的多光谱图像,并采用清晰度和模糊度两个算法进行评分。相机拍摄距离使用尺子测量得到。

采用清晰度算法对多光谱图像分析发现,牛奶盒的成像质量较好(图 8)。对于所有场景的多光谱图像,总体来说,在25 mm拍摄距离下,图像的清晰度得分较高;100 mm距离下,清晰度得分最低;50 mm距离次之。其中,在牛奶盒场景下,390 nm处获取的图像质量分数最高;纸质文字场景下,390 nm处图像分数最低。这也体现出在紫光波长下,场景的不同对图像质量影响较大。

图 8 不同相机拍摄距离下清晰度指标的表现
Fig. 8 Performance of sharpness metric under different imaging distances
((a) milk carton; (b) flower; (c) paper text)

在模糊度评价中,成像质量整体较好(图 9)。在牛奶盒和花朵两个场景下,成像质量相对稳定。其中,牛奶盒场景下,系统在650 nm下模糊度算法分数最高,而花朵场景下,系统在730 nm获得最佳图像。相反,针对纸质文字来说,25 mm拍摄距离下,系统在585 nm下模糊度成像质量较差。

图 9 不同相机拍摄距离下模糊度指标的表现
Fig. 9 Performance of blur metric under different imaging distances
((a) milk carton; (b) flower; (c) paper text)

3.3 光照强度

在实验中,在拍摄间隔和拍摄距离分别设为0.3 s和25 mm的前提条件下,设置环境光照强度为3 Lux,45 Lux,168 Lux,进行多光谱图像的获取,并采用清晰度和模糊度两个算法进行评分。其中,光照强度使用优利德(UNI-T)UT383迷你型数字照度计所测得。3 Lux模拟的是室内不开灯的情景,45 Lux模拟的是室内开灯的情景,168 Lux模拟的是正常太阳光照的情景。

在清晰度评价中,成像系统在45 Lux光照强度下,3个场景成像质量均较高(图 10)。如,在牛奶盒场景中,45 Lux光照强度条件在390 nm处清晰度分数最高,达到0.792;在花朵场景中,45 Lux光照强度条件在585 nm波段清晰度分数最高;在纸质文字场景中,168 Lux光照强度条件成像质量较差。这反映出多光谱成像系统受光照强度影响较大。

图 10 不同光照强度下清晰度指标的表现
Fig. 10 Performance of sharpness metric under different lighting conditions
((a) milk carton; (b) flower; (c) paper text)

在模糊度评价中,不同场景下模糊度得分差异较大(图 11)。牛奶盒子成像质量较高,花朵较差,纸质文字次之。整体来看,系统在45 Lux光照强度下,获得图像质量较高。

图 11 不同光照强度下,模糊度指标的表现
Fig. 11 Performance of blur metric under different lighting conditions
((a) milk carton; (b) flower; (c) paper text)

3.4 成像结果展示

本文采用清晰度和模糊度来评价多光谱图像的质量,进而得出成像系统较优的参数设置,供后续研究借鉴。

通过改变系统参数,对不同条件下获取的多光谱图像进行质量评估。对于本文所搭建的多光谱成像系统来说,在相机拍摄时间间隔为0.3 s、拍摄距离为25 mm、光照强度为45 Lux下成像质量相对较好,3个实验场景中,最佳拍摄条件下的图像的灰度图如图 12图 14所示。

图 12 牛奶盒在9个波段下的灰度图像
Fig. 12 Grayscale images of milk carton at nine wavelengths
图 13 花朵在9个波段下的灰度图像
Fig. 13 Grayscale images of flower at nine wavelengths
图 14 纸质文字在9个波段下的灰度图像
Fig. 14 Grayscale images of paper text at nine wavelengths

4 结论

本文提出了一种基于脉冲调制的低成本便携式多光谱成像系统,并采用客观图像质量评估的方法对其成像参数进行优化。通过协同相机曝光时间和LED灯珠频闪时间,该系统可以实现365 nm、390 nm、460 nm、515 nm、585 nm、620 nm、650 nm、730 nm和840 nm的9个波段下的成像。基于清晰度和模糊度指标的图像质量评价实验结果显示:对于本文所搭建的多光谱成像系统,相机拍摄时间间隔与LED灯珠频闪周期同步,拍摄距离为25 mm,光照强度为45 Lux下成像质量相对较好。

在将来的研究中,拟从以下4个方面开展:1)优化系统函数使LED分时频闪与相机曝光时间的协同更加精确;2)更充分地考虑系统参数、环境参数和场景因素等对系统性能的影响,在统计学方面设计优化实验进行系统的深入优化,以获得更高质量的图像;3)融合其他成像技术如荧光成像,研发低成本的多模态成像系统;4)选取合适的应用场景,研发面向具体应用且可以实际落地的多光谱成像系统。

致谢 感谢华东师范大学郭逸飞和陈昱榛在数据分析工作方面提供的支持。

参考文献

  • Ahmed A S, Kim H J, Kim J, Hwang K S, Kim S. 2017. Enhancing the responsivity of uncooled infrared detectors using plasmonics for high-performance infrared spectroscopy. Sensors, 17(4): #908 [DOI:10.3390/s17040908]
  • Bayarri V, Castillo E, Ripoll S, and Sebastián M A. 2021. Improved application of hyperspectral analysis to rock art panels from el Castillo cave (Spain). Applied Science, 11(3): #1292 [DOI:10.3390/app11031292]
  • Bolton F J, Bernat A S, Bar-Am K, Levitz D, Jacques S. 2018. Portable, low-cost multispectral imaging system: design, development, validation, and utilization. Journal of Biomedical Optics, 23(12): #121612 [DOI:10.1117/1.JBO.23.12.121612]
  • Chubala C M, Ensor T M, Neath I, Surprenant A M. 2020. Dynamic visual noise does not affect memory for fonts: redefining the image definition hypothesis. Experimental Psychology, 67(3): 161-168 [DOI:10.1027/1618-3169/a000491]
  • Gu K, Zhai G T, Lin W S, Yang X K, Zhang W J. 2015. No-reference image sharpness assessment in autoregressive parameter space. IEEE Transactions on Image Processing, 24(10): 3218-3231 [DOI:10.1109/TIP.2015.2439035]
  • Hu M H, Dong Q L, Liu B L. 2016. Comparison of predicting blueberry firmness and elastic modulus with hyperspectral reflectance, transmittance and interactance imaging modes. Spectroscopy and Spectral Analysis, 36(11): 3651-3656 (胡孟晗, 董庆利, 刘宝林. 2016. 基于高光谱反射、透射和交互作用成像模式的蓝莓硬度和弹性模量预测的比较. 光谱与光谱学分析, 36(11): 3651-3656) [DOI:10.3964/j.issn.1000-0593(2016)11-3651-06]
  • Hu M H, Li Q L. 2019. An efficient model transfer approach to suppress biological variation in elastic modulus and firmness regression models using hyperspectral data. Infrared Physics & Technology, 99: 140-151 [DOI:10.1016/j.infrared.2019.04.003]
  • Hu M H, Zhai G T, Xie R, Min X K, Li Q L, Yang X K, Zhang W J. 2020. A wavelet-predominant algorithm can evaluate quality of THz security image and identify its usability. IEEE Transactions on Broadcasting, 66(1): 140-152 [DOI:10.1109/TBC.2019.2901388]
  • Hua X, Pan C, Shi Y, Liu J G, Hong H Y. 2020. Removing atmospheric turbulence effects via geometric distortion and blur representation. IEEE Transactions on Geoscience and Remote Sensing: #3043627 [DOI:10.1109/TGRS.2020.3043627]
  • Li H, Li G, Ye Y P, Lin L. 2021. A high-efficiency acquisition method of LED-multispectral images based on frequency-division modulation and RGB camera. Optics Communications, 480: #126492 [DOI:10.1016/j.optcom.2020.126492]
  • Liu C, Tao R, Li W, Zhang M M, Sun W W, Du Q. 2021. Joint classification of hyperspectral and multispectral images for mapping coastal wetlands. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 14: 982-996 [DOI:10.1109/JSTARS.2020.3040305]
  • Liu L X, Li M Z, Zhao Z G, Qu J L. 2018. Recent advances of hyperspectral imaging application in biomedicine. Chinese Journal of Lasers, 45(2): 214-223 (刘立新, 李梦珠, 赵志刚, 屈军乐. 2018. 高光谱成像技术在生物医学中的应用进展. 中国激光, 45(2): 214-223) [DOI:10.3788/CJL201845.0207017]
  • Narvekar N D, Karam L J. 2011. A no-reference image blur metric based on the cumulative probability of blur detection (CPBD). IEEE Transactions on Image Processing, 20(9): 2678-2683 [DOI:10.1109/TIP.2011.2131660]
  • Oszust M, Piórkowski A, Obuchowicz R. 2020. No-reference image quality assessment of magnetic resonance images with high-boost filtering and local features. Magnetic Resonance in Medicine, 84(3): 1648-1660 [DOI:10.1002/mrm.28201]
  • Rong N C, Huang M Z. 2020. Age estimation of bloodstains based on visible-near infrared multi-spectrum combined ensembling model. Spectroscopy and Spectral Analysis, 40(1): 168-173 (戎念慈, 黄梅珍. 2020. 可见-近红外多光谱和多种算法模型融合的血迹年龄预测. 光谱学与光谱分析, 40(1): 168-173) [DOI:10.3964/j.issn.1000-0593(2020)01-0168-06]
  • Vu C T, Phan T D, Chandler D M. 2012. S3: a spectral and spatial measure of local perceived sharpness in natural images. IEEE Transactions on Image Processing, 21(3): 934-945 [DOI:10.1109/TIP.2011.2169974]
  • Wang R, Nie F P, Wang Z, He F, Li X L. 2020. Multiple features and isolation forest-based fast anomaly detector for hyperspectral imagery. IEEE Transactions on Geoscience and Remote Sensing, 58(9): 6664-6676 [DOI:10.1109/TGRS.2020.2978491]
  • Zhai C J and Zhou G X. 2020. Acquisition of multi-spectrum fingerprint image with a smartphone[J/OL]. Laser Technology. [2021-03-02] (翟春婕, 周桂雪. 2020. 基于智能手机的多光谱指纹图像采集研究[J/OL]. 激光技术. [2021-03-02]. https://kns.cnki.net/KCMS/detail/detail/51.1125.TN.20201209.1327.002.html)
  • Zhai G T, Min X K. 2020. Perceptual image quality assessment: a survey. Science China Information Sciences, 63(11): #211301 [DOI:10.1007/s11432-019-2757-1]
  • Zhang B H, Liu L S, Gu B X, Zhou J, Huang J C, Tian G Z. 2018. From hyperspectral imaging to multispectral imaging: portability and stability of HIS-MIS algorithms for common defect detection. Postharvest Biology and Technology, 137: 95-105 [DOI:10.1016/j.postharvbio.2017.11.004]
  • Zhang Q, Chen W N, Hao H G. 2020. A review of research on hyperspectral imaging technology in document inspection applications. Applied Chemical Industry, 49(1): 165-170 (张倩, 陈维娜, 郝红光. 2020. 高光谱成像技术在文件检验应用的研究综述. 应用化工, 49(1): 165-170) [DOI:10.3969/j.issn.1671-3206.2020.01.037]