Print

发布时间: 2020-03-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.190296
2020 | Volume 25 | Number 3




    图像分析和识别    




  <<上一篇 




  下一篇>> 




蚕茧表面图像等效阶梯柱面展开
expand article info 孙卫红1, 廖艺真1, 梁曼1, 邵铁锋1, 毕海忠2
1. 中国计量大学机电工程学院, 杭州 310018;
2. 中国纤维质量监测中心, 北京 100007
收稿日期: 2019-06-21; 修回日期: 2019-09-10; 预印本日期: 2019-09-17
基金项目: 江西省科技计划项目（20192BBFL60037）；中国纤维质量监测中心招标项目（OITC-G1902081374）；国家市场监督管理总局科技计划项目（S2019MK149）；浙江省公益技术应用研究项目（LGG20E050014）
第一作者简介: 孙卫红, 1969年生, 男, 教授, 主要研究方向为数字化设计与制造、制造业信息化。E-mail:whsun@cjlu.edu.cn;
廖艺真, 女, 硕士研究生, 主要研究方向为检测技术与自动化装置、图像处理。E-mail:LiaoYZ07@126.com;
梁曼, 女, 讲师, 主要研究方向为装备改进及检测技术。E-mail:18a0104152@cjlu.edu.cn;
邵铁锋, 男, 讲师, 主要研究方向为机器人、机电一体化相关技术研究。E-mail:stf@cjlu.edu.cn;
毕海忠, 男, 工程师, 主要从事茧丝质量监督管理工作。E-mail:bihaizhong@cfi.gov.cn.
中图法分类号: TP391
文献标识码: A
文章编号: 1006-8961(2020)03-0498-09

摘要

目的 在机器视觉的蚕茧分选研究中，完整的表面图像有利于提高蚕茧的识别准确度。由于蚕茧的形状呈长椭圆形，其在成像面上的投影存在信息压缩，需对其图像展开后才能进行拼接，因此提出了一种基于等效阶梯柱面模型的蚕茧表面图像展开方法。方法 对采集到的蚕茧图像预处理后进行椭圆拟合，根据拟合结果建立蚕茧的数学模型，基于微积分化曲为直的思想，将蚕茧模型转化为等效阶梯柱面模型，建立相应的坐标系，推导出阶梯柱面模型展开图与原图的像素坐标映射关系，进而实现蚕茧表面图像的展开。结果 对比本文方法与采用蚕茧最大半径值的柱面展开方法对阶梯柱面模型表面图像的展开结果，评价两种展开方法方格左上角的坐标值与理论值之间的平均绝对误差，本文方法为1.66像素，对比方法为3.06像素。说明本文方法得到的坐标值与理论值的拟合程度更高，绝对误差范围和平均误差值更小。此外，对展开的蚕茧表面图像进行重复部分拼接实验，拼接后图像重叠处及重叠区域边缘的蚕茧表面纹理连续性保持良好。结论 等效阶梯柱面展开方法可以有效的实现蚕茧表面图像展开，还原其表面原始信息，为后续蚕茧表面图像完整拼接提供良好的技术支撑。

关键词

蚕茧分选; 图像处理; 柱面展开; 阶梯柱面模型; 数学建模

Equivalent step cylinder unfolding of silkworm cocoon surface image
expand article info Sun Weihong1, Liao Yizhen1, Liang Man1, Shao Tiefeng1, Bi Haizhong2
1. College of Mechanical and Electrical Engineering, China Jiliang University, Hangzhou 310018, China;
2. National Cocoon and Silk Product Quality Supervision and Inspection Center, Beijing 100007, China
Supported by: Science and Technology Program of Jiangxi Province, China (20192BBFL60037)

Abstract

Objective Stitching two different angles of silkworm surface images directly is not feasible even with several overlapping areas between them because the shape of a silkworm cocoon is long and elliptical and some information is compressed in its projection on the imaging surface. However, most of the existing image unfolding methods are aimed at cylinders with uniform radius, which is ineffective in the application of cocoon image unfolding. In this study, the surface image unfolding method of silkworm cocoon based on the equivalent step cylindrical model of a silkworm cocoon is proposed according to the shape characteristics of silkworm cocoon. Method To obtain the surface image of the silkworm cocoon, we designed a set of image acquisition devices, driving the cocoon rotation through the synchronous rotation of two rollers, thereby enabling the camera to conveniently collect the complete image of the silkworm cocoon surface. We assume that the mathematical model of the silkworm cocoons is a rotational ellipsoid, and the image is subjected to gray scale, filter, binarization, and edge extraction successively. Thereafter, the extracted edges are fitted to obtain the ideal mathematical model of the cocoon in the image. A cylinder can be unfolded along one side to a rectangle, where the ideal silkworm cocoon model is divided into n segments along the rotational axis according to the calculus. The height of each segment is Δh.Given that Δh is small, the curve can be regarded as a straight line, so a small segment of the ellipse can be equal to a cylinder, and the cocoon model becomes a super position of a series of cylindrical models. Therefore, an equivalent stepped cylinder model of the cocoon model is obtained. The diameter of each small segment of the cylinder is calculated by the diameters of the upper and lower surfaces of the ellipsoidal segment replaced by the cylinder. As the diameter of the silkworm cocoon is extremely small (18 mm), the error brought by the camera aperture imaging model can be ignored, and the camera catches the parallel projection image of the silkworm cocoon. We set a coordinate system of OW to XWYWZW as the world coordinate system, o to xy as the original imaging plane, and o to uv as the unfolding plane. Based on the world coordinate system, the pixel coordinate mapping relationship between the unfolding plane of the stepped cylinder model and original image is derived. Reverse mapping is performed by a linear interpolation algorithm, and each pixel in the unfolded image is traversed. The surface unfolding image of the silkworm cocoon is obtained based on the equivalent step cylindrical model with the corresponding pixel values extracted from the original image using the given mapping relationship. Result The experiment was conducted by the 3D-printed step cylindrical model and the cocoon. In example 1, the surface of the step cylindrical model of 3D printing was pasted with a small black-and-white checker board with a size of 1 mm×1 mm. After the images were acquired, the stepped cylinder image was unfolded using the unfolding method and the cylinder unfolding method with the maximum radius value of the cocoon as the unfolding value. Given that the squares of the checkerboard used in the experiment had the same size, in the ideal state, the size of each square in the unfolded image should be the same. Therefore, based on the coordinates and size of the white grid in the center of the image, the theoretical value of the corner points of all the squares in the ideal unfolded image can be calculated. The unfolding effect is compared by the difference between the coordinate values of the upper left corners of the two unfolding methods and the theoretical values. Results show that the coordinate values obtained by the equivalent step-cylinder surface unfolding method are more than a match for the theoretical value compared with the equal-diameter unfolding method with maximum radius value, and the average relative error is much smaller. In example 2, the equivalent step-cylinder surface unfolding method is tested by a common silkworm cocoon image. When the cocoon image is obtained and preprocessed according to the elliptical circumscribing rectangle, the image is obtained by the ellipse fitting to extract the region of interest, so that the long axis of the ellipse remains vertical and the excess background is removed. The roller control motor of the image acquisition device starts. When the silkworm cocoons rotate a certain angle, the camera obtains another angle of cocoon image with overlapping area with the previous image, and the same preprocessing step on the image is performed to obtain the ROI area of the silkworm cocoon. The two images are unfolded by the unfolding method proposed in this paper. By manually splicing the two unfolded images and observing the silkworm cocoon texture of the overlap of the stitched image and the edge of the overlap region, we can find that the texture continuity of the silkworm cocoon is better and the unfolded image has an improved stitching effect. Conclusion Results show that the step cylinder unfolding method proposed in this paper has a better unfolding effect than the unfolding method with a single radius value, which can provide a good environmental basis for the mosaic subsequent research on silkworm cocoon surface images. In addition, the method can be applied to the unfolding of other ellipsoidal surface images.

Key words

silkworm cocoon sorting; image processing; cylindrical image unfold; step cylindrical model; mathematical modeling

0 引言

为了保证缫丝的质量，在蚕茧缫丝前需要进行选茧工作，以剔除影响缫丝质量的次、下茧。根据国家标准(中华人民共和国国家质量监督检验检疫总局和中国国家标准化管理委员会，2015)中的规定，下茧主要包括双宫、薄皮、黄斑茧、口茧、柴印茧、畸形茧等几大类。其中黄斑茧、口茧、柴印茧这3种下茧在形状上与正常蚕茧的形状并无太大区别，其瑕疵特征主要体现在蚕茧表面图像信息上，因此需要对蚕茧表面图像信息进行特征提取并识别。国内目前的主要研究方向是通过图像处理技术实现蚕茧质量的检测(唐科梦等，2014)，如刘莫尘等人(2018a)提出的可根据图像中的颜色和面积特征对方格簇蚕茧进行定位分割，并采用FCM(fuzzy C-means)及HSV(hue, saturation, value)模型对方格蔟中的黄斑茧进行检测并剔除(刘莫尘等，2018b)；陈浩等人(2016)提出的辅助选茧方法中采用Matlab对蚕茧表面污迹面积进行计算；赵明岩等人(2016)设计的自动选茧装置通过分析图像中蚕茧的形状、大小、颜色实现对蚕茧品质的判别。

由于蚕茧的形状为类椭球体(周志宇等，2006)，无法通过普通相机的一次图像采集得到其完整的表面信息(吴晓军和郭亚雪，2015)，需要对同一蚕茧的不同角度采集图像后再进行特征识别。当污迹横跨分布在两幅图像上时，识别算法无法整体分析该污迹的特征，对蚕茧表面瑕疵信息的识别准确率有一定影响。

针对上述问题，目前常用的方法是图像拼接(Wu等，2012)，如姚立健等人(2015)提出基于SIFT(scale invariant feature transform)算子的苹果表面图像拼接方法；汪军等人(2017)针对刑侦领域柱体表面指纹等遗留物证的图像拼接；王玉亮等人(2011)基于SIFT特征的眼底图像拼接等。拼接后的图像包含了非平面物体表面的完整信息，既方便算法的识别，也方便检验人员的复检。但蚕茧的表面是椭球面，其两侧边缘信息在成像面上的投影存在着信息压缩，无法直接对两幅具有重合区域的不同角度下的蚕茧图像进行拼接，需要先对图像进行展开。

现有的图像展开方法多是针对半径一致的柱面进行展开，如王伟等人(2014)通过对装置的标定获取圆柱的半径后对柱面上二维条形码的畸变校正，丁超等人(2018)对深孔内壁表面图像的展开，Dai(2010)和Cao等人(2003)对卷曲文档表面图像的展开复原，但单一半径的展开方法在蚕茧这一椭球面的展开应用上效果不佳。因此，本文基于柱面展开理论，结合蚕茧的形状特征，建立蚕茧数学模型的等效阶梯柱面模型，通过对等效阶梯柱面模型表面图像的展开，等效实现蚕茧表面图像的展开。

1 蚕茧表面图像采集装置设计

为获取蚕茧的尺寸信息，使用游标卡尺对某一批次的蚕茧进行实际测量，测得该批次蚕茧的直径区间为16—20 mm，长度区间为28—37 mm，表面遍布茧丝形成的不规则褶皱并附着有少量浮丝，摩擦力较大。根据蚕茧的形状特征，设计了蚕茧表面图像采集装置，如图 1所示。滚轴1和滚轴2通过3个齿轮联动，使其沿同一方向以相同的速度转动。当两根滚轴同步转动时，放置在两滚轴之间的蚕茧在摩擦力的作用下沿与滚轴相反的方向转动，装置上方的相机采集蚕茧表面的图像，相机距离滚轴轴心的距离设置为200 mm。



图 1 蚕茧表面图像采集装置
Fig. 1 Silkworm cocoon surface image acquisition device
((a) schematic; (b)physical picture)

2 蚕茧表面图像展开数学模型

2.1 蚕茧数学模型

2.1.1 一般蚕茧模型

对采集到的蚕茧图像进行预处理：灰度化、滤波、二值化、边缘提取(Cope和Rockett，2000)。根据Fitzgibbon等人(1999)提出的直接最小二乘拟合算法对提取得到的边缘进行椭圆拟合，得到蚕茧图像的长短轴以及旋转角，如图 2所示。



图 2 蚕茧图像拟合
Fig. 2 Cocoon image fitting
((a) original image; (b) elliptic fitting image)

通过蚕茧的椭圆拟合结果图，可以发现蚕茧轮廓近似为标准椭圆曲线，因此本文假设理想的蚕茧模型为标准椭圆曲线绕其长轴旋转而成的椭球体，如图 3所示。



图 3 理想蚕茧模型
Fig. 3 The ideal silkworm cocoon model

定义图 3中椭圆短轴$CD$的长度为蚕茧的直径$2b_{c}$；椭圆长轴$AB$的长度为蚕茧的长度$2a_{c}$。则该椭圆绕长轴$AB$旋转一圈得到的椭球体方程即为理想蚕茧模型方程，即

$ \frac{{x^{2}}}{{a^{2}_{c}}}+ \frac{{y^{2}+z^{2}}}{{b^{2}_{c}}}=1 $ (1)

2.1.2 蚕茧等效阶梯柱面模型

为了对蚕茧表面图像进行展开，参考周平等人(2010)关于鸡蛋体积与表面积的测试方法，根据微积分的思想原理，提取蚕茧模型某一微区段进行分析，如图 4所示，图中$EFHG$所在平面垂直于短轴的水平面，$EF$、$GH$两个水平面之间的距离为Δ$h$，点$E$′′、$F$′′分别为点$E$、$F$在$GH$水平面上的正投影，取线段$GE$′′的中点为点$G$′，线段$HF$′′的中点为点$H$′，即



图 4 蚕茧模型切分示意图
Fig. 4 Silkworm cocoon model segmentation

$ G′H′= \frac{{1}}{{2}}(GH+EF) $ (2)

当Δ$h$足够小时，椭球$EFHG$部分近似等于圆柱$E′F′H′G′$。在图像中，Δ$h$最小取值为一个像素值。

依据上述模型，可以将理想蚕茧模型沿轴线方向切分为$n$段，从上到下依次为第$1, 2, …, n-1, n$段，每一段的高度Δ$h=a_{c}/n$，则理想蚕茧模型等效为一系列圆柱的叠加，由此得到蚕茧的等效阶梯柱面模型如图 5所示。



图 5 蚕茧等效阶梯柱面模型转换示意图
Fig. 5 Cocoon transformation into equivalent step cylinder model

此时，蚕茧的表面积$S$可近似转换为阶梯柱面模型的表面积，即

$ S=Δh· \sum\limits^n_{k=1}2 \mathsf{π}r_{k}+ \mathsf{π}(r^{2}_{1}+r^{2}_{n}) $ (3)

式中，$r_{k}$为第$k$段圆柱的半径；$r_{1}$为第$1$段圆柱的半径；$r_{n}$为第$n$段圆柱的半径。

假设图 4中的$EFHG$段为蚕茧模型的第$k$段，取$G$点坐标为$(X_{k}, Y_{k})$，$E$点坐标为$(X_{k-1}, Y_{k-1})$，由式(2)得$r_{k}$为

$ r_{k}=Y_{k-1}+ \frac{{Y_{k}-Y_{k-1}}}{{2}}= \frac{{Y_{k-1}+Y_{k}}}{{2}} $ (4)

因为$E$、$F$、$G$、$H$皆为蚕茧表面上的点，因此其坐标均满足椭圆的一般方程，即

$ \frac{{ X^{2}_{k}}}{{a^{2}_{c}}}+ \frac{{Y^{2}_{k}}}{{b^{2}_{c}}}=1 $ (5)

圆柱从第$1$段到第$n$段自上而下依次排列，则第$k$段的$G$点坐标$X_{k}$为

$ X_{k}=a_{c}-kΔh $ (6)

联立式(4)—(6)可得$r_{k}$与$X_{k}$的关系为

$ r_{k}= \frac{{b_{c}}}{{2a_{c}}} (\sqrt{a^{2}_{c}-X^{2}_{k-1}}- \sqrt{a^{2}_{c}-X^{2}_{k}}) $ (7)

2.2 等效阶梯图像展开

对于一个半径为$r$，高为$h$的回转圆柱面，将其沿任意一条素线展开，可以得到一个边长为$2$π$r$，高为$h$的矩形，如图 6所示，该矩形包含了圆柱表面的全部信息。



图 6 柱面展开模型
Fig. 6 Cylinder unfold model

设圆柱上$A$点在投影展开面的映射点$A′$为展开图的起点，则对于圆柱面上任意一点$P(x_{p}, y_{p}, z_{p})$在展开图上的坐标$P′(u, v)$为

$ u=-x_{p} $ (8)

$ v=l_{PD}=r·{\rm arctan} \frac{{z_{p}}}{{y_{p}}} $ (9)

式中，$l_{PD}$为$PD$两点之间的弧长。

因为蚕茧的直径(18 mm)较小，忽略相机小孔成像模型引入的误差(Bors等，1997)，假设相机获得的是蚕茧的平行投影图像。根据图像中蚕茧的像素尺寸，建立阶梯柱面模型坐标系$O_{\rm W}-X_{\rm W}Y_{\rm W}Z_{\rm W}$，成像面坐标系$o-xy$如图 7所示，柱面模型第$k$段圆柱上的圆弧$PC$在成像面上的对应线段为$P″C$。



图 7 柱面模型—成像面坐标系
Fig. 7 Cylindrical model-imaging plane coordinate system

设$P″$的坐标为$(x, y)$，$r_{k}$为第$k$段的圆柱在成像面$o-xy$中的半径值，$α$为$O_{W}P$与$Y_{W}$轴负半轴的夹角，即

$ y=-r_{k}·{\rm cos}α $ (10)

$ x=-x_{p} $ (11)

$ α={\rm arctan} \frac{{z_{p}}}{{y_{p}}} $ (12)

联立式(8)—式(12)可得单一圆柱面展开图与原图的坐标点映射关系为

$ x=u $ (13)

$ y=r_{k}{\rm cos} \frac{{v}}{{r_{k}}} $ (14)

在图像坐标系$o-xy$中，图像原点为图像左上角的顶点，设原图图像中心坐标为$(x_{c}, y_{c})$，图 7中$o-xy$坐标系沿$y$轴的负方向平移$y_{c}$距离得到的坐标系即为原图像坐标系，则式(14)在原图像坐标系中表达式变换为

$ y=y_{c}-r_{k}{\rm cos} \frac{{v}}{{r_{k}}} $ (15)

这里采用的等效阶梯圆柱模型，由于圆柱的半径$r_{k}$随着$X$值的变化而变化，等效阶梯圆柱展开图中每一阶梯圆柱的展开起点不一致。设展开图的中心坐标为$(u_{c}, v_{c})$，对于第$k$段圆柱，其在展开图上的起点坐标$v_{k}$为

$ v_{k}=v_{c}- \frac{{1}}{{2}} \mathsf{π}r_{k} $ (16)

此时，第$k$段圆柱在展开图上的弧长$l$为

$ l=v-v_{k} $ (17)

则式(10)转换为如下方程

$ y=y_{c}-r_{k}{\rm cos} \frac{{v-v_{k}}}{{r_{k}}} $ (18)

综上，得到阶梯柱面模型展开图坐标$(u, v)$与原图坐标$(x, y)$的映射关系为

$ \left\{ \begin{align} &x=u \\ & y=y_{c}-r_{k}{\rm cos} \frac{{v-v_{k}}}{{r_{k} }} \end{align} \right. $ (19)

3 等效阶梯柱面模型展开结果

3.1 实验材料

为检验映射公式的有效性，根据蚕茧的平均参数，通过3D打印制作了一个长为33 mm，直径为18 mm的蚕茧等效阶梯柱面模型，该模型阶梯高度为1 mm。模型上贴有大小为1 mm×1 mm的黑白相间棋盘格。实验相机为锐视一声一视—Q4，图像尺寸为800×640像素，棋盘格在图像中的高度Δ$h$=14像素。实验的软件环境为：Windows10 64位系统下的Visual Studio 2013+OpenCV 2.4.11，硬件环境为：8GB内存，Core i5-7300HQ 2.50 GHz CPU。

实验开始前运用Matlab的相机标定工具箱对相机的内外参数进行标定，标定所得参数用以消除在后续实验中镜头引入的畸变(Zhang，2000)。

3.2 实验步骤

对采集到的图像进行预处理后，根据椭圆拟合所得的旋转角，对其进行旋转，将阶梯模型的长轴调整为竖直状态，随后以拟合得到的外接矩形信息作为输入进行ROI区域提取，得到阶梯柱面表面图像如图 8所示。



图 8 阶梯模型表面图像
Fig. 8 Step model surface image

创建长为$bc$π，高为$a_{c}$的空白展开图，采用线性插值算法进行反向插值，公式为

$ \begin{array}{c} f(u, v)=(1-d)f(x, y)+\\ d·f(x, y+1) \end{array} $ (20)

$ d=y-\left\lfloor {y} \right\rfloor $ (21)

式中，$f(u, v)$为展开图中$(u, v)$点的像素值；$f(x, y)$为原图中$(x, y)$点的像素值，$\left\lfloor {\;} \right\rfloor $表示向下取整函数，$d$为$y$与不大于$y$的最大整数的差值，即$y$的小数部分。

从上到下依次遍历展开图的像素点，因为$x=u$，所以将$x$代入式(7)即可得到该像素点所在的“半径”值，将$v$代入本文提出映射公式(19)求得该像素点在原图中的对应坐标$y$，将原图中对应像素点的三通道像素值依据式(20)(21)分别赋给展开图，得到的阶梯柱面的变径展开图如图 9所示。



图 9 阶梯柱面模型变径展开图
Fig. 9 Stepped cylinder model variable diameter unfold diagram

以等效阶梯柱面模型的最大半径段的半径值作为展开半径，对图 8进行柱面展开，得到该模型的等径展开图如图 10所示。



图 10 阶梯柱面模型等径展开图
Fig. 10 Equal-diameter unfold of the stepped cylinder model

由于实验所用的方格均为1 mm×1 mm的小方格，在理想状态下，展开后图像中每个方格的大小应该相同，因此以图像中心的白色小格坐标及大小为基准，即可计算得到理想展开图中所有方格角点的理论值。实际上，方格粘贴时存在上下方格对齐误差，故而本文采用图像中心列的小方格作为参考基准。在等径展开图与变径展开图中分别选取32个位置对应的方格，即图 11中用红点标记的方格。



图 11 标注后的展开图
Fig. 11 Unfolded image after marking
((a)marked equal-diameter unfold image; (b) marked variable-diameter unfold image)

3.3 实验结果分析

通过对比两种展开方法方格左上角的坐标值与理论值之间的差值，检验本文展开方法的效果。

由于展开图只进行了原图$y$轴方向上的到展开图中$v$轴方向上的映射变换，在$x$轴上为平行映射，因此，这里主要对展开图中的$v$坐标值进行分析比较。

以方格左上角角点编号为横坐标，角点$v$轴坐标值为纵坐标，将32个方格按坐标值从小到大依次排列，并用线段连接相邻两点，得到的坐标值折线图如图 12中的实线所示。图 12中的红色五角星所在位置为中心基准方格左上角坐标的$v$值。



图 12 $v$轴坐标值折线图
Fig. 12 Value line chart of $v$-axis coordinate

两种不同展开方法相对于理论坐标值的误差折线如图 13所示。



图 13 误差折线图
Fig. 13 Error line chart

结合图 12和图 13两幅折线图可以看到，相较于以最大值展开的等径展开坐标折线，由本文提出的方法所得到的坐标值折线与理论值的折线拟合程度更高，误差范围更小。

为了进一步分析误差折线，将角点的$u$轴坐标值折线加入分析，两种展开算法的$u$轴坐标值折线图如图 14所示，图中两虚线之间为图像的低纬度区域。



图 14 $u$轴坐标值折线图
Fig. 14 Value line chart of $u$-axis coordinate

综合角点所在的横纵坐标可以发现，两种展开算法不仅在$v$轴方向上的中心区域具有优良的展开效果，在$u$轴方向上的中心区域即椭球的低纬度区域也有着良好的展开效果，但是在图像边缘及高纬度区域，本文提出的变径展开效果要优于等径展开的效果。

3.4 蚕茧图像展开实例

蚕茧表面图像预处理过程如图 15所示，获取蚕茧表面图像15(a)后，对图像进行灰度化、滤波、二值化处理之后得到图 15(b)，通过Canny算法提取轮廓的边缘，得到图 15(c)，对边缘曲线进行椭圆拟合，得到图 15(d)；根据拟合所得的椭圆外接矩形，对图 15(a)进行ROI区域提取，并进行旋转，得到椭圆长轴保持竖直状态且去除了多余背景区域的图 15(e)。



图 15 蚕茧表面图像展开实例
Fig. 15 Example of silkworm cocoon surface image unfold
((a) original image; (b)threshold; (c) edge extraction; (d) elliptic fitting; (e) region of interest extraction)

图像获取装置的电机启动，待蚕茧旋转一定角度后电机停转，相机获得与上一幅图像有重叠区域的另一个角度蚕茧图像，执行同样预处理的步骤，得到该蚕茧另一个角度图像的ROI区域，采用本文展开方法对图像进行展开，分别得到两幅蚕茧表面图像的展开图如图 16所示。



图 16 同一蚕茧不同角度下的表面图像展开图
Fig. 16 Unfolding of the surface image of the same silkworm cocoon at different angles

对两幅图像进行手动拼接，得到图 17，图中蚕茧的纹理在拼接图像重叠处及重叠区域边缘的连续性保持较好，表明展开图的拼接效果良好。



图 17 蚕茧展开拼接图
Fig. 17 Unfolded picture stitching

4 结论

本文通过对蚕茧边缘轮廓的椭圆拟合，得到蚕茧的数学模型，将该数学模型转化为等效阶梯柱面模型，建立等效阶梯柱面模型表面图像展开的数学模型，从而实现对蚕茧表面图像的展开。

利用等效阶梯柱面模型和实际蚕茧图像对本文方法进行验证，实验结果表明，本文所用阶梯柱面展开方法相对于采用单一半径值的展开方法具有更好的展开效果，可为后续蚕茧表面图像的拼接与识别提供良好的环境基础。但与此同时，在坐标折线图中可以观察到实验中存在着除粘贴误差之外的误差，该误差主要是由小孔成像模型引入，因此将在后续的研究中引入这一误差源，改进展开方法以消除这一误差。

参考文献

  • Bors A G, Puech W, Pitas I and Chassery J M. 1997. Perspective distortion analysis for mosaicing images painted on cylindrical surfaces//Proceedings of IEEE International Conference on Acoustics, Speech, and Signal Processing. Munich, Germany: IEEE: 3045-3052[DOI:10.1109/ICASSP.1997.595435]
  • Cao H G, Ding X Q and Liu C S. 2003. A cylindrical surface model to rectify the bound document image//Proceedings of the Ninth IEEE International Conference on Computer Vision. Nice, France: IEEE, 1: 228-233[DOI:10.1109/ICCV.2003.1238346]
  • Chen H, Yang Z, Liu X, Shao L. 2016. Study on auxiliary testing method for mulberry silkworm cocoon sorting based on MATLAB. Journal of Silk, 53(3): 32-36 (陈浩, 杨峥, 刘霞, 邵玲. 2016. 基于MATLAB的桑蚕茧选茧辅助检验方法的研究. 丝绸, 53(3): 32-36) [DOI:10.3969/j.issn.1001-7003.2016.03.006]
  • Cope R K, Rockett P I. 2000. Efficacy of Gaussian smoothing in Canny edge detector. Electronics Letters, 36(19): 1615-1617 [DOI:10.1049/el:20001138]
  • Dai X J. 2010. A novel approach for the restoration of camera images of planar and curled document//Proceedings of the 20105th International Conference on Computer Science and Education. Hefei: IEEE: 1373-1376[DOI:10.1109/ICCSE.2010.5593717]
  • Ding C, Tang L W, Cao L J, Shao X J, Deng S J. 2018. Geometric distortion correction for structured-light image of deep-hole inner-surface. Optics and Precision Engineering, 26(10): 2555-2564 (丁超, 唐力伟, 曹立军, 邵新杰, 邓士杰. 2018. 深孔内表面结构光图像几何畸变校正. 光学精 密工程, 26(10): 2555-2564) [DOI:10.3788/OPE.20182610.2555]
  • Fitzgibbon A, Pilu M, Fisher R B. 1999. Direct least square fitting of ellipses. IEEE Transactions on Pattern Analysis and Machine Intelligence, 21(5): 476-480 [DOI:10.1109/34.765658]
  • General Administration of Quality Supervision, Inspection and Quarantine of the People's Republic of China and Standardization Administration of the People's Republic of China. 2015. GB/T 9111-2015 Methods of mulberry silkworm dried cocoons. Beijing: Standards Press of China (中华人民共和国国家质量监督检验检疫总局, 中国国家标准化管理委员会. 2015. GB/T 9111-2015桑蚕干茧试验方法. 北京: 中国标准出版社)
  • Liu M C, Xu R H, Li F D, Song Z H, Yan Y F, Han S Q. 2018a. Algorithm and experiment of cocoon segmentation and location based on color and area feature. Transactions of the Chinese Society for Agricultural Machinery, 49(3): 43-50 (刘莫尘, 许荣浩, 李法德, 宋占华, 闫银发, 韩守强. 2018a. 基于颜色与面积特征的方格蔟蚕茧分割定位算法与试验. 农业机械学报, 49(3): 43-50) [DOI:10.6041/j.issn.1000-1298.2018.03.005]
  • Liu M C, Xu R H, Yan X, Yan Y F, Li F D, Liu S X. 2018b. Detection and elimination of yellow spotted cocoon in Mountage based on FCM algorithm and HSV color model. Transactions of the Chinese Society for Agricultural Machinery, 49(7): 31-38 (刘莫尘, 许荣浩, 闫筱, 闫银发, 李法德, 刘双喜. 2018b. 基于FCM及HSV模型的方格蔟黄斑茧检测与剔除技术. 农业机械学报, 49(7): 31-38) [DOI:10.6041/j.issn.1000-1298.2018.07.004]
  • Tang K M, Xie Q F, Yang M Y, Zhang H P, Zhu L J. 2014. Research progress on evaluation methods and new inspection technologies for silkworm cocoon quality. Science of Sericulture, 40(5): 924-927 (唐科梦, 谢启凡, 杨明英, 张海萍, 朱良均. 2014. 蚕茧质量检验方法及检测新技术概述. 蚕业科学, 40(5): 924-927) [DOI:10.13441/j.cnki.cykx.2014.05.025]
  • Wang J, Qiang J, Zhou M Z. 2017. Study of image acquisition method on cylinder surface for material evidence based on image stitching. Optical Technique, 43(1): 43-49 (汪军, 强俊, 周鸣争. 2017. 基于图像拼接的柱体表面物证图像采集方法的研究. 光学技术, 43(1): 43-49) [DOI:10.13741/j.cnki.11-1879/o4.2017.01.009]
  • Wang W, He W P, Guo G F, Niu J B, Cao X Z. 2014. Restoration of distorted 2D barcode marked on arbitrary radius cylinder based on calibrated camera. Journal of Image and Graphics, 19(1): 69-75 (王伟, 何卫平, 郭改放, 牛晋波, 曹西征. 2014. 基于标定的任意半径柱面上2维条形码畸变校正. 中国图象图形学报, 19(1): 69-75) [DOI:10.11834/jig.20140109]
  • Wang Y L, Shen J X, Liao W H. 2011. Automatic fundus images mosaic based on SIFT feature. Journal of Image and Graphics, 16(4): 654-659 (王玉亮, 沈建新, 廖文和. 2011. 基于SIFT特征的眼底图像自动拼接. 中国图象图形学报, 16(4): 654-659) [DOI:10.11834/jig.20110414]
  • Wu X J, Guo Y X. 2015. An 360° panoramic imaging design method for cylindrical object. Acta Optica Sinica, 35(9): 0923002 (吴晓军, 郭亚雪. 2015. 一种圆柱物体360°全景成像装置设计方法. 光学学报, 35(9): 0923002) [DOI:10.3788/AOS201535.0923002]
  • Wu Z G, Wang M J and Wang Y Q. 2012. Image mosaic technique based on the information of edge//Proceedings of IEEE the 2012 Third International Conference on Digital Manufacturing and Automation. Guilin, China: IEEE: 482-484[DOI:10.1109/ICDMA.2012.115]
  • Yao L J, Zhou G F, Ni Z J, Zhang P P, Zhu S W. 2015. Matching method for fruit surface image based on scale invariant feature transform algorithm. Transactions of the Chinese Society of Agricultural Engineering, 31(9): 161-166 (姚立健, 周高峰, 倪忠进, 张培培, 朱世威. 2015. 基于尺度不变特征转换算子的水果表面图像拼接方法. 农业工程学报, 31(9): 161-166) [DOI:10.11975/j.issn.1002-6819.2015.09.025]
  • Zhang Z. 2000. A flexible new technique for camera calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11): 1330-1334 [DOI:10.1109/34.888718]
  • Zhao M Y, He R T, Tan Z Q. 2016. Design of automatic picking machine for sorting different quality silkworm cocoons based on checker-cardboard cocooning frame. Science of Sericulture, 42(1): 105-110 (赵明岩, 何如涛, 檀中强. 2016. 用于纸板方格蔟不同品质蚕茧分选与自动采摘的机具设计. 蚕业科学, 42(1): 105-110) [DOI:10.13441/j.cnki.cykx.2016.01.015]
  • Zhou P, Zhao C J, Wang J H, Zheng W G, Sun Z F, Wen Y X. 2010. Egg geometry calculations based on machine vision. Transactions of the Chinese Society for Agricultural Machinery, 41(5): 168-171, 208 (周平, 赵春江, 王纪华, 郑文刚, 孙忠富, 文友先. 2010. 基于机器视觉的鸡蛋体积与表面积计算方法. 农业机械学报, 41(5): 168-171, 208) [DOI:10.3969/j.issn.1000-1298.2010.05.034]
  • Zhou Z Y, Liu X A, Yang D H. 2006. Application of machine vision in measurement of cocoon superficial area. Journal of Textile Research, 27(12): 29-31 (周志宇, 刘喜昂, 杨东鹤. 2006. 机器视觉在蚕茧表面积测量中的应用. 纺织学报, 27(12): 29-31) [DOI:10.13475/j.fzxb.2006.12.008]