Print

发布时间: 2020-09-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.190525
2020 | Volume 25 | Number 9




    图像分析和识别    




  <<上一篇 




  下一篇>> 





结合面料属性和触觉感测的织物识别
expand article info 邢寅初1, 刘骊1,2, 付晓东1,2, 刘利军1,2, 黄青松1,2
1. 昆明理工大学信息工程与自动化学院, 昆明 650500;
2. 云南省计算机技术应用重点实验室, 昆明 650500

摘要

目的 织物识别是提高纺织业竞争力的重要计算机辅助技术。与通用图像相比,织物图像通常只在纹理和形状特征方面呈现细微差异。目前常见的织物识别算法仅考虑图像特征,未结合织物面料的视觉和触觉特征,不能反映出织物本身面料属性,导致识别准确率较低。本文以常见服用织物为例,针对目前常见织物面料识别准确率不高的问题,提出一种结合面料属性和触觉感测的织物图像识别算法。方法 针对输入的织物样本,建立织物图像的几何测量方法,量化分析影响织物面料属性的3个关键因素,即恢复性、拉伸性和弯曲性,并进行面料属性的参数化建模,得到面料属性的几何度量。通过传感器设置对织物进行触感测量,采用卷积神经网络(convolutional neural network,CNN)提取测量后的织物触感图像的底层特征。将面料属性几何度量与提取的底层特征进行匹配,通过CNN训练得到织物面料识别模型,学习织物面料属性的不同参数,实现织物面料的识别并输出识别结果。结果 在构建的常见服用织物样本上验证了本文方法,与同任务的方法比较,本文方法识别率更高,平均识别率达到89.5%。结论 提出了一种基于面料属性和触觉感测的织物图像识别方法,能准确识别常用的服装织物面料,有效提高了织物识别的准确率,能较好地满足实际应用需求。

关键词

织物识别; 面料属性; 触觉感测; 卷积神经网络; 参数学习

Cloth recognition based on fabric properties and tactile sensing
expand article info Xing Yinchu1, Liu Li1,2, Fu Xiaodong1,2, Liu Lijun1,2, Huang Qingsong1,2
1. Faculty of Information Engineering and Automation, Kunming University of Science and Technology, Kunming 650500, China;
2. Computer Technology Application Key Laboratory of Yunnan Province, Kunming 650500, China
Supported by: National Natural Science Foundation of China (61862036, 61962030, 81860318)

Abstract

Objective With the development of the textile industry, the manual identification of cloth has been unable to meet the growing demand for production. More and more image recognition technologies are applied to cloth recognition. Image recognition is a technology that combines feature extraction and feature learning; it plays an important role in improving the competitiveness of the clothing industry. Compared with general-purpose images, cloth images usually only show subtle differences in texture and shape. Current clothing recognition algorithms are based on machine learning; that is, they learn the features of clothing images through machine learning and compare the features of known fabric to determine the clothing category. However, these clothing recognition algorithms usually have low recognition rates because they only consider the vision attribute, which cannot fully describe the fabric and ignores the properties of the fabric itself. Touch and vision are two important sensing modalities for humans, and they offer complementary information for sensing cloth. Machine learning can also benefit from such multimodal sensing ability. To solve the problem of low recognition accuracy of common fabrics, a fabric image recognition method based on fabric properties and tactile sensing is proposed. Method The proposed method involves four steps, including image measurement, tactile sensing, fabric learning, and fabric recognition. The main idea of the method is to use AlexNet to extract tactile image features adaptively and match the fabric properties extracted by MATLAB morphology. First, the geometric measurement method is established to measure the input fabric image samples, and a parametric model is obtained after quantitatively analyzing the three key factors by testing the recovery, stretching, and bending behavior of different real cloth samples. The geometric measures of fabric properties can be obtained through parametric modeling. Second, fabric tactile sensing is measured through tactile sensor settings, and the low-level features of tactile images are extracted using convolutional neural network (CNN). Third, the fabric identification model is trained by matching the fabric geometric measures with the extracted features of tactile image and parameter learning through the CNN to learn the different parameters of fabric properties. Finally, the fabric is recognized, and results are obtained. In this study, the issue on cloth recognition is addressed by the basis of tactile image and vision; in this manner, missing sensory information can be avoided. Furthermore, a new fusion method named deep maximum covariance analysis (DMCA) is utilized to learn a joint latent space for sharing features through vision and tactile sensing, which can match weak paired vision and tactile data. Considering that the current fabric dataset contains only a few fabric types, which cannot be classified as everyday fabric, two fabric sample datasets are constructed. The first is a fabric image dataset for fabric property measurement, including the recovery, stretching, and bending images of 12 kinds of fabric types, such as coarse cotton, fine cotton, and canvas. Each type of fabric has 10 images, thus having a total of 360 images. The second is a fabric tactile image dataset, which includes 12 fabric types, each comprising 500 images with a total of 6 000 images. The size of all images are set to 227×227 pixels for the convenience of the experiment. Result To verify the effectiveness of the proposed method, experiments are performed on 12 common fabric samples. Experimental results show that the recognition average accuracy can reach 89.5%. Compared with the method of using only a single and three kinds of fabric attributes, the proposed method obtains a higher recognition rate. The proposed method also possesses better recognition effect compared with that of the mainstream methods. For example, compared with recognition accuracy of sparse coding (SC) combined with support vector machine (SVM), that of the proposed method increases to 89.5%. Conclusion A fabric image recognition method of combining vision and tactile sensing is proposed. The method can accurately identify fabric for clothing and improve the accuracy of fabric recognition. For the feature extraction task, the AlexNet network achieves simplified high-dimensional features, which can adaptively extract effective features to avoid manual screening. Moreover, the DMCA model performs well in cross-modal matching. Compared with other clothing recognition methods, our method shows several advantages in terms of accuracy, without the cost of expensive equipment. However, our method does not consider the recognition accuracy problem, which is influenced by a small number of samples, a low image measurement data dimension, and a lack of tactile information. In the future, the issues to improve the recognition accuracy of various fabric types will be focused on further.

Key words

cloth recognition; fabric properties; tactile sensing; convolutional neural network (CNN); parameter learning

0 引言

随着纺织业的发展,各式各样的服装投入市场,消费者可选择的种类越来越多。为谋取暴利,不法商家在服装成分标签上弄虚作假,而消费者对此通常不具备甄别能力。为保护消费者权益,促进纺织业可持续健康发展,亟需找到一种准确率高、成本低的织物面料识别方法。与通用图像识别不同,织物图像识别具有两个难点。其一,由于织物面料具有不同的机械性能,织物图像更注重纹理和形状之间的细微差异,颜色特征不能有效区分织物。其二,相比于通用图像,织物面料之间具有高度的相似性,仅凭单一类别的织物图像难以区分,需要多个类别的织物图像来辅助识别。因此,与通用图像识别方法相比,织物图像识别更加关注织物本身的面料属性。

目前,纺织领域的织物面料识别主要依靠人工触摸和观察织物外观(Magnenat-Thalmann,2010),受主观判断及检测人员的熟练度和长时间劳动负荷影响,识别准确率和效率较低。为此,Lai等人(2002)建立了KES-FB(Kawabata evaluation system for fabric)系统,测量出多达16种织物力学属性参数,但成本较高且测量出的参数包含许多冗余参数。为简化这些参数,Fan等人(1998)基于KES-FB系统(Lai等,2002)测量得到的织物物理属性,筛选出关键特征参数,训练卷积神经网络(convolutional neural network,CNN)实现织物识别。但由于使用KES-FB系统实验过程繁琐且设备昂贵,限制了其应用。随着纺织业快速发展,传统的织物面料识别已不能满足纺织业对劳动成本低、生产效率高的迫切需求。

采用先进的图像识别技术实现织物识别极大提高了生产效率,降低了劳动成本。Liu(2017)Sun等人(2011)采用图像处理方法提取织物图像的底层特征,结合面料属性提出织物图像识别方法,实现了织物面料的图像特征量化表示及识别,解决了织物图像自动识别问题,获得了较高的识别准确率,但尚有两个问题需要解决:1)该方法仅考虑了单一的面料属性和图像特征,未关联织物面料的视觉和触觉信息,导致识别准确率较低,不能较好满足实际应用需求;2)图像识别和分类方法有传统的机器学习和神经网络方法,如何选择织物参数学习方法直接关系到识别的准确率和效率。针对上述问题,本文选取包含棉、麻、羊毛和丝等常见的服用织物面料构建织物样本数据集,在此基础上,提出一种织物面料自动识别方法,提高了识别准确率,流程如图 1所示。首先,提出一种基于面料属性的织物图像测量方法,得到反映面料属性的恢复性、弯曲性和拉伸性等参数。然后,采用自制的触感传感器获得织物触感图像,输入CNN提取其底层特征,从而丰富织物面料的视觉特征。最后,通过CNN将面料属性与提取的底层特征进行参数学习,建立织物识别模型,实现织物面料的识别。

图 1 织物识别方法流程图
Fig. 1 Flowchart of cloth recognition method

本文主要贡献包括:1)针对不同织物具有的面料属性差异,提出图像的几何测量方法,利用形态学原理,完成反映织物面料属性的恢复性、弯曲性和拉伸性等参数的测量并进行参数建模,获得面料的几何度量,提高了后续识别的准确率;2)针对因单一面料属性和图像特征导致识别精度不高的问题,提出了织物面料的触觉感测方法,实现面料触感测量,并使用CNN对测量得到的触感图像进行特征提取;3)针对织物面料图像在视觉和触觉模态间不匹配的问题,基于面料的几何度量和提取的触感图像底层特征,采用CNN训练织物识别模型,筛选样本的特征,实现参数学习完成识别,在提高织物识别准确率的同时,提升织物识别的效率。

1 相关工作

特征提取是图像识别的关键过程之一,特征的精确性和鲁棒性直接影响识别的准确率。目前,大量研究侧重如何简单、精确地描述一幅图像,提出了能够描述图像的特征描述符,如尺度不变特征变换(scale-invariant feature transform,SIFT)(Lowe,2004)和局部二值模式(local binary pattern, LBP)(Ojala等,2002),广泛用于图像识别。区别于通用图像,不同织物面料具有不同的机械性能和触觉,包括织物的弯曲性、拉伸性、恢复性、粗糙和厚薄感等。例如,在相同的拉伸力下,丝巾比羊毛围巾会产生更大的形变,相机拍摄的丝巾和羊毛围巾的图像也存在差别。常用于通用图像的特征提取算法由于表述能力有限,在织物识别上往往有较大局限。为此,人们研究了多种方法提高织物识别的准确率。Liu(2017)提出通过提取织物图像的边缘特征来描述面料恢复性,能够较准确模拟着装中的面料恢复性,但受到织物颜色影响较大,导致应用受到限制。Sun等人(2011)提出通过修正小波系数定义新的参数来对织物褶皱程度分级,并采用支持向量机(support vector machine,SVM)分类器实现织物分类,但识别准确性很大程度上依赖褶皱等级分类。Xu等人(2018)采用稀疏编码的SIFT方法完成织物特性评估与分类,胡正等人(2013)采用Gabor特征实现图像识别,这两种方法与基于词袋特征(bag of feature,BOF)和空间金字塔匹配(spatial pyramid matching,SPM)(Yang等,2009)的方法相比,显著提高了识别准确率,但SIFT和Gabor特征需要在多尺度多方向上提取,导致训练时间较长,降低了识别效率。Wang等人(2011)Mishra等人(2017)刘骊等人(2015)选择织物的恢复性、拉伸性和弯曲性作为关键特征参数,用于数据驱动的织物建模和服装仿真领域。受上述方法启发,本文将恢复性、拉伸性和弯曲性作为区分织物面料的关键属性。

触觉感测最早由Allen(1984)提出,该方法首先提取视觉特征以形成面料的初始假设,再通过触觉传感器的测量数据来细化模型。由于建立的触觉传感器分辨率较低,对织物视觉特征的提取受到了一定的限制(Luo等,2015)。随着硬件条件的支持,Luo等人(2018)Yuan等人(2015)使用高分辨率的Gelshigt传感器来捕获织物面料中的颜色和纹理细节,融合视觉和触感数据重建和表示织物模型,表明通过视觉和触觉两种模态的特征可提高织物识别的准确性。为了解决织物识别方法中涉及的面料属性单一及面料属性与触感特征相分离的问题,受Luo等人(2018)Yuan等人(2017)方法的启发,针对服装常用面料织物,本文通过触觉传感器(Johnson和Adelson,2009Johnson等,2011)引入织物触感图像,并在Johnson和Adelson(2009)方法的基础上,自制了用于织物识别的触觉传感器。区别于上述方法,本文将图像测量获得恢复性、弯曲性和拉伸性等面料属性与触感图像的深度特征相结合,侧重面料属性本身来区分织物之间的差异。

随着深度学习的发展,出现了大量基于神经网络学习的织物识别方法。Fan等人(1998)采用反向传播(back propagation,BP)神经网络和数据降维的方法针对多种面料属性实现织物的识别。Yang等人(2017)Yuan等人(2018)提出基于CNN的织物识别,采用视频序列的方式,结合长短期记忆(long short term memory,LSTM)网络实现织物面料的识别。Yuan等人(2017)采用CNN将织物的触感图像与深度图像关联起来,丰富了织物的面料信息,提高了识别精度。Feng等人(2019)在CNN基础上提出CU-Net(component unmixing network)实现织物原料识别,与传统识别方法相比,实现了更高的精度。区别于传统的图像特征描述符,基于深度学习的方法通常构建非线性函数,通过多层网络进行参数学习,输出图像级别的特征,即得到输入图像的特征向量表示。所以相比于传统的织物识别方法,深度学习的方法在识别精度上有较大幅度的提升。然而,由于区别织物主要在于面料特有的多种机械性能和触觉特征,仅通过单一的图像级别特征很难描述织物的面料属性。充分利用织物图像与通用图像的区别可进一步提高织物图像识别的准确率。受Luo等人(2018)Yuan等人(2017)方法的启发,本文将面料属性与触觉感测相结合,通过图像测量对织物面料属性进行参数建模并获得面料的几何度量,采用参数学习将面料的几何度量与触感图像的特征向量进行匹配,提高了识别准确率。

2 面料属性

不同织物的面料属性各不相同,实现织物识别的重要步骤是度量织物之间的面料属性差异,而面料属性类型多样,选取能够表征织物的面料属性是识别问题的关键。

2.1 织物样本

织物真实的测量效果与面料的具体类别密切相关,织物面料决定了穿着时的视觉效果。本文基于不同的织物面料,合理选取用于实验的织物样本,主要针对常见织物面料进行选取,囊括了棉织物、麻织物、毛织物、丝绸织物和化纤织物(涤纶、氨纶)等常见服装面料的基本织物种类,同时考虑了衬衫、牛仔服、外套和裤子等生活中的日常穿搭,具有一定的代表性。另外,为更好地识别出相似的织物面料,还选取了相似的织物面料作为样本,例如细棉和粗棉、涤纶和氨纶等。图 2是遵循以上原则选取的用于图像测量的12种织物样本。其中,棉和麻等织物更容易产生褶皱,恢复性较差,但在拉伸性上呈现较好的效果,主要用于制作衬衫、牛仔服、裤子和裙子等;丝绸和化纤织物恢复性好,拉伸性大,与其他织物样本呈现的效果不同,主要用于制作连衣裙、衬衫、紧身衣、运动服和体操服等;毛织物较为硬挺,不易产生褶皱和拉伸,主要用于制作大衣和套头衫等。这些织物样本在恢复性、拉伸性和弯曲性等属性上呈现出明显差别及不同的服用性能,每种织物面料都有不同的用途,具有一定的概括性。

图 2 织物面料样本
Fig. 2 Samples of different cloth materials

2.2 图像测量

对织物样本进行图像测量是指从密度、宽高比和长度等方面对面料的恢复性、弯曲性和拉伸性等属性进行几何度量。测量设备主要包括数码相机和指针式拉力计。数码相机用于拍摄织物样本,拍摄时相机位置保持固定。指针式拉力计用于测量织物的拉伸性,最大测定范围为10 N(1 kgf),最小负载(精度)为0.05 N(5 gf)。实验中的织物采样样本分别按经向、纬向裁剪为200 mm × 200 mm的标准大小。织物面料的恢复性、弯曲性和拉伸性测量示意如图 3所示。

图 3 图像测量示例
Fig. 3 Example for images measurement((a) recovery measurement; (b) stretching measurement; (c) bending measurement)

2.2.1 恢复性

为了测量织物的恢复性,将织物样本揉成一团后展开,水平放置在桌面上,用数码相机沿俯视角度拍照获取图像。受刘骊等人(2015)对恢复性测量的启发,褶皱密度$r$计算为

$ r = \frac{{{w_n}}}{s} \times 100{\rm{\% }} $ (1)

式中,${{w_n}}$为织物图像中褶皱像素点数量,$s$为图像所有像素点数量。为了减少误差,每种织物重复进行10次实验,并记录测量数据。

2.2.2 弯曲性

弯曲性测量是将织物平整展开放于桌面,并对其施加外力,使面料产生弯曲形成一定的高度,在侧面拍照获得弯曲后的图像,然后用MATLAB工具测量弯曲的高度和底部宽度。受刘骊等人(2015)对弯曲性测量的启发,织物弯曲性具体计算为

$ b = \frac{h}{w} $ (2)

式中,$h$为织物拱面的高度,$w$为织物拱面底部的宽度。为了减少误差,每种织物重复测量10次,并记录测量数据。

2.2.3 拉伸性

受到织物的相框测试(Lomov等,2005)方法的启发,拉伸性测量的主要思想如下:在织物样本画上标记,拍下未拉伸前样本图像;固定织物样本的三个角,用1 N的拉力沿标记线对角线方向拉剩下的一个角;以俯视角度,拍下拉伸后的样本图像。用MATLAB工具测量实验前后对角线拉伸长度,受刘骊等人(2015)对拉伸性测量的启发,织物拉伸性具体计算为

$ t = {S_1} - {S_2} $ (3)

式中,${S_1}$${S_2}$分别是拉伸前和拉伸后的对角线长度。为了减少误差,对每个织物样本重复拉伸10次,并记录测量数据。

增加测量样本数量及重复次数能够提高测量数据接近客观真实织物的准确性。为简化实验的复杂度,每种织物设置5个样本,每种样本的恢复性、弯曲性和拉伸性测量均进行10次,且每种样本实验重复10次(10次后再增加测量次数对后续的回归拟合结果影响不大),获得了1 050次重复测量织物面料属性的测量数据。

2.2.4 参数建模

为了消除图像测量产生的误差,对获得的不同面料属性的测量数据进行参数化回归建模。

首先,进行面料数据的标准化度量,将每种面料属性度量为

$ \left\{ {\begin{array}{*{20}{l}} {{P^{\rm{r}}} = \frac{1}{{10}}\sum\limits_{k = 1}^{10} {r_i^k} }\\ {{P^{\rm{b}}} = \frac{1}{{10}}\sum\limits_{k = 1}^{10} {b_i^k} }\\ {{P^{\rm{t}}} = \frac{1}{{10}}\sum\limits_{k = 1}^{10} {t_i^k} } \end{array}} \right. $ (4)

式中,${P^{\rm{r}}}, {P^{\rm{b}}}, {P^{\rm{t}}}$分别是织物的恢复性、弯曲性和拉伸性的平均值。$i$$k$分别表示织物样本和测量次数,$i$ =1, 2, …, 12,$k$ =1, 2, …, 10。

其次,利用最大最小归一化处理织物样本测量数据,将数据转换到0~1范围。通过归一化处理,织物样本的数据为

$ \left\{ \begin{array}{l} {P^{{\rm{r}}\prime }} = \frac{{{P^{\rm{r}}} - P_{{\rm{min}}}^{\rm{r}}}}{{P_{\max }^{\rm{r}} - P_{{\rm{min}}}^{\rm{r}}}}\\ {P^{{\rm{b}}\prime }} = \frac{{{P^{\rm{b}}} - P_{{\rm{min}}}^{\rm{b}}}}{{P_{\max }^{\rm{b}} - P_{\min }^{\rm{b}}}}\\ {P^{{\rm{t}}\prime }} = \frac{{{P^{\rm{t}}} - P_{{\rm{min}}}^{\rm{t}}}}{{P_{{\rm{max}}}^{\rm{t}} - P_{\min }^{\rm{t}}}} \end{array} \right. $ (5)

式中,${P_{{{\max }^{\rm{r}}}}} = \max \left\{ {{P^{\rm{r}}}} \right\}, {P_{{{\min }^{\rm{r}}}}} = \min \left\{ {{P^{\rm{r}}}} \right\}, i = 1, 2, \cdots, 12, k = 1, 2, \cdots 10$。同理可得$P_{\max }^{\rm{r}}和P_{\max }^{\rm{b}}和P_{{\rm{max}}}^{\rm{t}}$的测量数据。

然后,将得到的标准测量数据按升序排序,建立织物样本的非线性回归模型,定义二次多项式回归模型为

$ y = {\beta _0} + {\beta _1}x + {\beta _2}{x^2} + \varepsilon $ (6)

式中,$x$为织物测量数据,$y$为织物样本编号,$β$为待定系数。基于标准化测量数据,通过二次多项式回归模型,得到了逼近真实数值的面料属性的几何度量。图 4给出了12种织物样本的面料属性几何度量数据与面料恢复性、拉伸性和弯曲性的回归拟合关系。

图 4 织物几何度量数据与面料属性的回归拟合关系
Fig. 4 Regression fitting relationship between geometric measurement data and fabric properties
((a) recovery; (b) bending; (c) stretching)

最后,将建模得到的织物面料属性的几何度量与触感图像的特征向量进行参数学习。

3 触觉感测

3.1 触感测量

本文自制了用于织物识别的简易触觉传感器,由标记有点网格的透明橡胶摄像头、导光板和发光二极管(light emitting diode,LED)光源组成。触觉感测工作方式为:当物体压在透明橡胶上时,橡胶变形,呈现织物表面的形状,发光二极管从不同方向通过导光板照射到橡胶表面,由摄像头记录橡胶变形。如图 5所示。

图 5 触觉感测示意图
Fig. 5 Tactile sensing diagram
((a) fabric tactile sensing; (b) different measurement results)

3.2 特征提取

传统特征提取方法通常采用手动提取图像底层特征,例如SIFT、HOG(histogram of oriented gradient)和LBP特征,选择何种特征进行识别需要人为的反复实验来决定。由于从繁多的底层特征中筛选真正起作用的特征非常耗费时间,从而降低了识别效率。为此,本文采用CNN根据图像特点自适应地提取特征。由于传统的AlexNet(Krizhevsky等,2012)网络的卷积层和池化层数量过多导致运行效率不高,且最后输出的特征向量维度过大不利于与面料属性的几何度量进行参数学习,故本文在AlexNet网络的基础上改变了网络的层数和超参数文件,以此来实现CNN完成特征提取,该网络包括3个卷积层、3个池化层和3个全连接层,各层参数如表 1所示。

表 1 网络各层参数
Table 1 Layer parameters of network

下载CSV
层数 类型 卷积核大小(数量/个)
1 卷积层1 7×7核(32)
2 池化层2 3×3核(1)
3 卷积层3 5×5核(64)
4 池化层4 3×3核(1)
5 卷积层5 3×3核(128)
6 池化层6 3×3核(1)
7 全连接层7 1×1核(1)
8 全连接层8 1×1核(1)
9 全连接层9 1×1核(1)

为防止过拟合,网络dropout参数设置为0.5,即随机去掉50%的节点来增强神经网络的泛化能力,采用交叉验证的方法来处理过拟合。设置网络的学习率为0.001,批处理数量为128,迭代次数为50,全连接层9输出维数根据织物类别数设置为12,损失函数选择多类模式的分类交叉熵损失函数(categorical crossentropy),采用梯度下降进行优化。AlexNet网络的时间复杂度为$O\left({\sum\limits_{l = 1}^A {M_l^2} S_l^2{C_{l - 1}}{C_l}} \right)$,其中,$l$表示神经网络的第$l$层卷积层,$A$表示神经网络具有的卷积层数,即网络深度,$M$表示每层输出特征图的边长,$S$表示每层卷积核的边长,${C_l}$表示本层卷积核个数,${C_{l - 1}}$表示上层卷积核个数。

经过卷积操作后,通过卷积层和池化层从触感图像中提取出维数越来越大的底层特征图像,如图 6所示。但是这种特征图像相对粗糙,为了增强底层特征的鲁棒性,在每层卷积层之后加上池化层,经过后续池化层处理后,有效降低了底层特征图像维度,提高了特征图像的泛化能力,最终在全连接层7输出低维特征向量。

图 6 神经网络提取的底层特征
Fig. 6 Low features extracted by neural networks

4 织物识别

4.1 识别模型

区别于Luo等人(2018)的方法,本文基于面料的恢复性、拉伸性和弯曲性的几何度量和触感图像特征向量进行参数学习来降低识别特征的维度,通过在CNN全连接层$F{c_7}$后添加深度最大协方差分析(deep maximum covariance analysis,DMCA),从而建立识别模型来关联面料测量数据的几何度量和触感图像特征向量,以实现织物识别,如图 7所示。以羊毛面料的识别过程为例,识别模型的两种输入分别是羊毛通过图像测量后参数建模得到的几何度量和羊毛触感图像的特征向量,两者通过DMCA进行参数学习,得到视觉和触感两种模态的共享表示,替换原来的CNN全连接层$F{c_7}$单一输出向量,其他层沿用原有的CNN,最后全连接层9输出识别结果。

图 7 织物识别模型
Fig. 7 Cloth recognition model

4.2 参数学习

为解决图像测量数据的几何度量与触感图像特征向量相分离造成的识别准确率不高的问题,本文在织物识别模型中采用DMCA参数学习模块,通过对图像测量数据的几何度量和$F{c_7}$层输出特征向量进行参数学习,将其映射到低维共同表示空间。由于本文中织物的几何度量和触感图像特征向量属于弱配对,因此采用Kroemer等人(2011)提出的最大协方差分析(maximum covariance analysis,MCA)方法的变体——深度最大协方差分析(DMCA)解决这一问题。以羊毛织物的参数学习为例,设定其面料测量的几何度量组成的向量为${\mathit{\boldsymbol{E}}} = \left\{ {{x_1}, {x_2}, \cdots, {x_n}} \right\} \in {{\bf{R}}^n}$,其中${{x_n}}$表示某种面料属性,即恢复性、拉伸性和弯曲性中的某一类属性。设定羊毛面料的触感图像深度特征向量为${\mathit{\boldsymbol{E}}} = \left\{ {{x_1}, {x_2}, \cdots, {x_n}} \right\} \in {{\bf{R}}^n}$,其中${{x_n}}$表示某一特征向量元素。两者通过投影矩阵和配对矩阵求解奇异值分解问题进行参数学习,计算为

$ \left({{{\mathit{\boldsymbol{W}}}^*}, {{\mathit{\boldsymbol{W}}}^{\prime *}}, {{\mathit{\boldsymbol{I}}}^*}} \right) = \mathop {\arg \max }\limits_{{\mathit{\boldsymbol{W}}}, {{\mathit{\boldsymbol{W}}}^\prime }, {\mathit{\boldsymbol{I}}}} {\mathop{\rm tr}\nolimits} \left[ {{{\mathit{\boldsymbol{W}}}^{\rm{T}}}{\mathit{\boldsymbol{EI}}}{{\mathit{\boldsymbol{E}}}^{\prime {\rm{T}}}}{{\mathit{\boldsymbol{W}}}^\prime }} \right] $ (7)

式中,$\mathit{\boldsymbol{E}}$${\mathit{\boldsymbol{E'}}}$表示两种模态输入的特征向量,${\mathit{\boldsymbol{W}}}$${{{\mathit{\boldsymbol{W}}}^\prime }}$表示各自的投影矩阵,$\mathit{\boldsymbol{I}} \in {\left\{ {0, 1} \right\}^{n \times n'}}$表示只包含0或1的配对矩阵,${\mathit{\boldsymbol{I}}_{i, j}} = 1$表示第$i$个模态数据与第$j$个另一模态数据完成匹配, ${{{\mathit{\boldsymbol{W}}}^*}, {{\mathit{\boldsymbol{W}}}^{\prime *}}, {{\mathit{\boldsymbol{I}}}^*}}$表示各自的伴随矩阵。

对式(7)中的${\mathit{\boldsymbol{W}}}$${{{\mathit{\boldsymbol{W}}}^\prime }}$进行连续优化,假设$\mathit{\boldsymbol{I}}$已知,将式(7)变为

$ \left({{{\mathit{\boldsymbol{W}}}^*}, {{\mathit{\boldsymbol{W}}}^{\prime *}}} \right) = \mathop {\arg \max }\limits_{{\mathit{\boldsymbol{W}}}, {{\mathit{\boldsymbol{W}}}^\prime }} {\mathop{\rm tr}\nolimits} \left[ {{{\mathit{\boldsymbol{W}}}^{\rm{T}}}{\mathit{\boldsymbol{EI}}}{{\mathit{\boldsymbol{E}}}^\prime }{{\mathit{\boldsymbol{W}}}^\prime }} \right] $ (8)

然后假设${\mathit{\boldsymbol{W}}}$${{{\mathit{\boldsymbol{W}}}^\prime }}$已知,则式(7)变为

$ {{\mathit{\boldsymbol{I}}}^*} = \arg \mathop {\max }\limits_\mathit{\boldsymbol{I}} {\mathop{\rm tr}\nolimits} \left[ {{{\mathit{\boldsymbol{W}}}^{\rm{T}}}{\mathit{\boldsymbol{EI}}}{{\mathit{\boldsymbol{E}}}^{\prime {\rm{T}}}}{{\mathit{\boldsymbol{W}}}^\prime }} \right] $ (9)

经过计算, 得到面料几何度量数据和触感图像特征向量的最终共享表示空间。DMCA算法的时间复杂度为${\rm{O}}\left({\min \left({\left\{ {n{{n'}^2}, {n^2}n'} \right\}} \right)} \right)$,其中,$n$${n'}$分别表示配对矩阵${\mathit{\boldsymbol{I}}}$的行列大小。

本文算法的具体步骤如下:

1) 对图像测量数据进行最大最小归一化处理和二次回归建模,通过式(5)和式(6)得到面料属性的几何度量;

2) 通过调整超参数的AlexNet网络对织物触感图像进行特征提取,得到$F{c_7}$输出的深度底层特征;

3) 将面料属性的几何度量和深度底层特征通过DMCA模块进行参数学习,通过式(8)和式(9)得到两种数据的共享表示空间,替换原来$F{c_7}$单一特征向量,最终由AlexNet网络层9输出识别结果。

5 实验结果和分析

5.1 实验数据集

实验硬件平台选用CPU Intel Core i9 9900K、GPU 2080TI 11 GB和32 GB内存,在Windows 10系统下MATLAB R2017a和PyCharm Professional 2018版本进行测试,所有实验在统一环境进行。

针对目前织物样本数据集中只包含少量织物种类,不能概括大部分日常的织物面料的情况,本文构建了两个织物面料样本数据集,一个用于面料属性测量的织物图像数据集,包含粗棉、细棉和帆布等12种织物类型的恢复性、拉伸性和弯曲性图像,每种织物设置3个样本,每个样本3种类型图像各10幅,共1 080幅图像。另一个是织物触感图像数据集,本文用到12种织物类型,每种类型500幅图像,共6 000幅图像。为保证识别方法的实用性,实验均选取常见用于服装面料的织物图像,每幅图像大小全部设置为227 × 227像素。

5.2 实验结果和性能分析

5.2.1 识别准确率和效率分析

由于传统织物图像识别方法未考虑关联面料属性和触觉感测以提升识别的准确率, 为验证本文方法的有效性,本文对比了仅采用单一面料属性(恢复性、弯曲性和拉伸性)、3种面料属性以及3种面料属性结合触觉感测通过参数学习后进行织物识别的准确率,如图 8所示。结果表明,结合面料属性和触觉感测的方法能够有效提升织物图像识别的准确率。

图 8 不同参数学习的识别准确率对比
Fig. 8 Comparison of the recognition accuracy for different parameter learning

此外,本文进一步验证加入几何度量参数建模后对后续识别准确率的影响,如表 2所示。结果表明,通过几何度量的参数建模会消除由图像测量带来的误差,使得测量值无限逼近真实值,从而提高后续的识别准确率。

表 2 几何度量参数建模对准确率的影响
Table 2 Effect of geometric metric parameter modeling on accuracy

下载CSV
方法 准确率/%
未使用参数建模 82
使用了参数建模 89.5
注:加粗字体表示最优值。

CNN训练完成的判定指标是准确率和损失函数值是否趋于收敛。图 9给出了CNN的损失函数值和准确率随迭代次数变化的过程。从图 9可以看出,随着迭代次数的增加,损失函数值逐渐下降,准确率不断上升,当迭代次数达到39次之后,损失函数值趋于收敛,织物识别的准确率达到最高并趋于平缓,表示网络训练完成。

图 9 迭代次数的影响
Fig. 9 Effect of iterations number

网络训练完成后,进一步分析本文选用的12种织物面料识别的准确率和效率,结果如表 3所示。由表 3可以看出,粗棉、雪纺和羊毛的识别准确率较高,其他面料可能由于图像特征的区分度不够导致与3种面料属性匹配率不高,但总体识别准确率均在82%以上。在运行时间方面,不同面料之间的差距较小。

表 3 不同面料识别的准确率和效率
Table 3 Accuracy and efficiency of different fabric identification

下载CSV
面料种类 准确率/% 时间/s
细棉 87.1 2.02
粗棉 92.1 2.25
帆布 82.3 1.89
亚麻 90.6 1.94
苎麻 90.8 1.93
丝绸 91.3 2.60
雪纺 92.1 2.28
氨纶 90.3 2.30
涤纶 89.7 2.51
尼龙 85.0 2.32
羊毛 92.2 2.63
天鹅绒 90.7 2.68
注:加粗字体表示每列最优值。

表 4是模型在不同学习率下的准确率和训练时间。可以看出,学习率设置过高时没有出现结果,原因是损失函数值震荡不衰减,增加了时间成本。学习率设置过低会导致损失梯度下降缓慢,增加了时间成本。学习率设置为0.001时,准确率和效率都达到最佳水平。

表 4 模型在不同学习率下的表现
Table 4 Performance comparison in different learning rates

下载CSV
学习率 准确率/% 时间/s
0.01
0.005 83.372 2 187
0.001 89.516 2 862
0.000 1 86.368 3 617
注:“—”表示未检测出结果,加粗字体表示每列最优值。

5.2.2 织物识别结果分析

不同面料识别的运行效率差别不大,但准确率有较大差别。图 10图 11分别是羊毛和帆布两种面料的特征向量和参数学习后的共同表示空间柱形图,其中羊毛的识别准确率最高,而帆布的识别准确率最低。可以看出,帆布面料触感图像提取出来的触感特征向量相比羊毛面料波动很小,导致参数学习后得到的共同表示空间更加平缓,所以准确率比其他面料相对要低,相反羊毛面料由于材质的特殊性,在触感传感器下呈现的触感图像信息丰富,其特征向量波动大,参数学习后的共同表示空间相比帆布面料表现对比强烈,因此在12种面料里准确率最高。

图 10 羊毛的特征向量和共同表示柱形图
Fig. 10 Feature vector and co-representation column chart of wool
((a)wool; (b)feature vector; (c)co-representation column chart)
图 11 帆布的特征向量和共同表示柱形图
Fig. 11 Feature vector and co-representation column chart of canvas
((a)canvas; (b)feature vector; (c)co-representation column chart of canvas)

5.2.3 识别对比分析

为了更好地说明本文方法的性能,将本文方法与目前织物识别效果较理想的Sun等人(2011)的方法、SC(sparse coding)+SVM(Xu等,2018)方法、Yang等人(2017)的方法和Feng等人(2019)的方法在准确率和效率两方面进行对比,结果如表 5所示。

表 5 几种算法的准确率和效率对比
Table 5 Comparison of accuracy and efficiency of several algorithms

下载CSV
方法 准确率/% 时间/s
Sun等人(2011) 73.3 2.26
SC + SVM 82.7 3.20
Yang等人(2017) 84.0 -
Feng等人(2019) 74.0 <1
本文 89.5 2.42
注:“-”表示未检测出结果,加粗字体表示每列最优值。

在准确率方面,Sun等人(2011)的方法通过修正的小波系数对织物褶皱程度定义新的参数来实现识别,但过分依赖织物表面纹理,因此对噪声敏感,准确率表现一般;Yang等人(2017)的方法通过CNN和LSTM方法对织物视频序列实现织物识别,准确率为84%;Feng等人(2019)的方法通过使用多个分支神经网络结合约束损失的方法实现对多标签的织物图像识别,准确率为74%;SC + SVM(Xu等,2018)方法通过稀疏编码的SIFT算子结合SVM分类器克服了识别中适应性差的缺点,准确率达到82.7%;本文结合面料属性和触觉感测,克服面料单一特征表示,准确率为89.5%,比SC+SVM(Xu等,2018)方法提高了8%。显然,与同类任务比较,本文方法具有较高的准确率。

在效率方面,SC+SVM(Xu等,2018)方法采用SIFT在多尺度上提取图像特征,在时间效率上比Sun等人(2011)的方法略差;而Yang等人(2017)的方法通过对织物视频序列实现织物识别,花费时间过长,未检测出结果;Feng等人(2019)的方法使用约束损失的方法大幅提高了效率,时间效率最佳,时间花费小于1 s;本文方法因要完成特征与面料属性的匹配,在时间花费上比Sun等人(2011)Feng等人(2019)的方法略高,时间效率排在第3位。

综上所述,本文方法准确率方面具有较大优势,而在时间效率方面不是很理想。因此在追求准确率的应用方面具有一定的可用性。

本文通过图像测量得到最能反映面料属性的几何度量模型,形成了一套客观、合理、简易的面料描述体系,而与织物触感图像得到的特征向量进行参数学习进一步提升了识别准确率。本文方法与基于测量的织物识别方法的比较结果如表 6所示。其中,测量实验环境的成本、复杂性和效率按高、中、低3个等级指标进行评价。成本指标高、中、低的设定与设备的易得性和价格相关,高于10 000元人民币为高、5 000~10 000元人民币为中、低于5 000元人民币为低;复杂性高、中、低的设定与织物识别方法中的参数设置数量有关,大于等于9个参数为高、4~8个参数为中、小于等于3个参数为低;运行效率高、中、低的设定与时间有关,少于3 s为高、3~6 s为中、多于6 s为低。

表 6 本文方法与基于测量的织物识别方法比较
Table 6 Comparison between measurement-based fabric recognition methods and ours

下载CSV
方法 数据源 成本 复杂性 效率 样本 测量次数
Liu(2017) 物理测量、图像测量 48 5 760
Song等人(2014) 图像测量 6 6 000
本文 图像测量 12 3 600

6 结论

针对目前织物识别依赖面料单一特征造成的识别率低的问题,本文通过学习和总结织物图像识别方法,以构建的12种常见织物的数据集为例,提出了一种结合面料属性和触觉感测的织物图像识别方法,即通过对织物进行图像和触感测量,获得织物两种模态的面料属性,并提取织物触感图像的底层特征,采用参数学习实现织物两种模态信息的共享表示,代替原来单一面料属性表示,输出更准确的识别结果,平均识别率达到89.5%,相比只通过单一属性的织物图像识别方法有了较大幅度的提升。在时间性能方面也优于当前先进的织物图像识别方法。

本文通过面料属性结合触觉感测识别织物图像,区别于通用图像的识别方法,采用图像测量的方式获取多种织物面料属性,与现有方法中获取织物单一面料属性不同,通过拉力计实验等方式得到织物的恢复性、弯曲性和拉伸性等属性参数,过程相对繁琐,但提升了对面料属性的认知维度,从而提高了准确率。本文方法还有以下问题值得探讨:1)织物图像测量样本较少导致织物属性的几何度量误差,影响了后续的准确率;2)图像测量数据维度不高,影响了与触感特征向量的匹配程度;3)如何降低实验设置的复杂性,增强简便性和可操作性,以便今后实际应用的推广。后续工作将着重围绕这些问题展开,进一步提高各种织物面料类型的识别准确率和效率。

参考文献

  • Allen P. 1984. Surface descriptions from vision and touch//Proceedings of 1984 IEEE International Conference on Robotics and Automation. Atlanta, GA, USA: IEEE: 394-397[DOI:10.1109/ROBOT.1984.1087191]
  • Fan K C, Wang Y K, Chang B L, Wang T P, Jou C H, Kao I F. 1998. Fabric classification based on recognition using a neural network and dimensionality reduction. Textile Research Journal, 68(3): 179-185 [DOI:10.1177/004051759806800305]
  • Feng Z L, Liang W X, Tao D C, Sun L, Zeng A X, Song M L. 2019. CU-Net:component unmixing network for textile fiber identification. International Journal of Computer Vision, 127(10): 1443-1454 [DOI:10.1007/s11263-019-01199-9]
  • Hu Z P, Xu B, Bai Y. 2013. Sparse representation for image recognition based on Gabor feature set and discriminative dictionary learning. Journal of Image and Graphics, 18(2): 189-194 (胡正平, 徐波, 白洋. 2013. Gabor特征集结合判别式字典学习的稀疏表示图像识别. 中国图象图形学报, 18(2): 189-194) [DOI:10.11834/jig.20130209]
  • Johnson M K and Adelson E H. 2009. Retrographic sensing for the measurement of surface texture and shape//Proceedings of 2009 IEEE Conference on Computer Vision and Pattern Recognition. Miami: IEEE: 1070-1077[DOI:10.1109/CVPR.2009.5206534]
  • Johnson M K, Cole F, Raj A, Adelson E H. 2011. Microgeometry capture using an elastomeric sensor. ACM Transactions on Graphics, 30(4) [DOI:10.1145/1964921.1964941]
  • Krizhevsky A, Sutskever I and Hinton G E. 2012. Imagenet classification with deep convolutional neural networks//Proceedings of the 25th International Conference on Neural Information Processing Systems. Lake Tahoe: ACM: 1097-1105[DOI:10.5555/2999134.2999257]
  • Kroemer O, Lampert C H, Peters J. 2011. Learning dynamic tactile sensing with robust vision-based training. IEEE Transactions on Robotics, 27(3): 545-557 [DOI:10.1109/TRO.2011.2121130]
  • Liu C X. 2017. Investigation on the novel measurement for fabric wrinkle simulating actual wear. The Journal of the Textile Institute, 108(2): 279-286 [DOI:10.1080/00405000.2016.1165384]
  • Liu L, Wang R M, Luo X N. 2015. Realistic cloth simulation based on geometrical measurement and deformation. Journal of Software, 26(7): 1785-1799 (刘骊, 王若梅, 罗笑南. 2015. 基于几何测量和变形的真实感织物模拟. 软件学报, 26(7): 1785-1799) [DOI:10.13328/j.cnki.jos.004614]
  • Lomov S V, Barburski M, Stoilova T, Verpoest I, Akkerman R, Loendersloot R, Ten Thije R H W. 2005. Carbon composites based on multiaxial multiply stitched preforms. Part 3:biaxial tension, picture frame and compression tests of the preforms. Composites Part A:Applied Science and Manufacturing, 36(9): 1188-1206 [DOI:10.1016/j.compositesa.2005.01.015]
  • Lowe D G. 2004. Distinctive image features from scale-invariant keypoints. International Journal of Computer Vision, 60(2): 91-110 [DOI:10.1023/b:visi.0000029664.99615.94]
  • Luo S, Mou W X, Althoefer K and Liu H B. 2015. Localizing the object contact through matching tactile features with visual map//Proceedings of 2015 IEEE International Conference on Robotics and Automation (ICRA). Seattle: IEEE: 3903-3908[DOI:10.1109/ICRA.2015.7139743]
  • Luo S, Yuan W Z, Adelson E, Cohn A G and Fuentes R. 2018. Vitac: feature sharing between vision and tactile sensing for cloth texture recognition//Proceedings of 2018 IEEE International Conference on Robotics and Automation (ICRA). Brisbane: IEEE: 2722-2727[DOI:10.1109/ICRA.2018.8460494]
  • Magnenat-Thalmann N. 2010. Modeling and Simulating Bodies and Garments. London: Springer[DOI:10.1007/978-1-84996-263-6]
  • Mishra R, Jamshaid H, Militky J. 2017. Investigation of mechanical properties of basalt woven fabrics by theoretical and image analysis methods. Fibers and Polymers, 18(7): 1369-1381 [DOI:10.1007/s12221-017-1082-0]
  • Ojala T, Pietikäinen M, Mäenpää T. 2002. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns. IEEE Transactions on Pattern Analysis and Machine Intelligence, 24(7): 971-987 [DOI:10.1109/tpami.2002.1017623]
  • Lai S, Shyr T W, Lin J. 2002. Comparison between KES-FB and FAST in discrimination of fabric characteristics. Journal of Textile Engineering, 48(2): 43-49 [DOI:10.4188/jte.48.43]
  • Song A G, Han Y Z, Hu H H, Li J Q. 2014. A novel texture sensor for fabric texture measurement and classification. IEEE Transactions on Instrumentation and Measurement, 63(7): 1739-1747 [DOI:10.1109/TIM.2013.2293812]
  • Sun J J, Yao M, Xu B G, Bel P. 2011. Fabric wrinkle characterization and classification using modified wavelet coefficients and support-vector-machine classifiers. Textile Research Journal, 81(9): 902-913 [DOI:10.1177/0040517510391702]
  • Wang H M, O'Brien J F, Ramamoorthi R. 2011. Data-driven elastic models for cloth:modeling and measurement. ACM Transactions on Graphics, 30(4) [DOI:10.1145/2010324.1964966]
  • Xu P H, Ding X M, Wu X Y, and Wang R W. 2018. Characterization and assessment of fabric smoothness appearance based on sparse coding. Textile Research Journal, 88(4): 367-378 [DOI:10.1177/0040517516679148]
  • Yang J C, Yu K, Gong Y H and Huang T. 2009. Linear spatial pyramid matching using sparse coding for image classification//Proceedings of 2009 IEEE Conference on Computer Vision and Pattern Recognition. Miami: IEEE: 1794-1801[DOI:10.1109/CVPR.2009.5206757]
  • Yang S, Liang J B and Lin M C. 2017. Learning-based cloth material recovery from video//Proceedings of 2017 IEEE International Conference on Computer Vision. Venice: IEEE: 4393-4403[DOI:10.1109/ICCV.2017.470]
  • Yuan W Z, Li R, Srinivasan M A and Adelson E H. 2015. Measurement of shear and slip with a GelSight tactile sensor//Proceedings of 2015 IEEE International Conference on Robotics and Automation (ICRA). Seattle: IEEE: 304-311[DOI:10.1109/ICRA.2015.7139016]
  • Yuan W Z, Mo Y C, Wang S X and Adelson E H. 2018. Active clothing material perception using tactile sensing and deep learning//Proceedings of 2018 IEEE International Conference on Robotics and Automation (ICRA). Brisbane: IEEE: 4842-4849[DOI:10.1109/ICRA.2018.8461164]
  • Yuan W Z, Wang S X, Dong S Y and Adelson E. 2017. Connecting look and feel: associating the visual and tactile properties of physical materials//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu: IEEE: 4494-4502[DOI:10.1109/CVPR.2017.478]