近年来，家居服务机器人引起广泛关注，其中扫地机器人是最早实现产业化，且已经广泛进入消费市场的产品。目前市面上的扫地机器人虽然具备了路径规划、自动充电和避障等基本功能，但智能化程度不高，主要体现在两个方面：一是缺乏对环境的高层感知与判别能力，例如清扫过程中通常为随机游走模式，虽然可加入简单的路径规划功能^[1]，但是总的来说，清扫过程具有盲动性，无论工作路径中是否有垃圾需要处理，都会执行清扫行为，因此工作效益和效率较低，同时大大增加了不必要的工作能耗。二是不具备对垃圾进行分类辨别、按类处理的能力。事实上，不同类别的垃圾应采取不同的处理方式，实现按类处理，有利于垃圾按类分拣，满足环保要求，同时能够大大增强扫地机器人的清扫能力。

为解决上述问题，一种可行的方案是为扫地机器人配备视觉传感器^[2]，使其获得视觉感知能力^[3]，利用检测分类模型与算法，实现对垃圾的自动定位与识别^[4-5]，引导扫地机器人进行智能化的自主清扫，从而大大提高工作的目的性和效率，避免盲动和减少能耗。要达到上述目的，实现垃圾准确检测与分类是必须解决的关键问题。

目前，围绕扫地机器人自主进行垃圾检测与分类开展的工作尚未见有公开报道。垃圾检测与分类属于计算机视觉领域的物体检测与分类问题。在物体检测领域，近年来常用基于手工设计具有不变性的局部特征描述方法^[6](例如经典的SIFT(scale-invariant feature transform)^[7]、SURF(speeded up robust features)^[8]、ORB(oriented fast and rotated brief)^[9]、HOG(histogram of oriented gridients)^[10]等描述算子)处理遮挡、复杂背景等问题。但是手工设计特征鲁棒性差，算法适应性不强。采用基于深度学习的卷积神经网络(CNN)^[11-12]方法可以较大幅度提升目标检测的性能^[13]。早期Girshick等人^[14]提出的Region-CNN(R-CNN)采用区域候选方法实现目标检测，但主要问题是每一个region proposal都需要输入到CNN中进行计算，导致计算量很大。为了提高效率，在R-CNN基础上，Girshick^[15]提出了Fast Region-CNN(Fast R-CNN)，成功解决了R-CNN重复计算问题。同时，通过微调候选框位置，其训练和测试时间都得到了提升；随后Ren等人^[16]提出了Faster Region-CNN(Faster R-CNN)，引入RPN(region proposal network)网络提取proposal，真正实现了端到端的网络学习，但在速度上仍然无法满足实时的要求。为了实现实时检测，Redmon等人^[17]提出基于回归的YOLO(you only look once)模型，将分类和定位两个任务统一到同一个网络，具有实时检测能力，但准确性低于Fast R-CNN与Faster R-CNN。同年Liu等人^[18]提出SSD(single shot multibox detector)，该方法结合了YOLO的回归思想和Faster R-CNN的anchor机制，同时兼顾了速度和准确率。而Redmon等人^[19]在原有的YOLO基础上提出改进的YOLOv2(you only look once version 2)，在YOLO的基础上进一步提高了检测精度，在PASCAL VOC2007数据集上准确率达到76.8%，并且在Geforce GTX Titan X上达到67帧/s。上述网络模型随着网络的加深，数据信息在经过多层网络之后很有可能逐渐消失，且梯度消失问题会越来越明显。为了实现多层的特征重复利用，缓解梯度消失问题，本文在YOLOv2的基础上，结合密集连接卷积网络^[20]改进现有YOLOv2模型，有望进一步提升网络性能。

为解决家居环境下垃圾快速、高精度检测问题，本文选择基于回归方法中检测速度快的YOLOv2网络。通过结合密集连接卷积网络(densenet)，提出了改进的YOLOv2-dense网络结构，同时采用数据增强和多尺度训练策略，提高了检测的准确率，达到了实时的检测速度。本文研究结果可望为研制强智能扫地机器人提供技术支持，提升未来扫地机器人的智能化程度。

家居环境中的垃圾种类非常多，颜色、形状、尺寸差异大，如何合理分类是实现机器人智能作业的一个前提条件。为了简化问题，便于扫地机器人的功用实现，本文按照形态、体积大小等因素，选择了生活中最常见的25类垃圾进行研究，采集了25类垃圾不同环境下的样本图片。

常见垃圾按照形态可分为固体和液体两大类，固体类垃圾按照体积大小采取两种处理方式：1)清扫处理模式。该模式针对7类小体积物体，包括果壳、卫生纸、纸屑以及其他小型物体类。2)抓取处理模式。该模式针对9类大体积物体，包括易拉罐、废纸团、瓶子、包装袋、纸盒、纸杯、塑料杯和塑料袋等。固体类垃圾分类示意图如图 1所示。

液体类垃圾按照处理方式分为两大类：1)擦除处理模式。该模式针对透明液体如酒水，以及非透明物体包括牛奶、橙汁、西瓜汁、可乐以及其他有颜色饮料共6类。2)高温蒸汽加擦除处理模式。该模式针对污渍如墨汁、油渍等共3类。其中透明类液体附着在地面上，由于透明、形状不确定，特征提取困难，识别难度大。液体类垃圾分类示意图如图 2所示。

由于没有公开的数据集，实验所用数据是在实际家居环境中通过摄像头获取和整理的，包括视频和单张图片。视频图片中通常包含不同的物体，从中抽取了1 241张图片样本；而单张图片通常只包含一类物体，从中抽取了1 133张图片样本。采集过程考虑了角度、视角、距离、光照等多种可能情况的影响。实验采集的各类垃圾样本图片的示例如图 3所示。

为了增加网络训练的样本规模，对现有样本进行扩充，实验使用Keras提供的图像数据增强工具ImageDataGenerator对训练样本进行了水平镜像翻转、随机旋转、裁切、缩放等处理，最后得到5 440张图片，其中80%作为训练集，20%作为测试集。数据增强处理示例如图 4所示。对所有增强后的图片均使用LabelImg工具标注了真实垃圾物体的矩形区域坐标，生成并保存了对应图片中垃圾的坐标信息。

YOLO模型借鉴GoogLeNet网络结构实现端到端的学习，通过回归的方法直接在整张图上提取候选区域，并利用回归的方法输出候选框的位置和类别。YOLO检测模型流程如图 5所示，首先，图像被模型划分为大小为$C×C$的网格，如果一个物体的中心落在某个网格内，则落入物体的网格负责检测该物体。每个网格预测$B$个边框(bounding boxes)，边框信息采用5组信息$T(x, y, w, h, confidence)$表示，即每个边框的中心坐标$(x, y)$，宽高$(w, h)$和置信度$confidence$共5个参数。采用YOLO模型能够实现目标实时检测，但是检测的准确率不高。

YOLOv2是YOLO检测模型的改进版，包括22个卷积、5个池化层，卷积层用于提取图像特征，池化层负责特征降维、压缩参数和数据的数量。YOLOv2在最后阶段移除了dropout层，并在卷积层后加入了批量归一化(batch normalization)操作，避免过拟合。将YOLO网络中最后一个1×1的卷积层移除，增加了3个3×3×1 024的卷积层，最后再接上输出是类别个数的1×1卷积层。

YOLOv2模型网络结构如图 6所示。与YOLO相似，YOLOv2同样将输入图像分成$C×C$个网格，若某个物体中心位置的坐标落入到某个网格，则该网格就负责检测出这个物体。滑动窗口的信息也采用5组信息$T(x, y, w, h, confidence)$表示, 其中，$x$与$y$是当前网格预测到的检测对象的置信度中心位置的横坐标与纵坐标，$w$和$h$分别是滑动窗口的宽度和高度，$confidence$是置信度，反映当前滑动窗口是否包含检测对象及其预测准确性的估计概率，计算为

$ \begin{align} & confidence=\text{P}\left( object \right)\times IOU_{\text{pred}}^{\text{truth}}= \\ & \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \left\{ \begin{matrix} IOU_{\text{pred}}^{\text{truth}} & 有目标 \\ 0 & 无目标 \\ \end{matrix} \right. \\ \end{align} $

(1)

式中，$\text{P}\left(object \right)$表示滑动窗口包含检测对象的概率，$IOU_{{\rm{pred}}}^{{\rm{truth}}}$表示滑动窗口与真实检测对象区域的重叠面积，若单元格中存在目标，则$\text{P}\left(object \right)$为1，此时置信度$confidence$为$IOU_{{\rm{pred}}}^{{\rm{truth}}}$，否则${\rm{P}}\left({object} \right)$为0，置信度$confidence$为0。在测试时，通过式(2)计算候选框中特定类别的置信分数。

$ \begin{array}{l} {\rm{P}}\left( {\mathit{clas}{\mathit{s}_\mathit{i}}|{\rm{ }}\mathit{object}} \right) \times {\rm{P}}(\mathit{object}) \times 10U_{{\rm{ pred }}}^{{\rm{ truth }}} = \\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;{\rm{P}}\left( {\mathit{clas}{\mathit{s}_i}} \right) \times IOU_{{\rm{ pred }}}^{{\rm{ truth }}} \end{array} $

(2)

式(2)的值代表该类别出现在候选框中的概率和候选框匹配目标物体的概率。

为了提高检测精度，YOLOv2采用一系列的改进措施，包括：归一化处理、高分辨率分类器、引入锚机制、维度聚类、直接位置预测，细粒度特征、多尺度训练等技巧。而为了提升速度，YOLOv2采用了相对简单的Darknet-19网络。为了进一步改进分类性能，可采用联合训练方法，结合词向量树(wordtree)等方法，使YOLOv2的检测种类继续扩充。

图片通过YOLOv2网络结构中的20个卷积层和5个池化层进行特征提取后，深层几乎不会利用浅层信息，使得高分辨率的浅层特征利用率大幅度减少，对应特征图上的特征往往难以得到充分训练，从而影响检测精度。为了充分利用高分辨率特征，通过嵌入深层密集模块实现特征的复用和融合，本文引入密集连接卷积网络(densenet)对YOLOv2网络结构进行改进，提出了一种YOLOv2-dense网络，如图 7所示。图 7中虚线部分为YOLOv2-dense中的密集模块(dense block)示意图，具体操作步骤如下：

1) 在YOLOv2-dense网络中，将21层特征图$\boldsymbol{x}_{0}$作为$H_{1}$的输入，经过归一化处理(BN)和激活函数ReLU (rectified linear units)，用256个1×1的卷积核卷积成256个特征图，再通过归一化处理和ReLU操作，用128个3×3的卷积核卷积成128个特征图$\boldsymbol{x}_{1}$，然后将$\boldsymbol{x}_{0}$与$\boldsymbol{x}_{1}$拼接成640个特征图，将[$\boldsymbol{x}_{0}$, $\boldsymbol{x}_{1}$]作为$H_{2}$的输入。

2)$H_{2}$再经过归一化处理和激活函数ReLU，用256个1×1的卷积核卷积成256个特征图，进行归一化处理和激活函数ReLU操作后，用128个3×3的卷积核卷积成128个特征图$\boldsymbol{x}_{2}$，然后将$\boldsymbol{x}_{0}$、$\boldsymbol{x}_{1}$和$\boldsymbol{x}_{2}$拼接成768个特征图，将[$\boldsymbol{x}_{0}$, $\boldsymbol{x}_{1}$, $\boldsymbol{x}_{2}$]作为$H_{3}$的输入。

3) 依次类推，最后得到13×13×1 024通道的深层特征图。

DenseNet使得$l$层的输入直接影响到之后的所有层，它的输出为

$ \boldsymbol{x}_{l}=H_{l}\left(\left[\boldsymbol{x}_{0}, \boldsymbol{x}_{1}, \cdots, \boldsymbol{x}_{l-1}\right]\right), {l}=1, 2, 3, 4, \cdots $

(3)

式中，$\boldsymbol{x}_{0}$为模块输入特征图，$\boldsymbol{x}_{l}$表示第$l$层的输出，$\left(\left[\boldsymbol{x}_{0}, \boldsymbol{x}_{1}, \cdots, \boldsymbol{x}_{l-1}\right]\right)$为对$\boldsymbol{x}_{0}, \boldsymbol{x}_{1}, \cdots, \boldsymbol{x}_{l-1}$的拼接。${H_l}$(·)为归一化处理(BN)、激活函数ReLU及卷积Conv的组合操作，实现第$ l$层非线性变换。本文采用的$H_{l}$(·)操作为BN →ReLU→Conv(1×1)→BN→ReLU→Conv(3×3)，其中，Conv($n$×$n$)表示该卷积操作的卷积核的大小为$n$×$n$。由于每一层都包含之前所有层的输出信息，在很大程度上解决了随着深度卷积神经网络深度增加而带来的梯度消失问题，使目标检测效果更强。

实验搭建的移动机器人平台包括可以全向运动的Anycbot四轮驱动机器人底盘、AVR运动控制器、256核GPU的NVIDIA Jetson TX2视觉处理器、车载摄像头及安装支架、蓝牙通信模块与超声波避障模块、ubuntu16.04操作系统、ROS(robot operating system)系统、OpenCV 3.2、TensorFlow0.9、caffe、darknet等工具与框架。模型训练服务器采用的GPU为GTX1080Ti。图 8为系统整体工作流程示意图。

首先输入数据集，在服务器上运行YOLOv2-dense网络训练垃圾检测与分类模型，然后将训练好的模型部署到扫地机器人上，开启板载摄像头，当摄像头检测到某位置存在垃圾时，引导机器人到达垃圾位置，按照系统给出的清扫模式执行作业。

YOLOv2-dense网络的训练流程如下：1)将原始图像通过数据增强获得数据集；2)将原始图像和数据增强得到的数据集进行人工标记；3)用数据集进行YOLOv2-dense训练；4)得到训练模型。由于原始样本数目有限，有必要对数据集进行增强处理，然后对所有图像进行手工标记，为了解决移动机器人运动过程中物体尺度的大幅动态变化问题，采用了多尺度训练策略进行网络训练，最终得到检测模型。

实验平台包括：11 GB Force GTX1080ti×2 GPU，Intel Core CPU I7-7700K，4.5 GHz处理器，32 GB运行内存，操作系统为ubuntu 16.04，框架为darknet。

借鉴多尺度训练策略，在训练过程中，每隔10个批量改变一次模型的输入尺寸，从而使得模型对不同尺寸的图像具有稳健性。尺寸的调整计算为

$ S=32(7+u) $

(4)

式中，$S$为输入图像的尺寸，$u$为在3~12中随机产生的数。多尺度训练策略强迫模型适应不同的输入图像分辨率。与固定分辨率的模型相比，该训练策略在不同分辨率下都有良好的检测结果。

网络训练参数设置：学习率为0.001；学习率衰减策略为steps；样本更新参数为64；最大迭代次数为80 200；学习率变化比例为0.1；动量为0.9；权重衰减正则化参数为0.000 5。分别在训练20 000、40 000、60 000进行学习率的调整，最开始训练时学习率为10^-2，迭代2 000次后调整为10^-3，迭代60 000次后调整为10^-4。网络具体结构如表 1所示。

图 9与图 10展示了改进的网络YOLOv2-dense在测试图像上的部分检测结果。图 9为单个物体检测示例，图 10为多物体检测的示例结果。

从图 9与图 10检测结果可以看到，YOLOv2-dense检测精度整体较高，但是仍存在一定的识别错误率，图 11给出了部分识别有误的图片示例。

图 11(a)为同时检测两个不同形状的瓶子，出现了误判塑料瓶为塑料袋的情况；图 11(b)为将检测的塑料瓶误判为易拉罐的情况；图 11(c)检测废纸团与卫生纸，但将卫生纸误判为牛奶；图 11(d)(e)中遗漏了西瓜汁检测。分析本次实验结果可知，样本集数量不充足，模型适应性有待提升，存在漏检误判的问题。同时液体具有很强的不规则性，部分固态物体(例如果壳等)也具有不规则性，检测此类不规则的物体难度很大，容易导致漏检误判的情况。

图 12展示了改进的网络YOLOv2-dense在实时视频检测上的结果。

视频1(图 12(a))检测的是两个塑料杯和一个纸杯，由于地面反光，导致将地面误判为塑料杯。视频2(图 12(b))检测的为酒水，出现检测过程中部分时刻检测不到酒水。视频3(图 12(c))为检测其他颜色类饮料与橙汁，过程中将颜色类饮料误判成可乐，并在判断过程中，橙汁漏检。三段实时检测视频结果如表 2所示。

分析本次实验结果可知，实时检测过程中，地面反光易造成误判，影响物体的检测性能。部分物体相似度很高，例如其他颜色类饮料(咖啡)与可乐，容易造成误判。

图 13展示了改进的网络YOLOv2-dense在实时检测上基于不同视角与不同远近距离的检测结果。

视频4(图 13(a))检测的为易拉罐，当仅拍摄易拉罐的底面时，无法检测到易拉罐，转动视角与距离，易拉罐能够被检测到，准确率达到80.9%。视频5(图 13(b))检测的为瓶子，与视频4相似，当摄像头拍摄底部与瓶口时，检测效果不理想，转动视角和移动距离，目标能够检测到，准确率达到77.4%。视频6(图 13(c))为远距离观测，当摄像头离物体很远时，无法检测到易拉罐，当靠近易拉罐时，可以检测到物体。三段实时检测结果如表 3所示。

分析本次实验结果可知，对于同一物体，在不同角度、不同尺度下，检测的效果有较大变化，远距离物体检测性能欠佳，同时对于3D物体，不同的视角对检测有较大影响。

将自建数据集上的图片大小归一化为416×416像素，测试原YOLOv2和改进后的YOLOv2-dense的检测性能，结果如表 4所示。YOLOv2检测的准确率为82.3%，速度为27帧/s。本文提出的改进网络YOLOv2-dense的准确率为84.98%，较YOLOv2提高了2.62%，速度为26帧/s，与YOLOv2相差不大，能够达到实时检测的效果。

尽管存在部分问题，但是视频测试表明，在机器人移动过程中，物体检测的结果是动态变化的，算法可以保证在大部分时间内或特定的距离和视角内准确地识别出垃圾的种类。

本文提出的YOLOv2-dense算法的识别性能优于YOLOv2算法，因为改进后的网络结构可以保留更多的浅层图片信息，提高了提取目标特征的能力，使得算法在处理具有不同光照、背景、视角与分辨率的图片时，表现出更强的适应性和识别性能。

为了提高扫地机器人的自主清扫能力，本文研究了基于视觉的扫地机器人的垃圾检测与分类问题，在原有目标检测网络YOLOv2架构基础上，嵌入了DenseNet网络的多密集卷积块思想，提出了改进的YOLOv2-dense网络结构。本文方法充分利用了更多的图像特征信息，同时采用数据增强和多尺度训练策略，提高了检测的准确率，达到了实时的检测速度，实验表明，本文构建的YOLOv2-dense整体性能优于YOLOv2网络检测与分类的准确率，并且具有实时的检测速度。

有监督学习方法YOLOv2对训练数据集的数量、质量与多样性均有较高要求，未来研究中可采用对抗生成网络或基于半监督、无监督学习的深度网络检测方法，通过分析物体的属性来实现垃圾处置建议、清扫模式判定等决策，进一步提升扫地机器人的自主决策能力。