一种基于深度学习的地铁消杀机器人

摘要：地铁、车站等人员密集的公共场所的消毒杀菌一直是广大乘客的卫生安全保障，而地铁车厢座椅、立柱、扶手、吊环等乘客接触物体往往容易被污染，成为病毒集中物体，因此，这些物体的快速精准消杀不仅对卫生安全很重要，而且对提高效率非常有帮助。文章设计出一种基于深度学习的地铁消杀机器人，该机器人采用双目摄像头对图像和深度数据进行采集，利用基于卷积神经网络（CNN） 的目标识别算法和深度学习算法，结合移动底盘和机械臂移动，实现地铁车厢乘客接触物体的识别和近距离精准消毒杀菌，实现对地铁列车等公共交通工具消毒卫生工作的智能化、精准化、标准化，消除了传统人工操作可能存在的卫生安全隐患，有效提高消杀效率，改善消杀效果。

关键词：机器视觉；目标识别；深度学习；消杀机器人

中图分类号：TD672    文献标识码：A

文章编号：1009-3044（2023）30-0028-03

开放科学（资源服务）标识码（OSID） ：

0 引言

当前，公共场所的卫生防控措施变得尤为重要，地铁作为人流高度密集的城市大运量公共交通工具，地铁车厢常态化的消毒杀菌已成为运营管理工作的一部分。目前各地铁公司基本都是采用人工方式进行车厢消杀，或者配合使用紫外灯灭菌。人工方式消杀通过人工将消毒液喷洒到需要消杀的空间区域，这种方式费时费力，效率低，且存在消杀效果难以监控的问题，同时消杀人员还有被感染的风险隐患；紫外灯消杀需要持续相对较长的时间，且容易对人体造成伤害，限制了其应用场景。现有的消杀机器人大多采用移动底盘加喷雾消毒或者移动底盘加紫外灯的方式消毒，这种消杀机器人存在消杀模式单一、适用场景有限、消杀不全面等问题。

目前市面上的消杀机器人普遍只具备喷雾消杀的功能，只能对空间进行无识别无差别化的空气消杀[1]，而在实际环境中，对于公共场所中多人触碰的物体比如门把手、电梯扶手、电梯按钮、台面、桌面、地铁扶手、地铁拉环等存在着病毒集中的风险，是传染环节中非常关键的一环，普通的空气喷雾消杀往往无法覆盖这些物体，使消杀不彻底，给病毒传播留下极大的隐患。因此，如何对地铁车厢中对易感关键部位消杀才是消杀机器人的痛点所在，本论文提出了一套基于机器视觉的物体识别算法结合机器人以及机械臂的控制装置，实现了对病菌集中物体的识别，通过控制机器人移动以及机械臂的移动，使消杀喷嘴靠近病菌物体表面并进行近距离的喷雾消杀，实现精准消杀功能。

目前，深度学习作为一种新兴技术广泛应用于图像分类和目标检测[2]。近年来，基于深度学习的目标检测算法被广泛地应用于各种自动化应用中[3]，如变电站智能机器人[4]、铁路信号机房巡检机器人[5]、采摘机器人[6]等。然而，目前的研究主要集中在移动服务机器人在与消杀无关的识别和抓取上[7]。很少有研究讨论过集成视觉模块数据进行运动规划和操作用于地铁应用中。本论文研究的目的是开发一种全自动的消杀机器人，用于清洁和消杀地铁扶手、拉环、座椅等多人接触物体，以避免直接接触细菌或病毒。为了实现这个目的，我们开发了一个轻量级的深度学习框架，用于检测特定物体，检测模块的输出通过运动规划和手臂操作算法来完成消杀任务。

1 消杀机器人组成

1.1 硬件组成

机器人硬件架构主要由移动底盘、雾化装置、消杀装置、紫外灯消杀装置四大部分组成，如图1所示。

1）移动底盘，用于控制移动机器人的环境数据采集、算法运行、运动和消杀执行。它由主机、4G无线路由器、激光雷达、超声波雷达、电机驱动板、惯性测量单元、电机组件、电池及电源管理组件等组成。

机器人移动底盘由差分轮式滚轮、电机驱动、电池及电源管理组成；主控由上位机和下位机组成，上位机由x86控制器实现，是机器人平台的核心，实现机器人的感知数据处理和运行控制，导航、定位、避障的算法运行等；传感器包含里程计、陀螺仪、加速度计、超声波传感器、碰撞传感器、红外传感器、激光雷达、高清摄像头、深度摄像头等组成，为机器人提供各种外部感知。

2）雾化装置，用于放置预设浓度的待处理消毒液，并对待处理消毒液进行雾化，得到待处理液滴，然后将待处理液滴喷射到周围空间环境中。雾化装置由水箱、雾化器、喷头组成，水箱规格为16L雾化器置于水箱中，220V交流电源由底盘的电源管理组件提供，可以通过电源控制雾化器的开和关；3个喷头连接雾化器。

3）消杀装置，用于当喷雾消杀机器人识别到目标物体，并利用移动底盘控制喷雾消杀机器人移动至预设位置时，调整机械臂的位置与方向，使得喷嘴朝向目标物体，同时关联喷雾装置，以获得待处理液滴，并结合移动底盘的移动、机械臂的旋转和喷嘴对待处理液滴的喷射，完成对目标物体的全方位喷雾消杀。目标消杀装置由六轴机械臂、喷嘴、喷管、雾化开关、深度摄像头和工控处理机组成。

工控处理机负责图像信息的采集和处理、识别算法的运行和机械臂控制，是整个机器人的核心处理器，它由Intel i7 CPU（16GB RAM，256GB SSD）、华硕h110i-plus主板和NVIDIA GPU（GTX16504G） 组成，运行系统由Linux 16.04（Ubuntu） 和ROS Kinetic组成。

4）紫外灯消杀装置，用于紫外线杀菌。由一条紫外线灯管组成，紫外线波长为253.7nm，单支灯40W，1m处紫外线辐照强度150μW/cm2。

1.2 目标物体识别

为了快速准确地识别车厢中病毒集中物体，如座椅、立柱、扶手、吊环等乘客接触区域或物体，需要通过摄像头采集图像信息，对图像信息进行分析处理，快速判断该物体是否属于识别物体。

作为机器视觉领域的核心问题之一，目标检测和识别的任务是找出图像中所有的目标（物体），并确定它们的位置和大小。由于各类物体有不同的外观、形状、姿态，加上成像时光照、遮挡等因素的干扰，目标检测一直是机器视觉领域最具有挑战性的问题。因此，从本质上来说，目标检测包含两个主要任务：物体图像的识别和物体在图像中的定位。

物体识别分为两个任务，一个是寻找场景中待训练物体，并且用矩形框标注物体所在图像的区域，另一个任务是识别标注物体的类别。该过程称为物体检测。由于YOLOv5代码运行速度快且无须很大运行空间[8]，因此我们选择采用基于YOLOv5卷积神经网络完成图像识别。

YOLOv5首先将整个图像中物体特征均匀的划分成大小为7×7 的卷积神经网格，每个网格作为锚框分别产生多个输入检测框。然后将输入特征映射到卷积神经网络中，得到相应的特征区域图后，将特征数据送回卷积网络，然后采用全连接层，将每个特征区域的输入特征值分别映射得到相同大小的物体特征区域图，对每个输入检测框的特征类别和每个检测框的特征值进行回归。

1.3 目标物体定位

在YOLOv5源码中根据对象数组序号筛选出需要处理的对象，并把目标坐标对（目标框左上角和右下角坐标）发送到kinect_view包（一个负责处理深度相机kinect2.0深度数据的ROS包）。在kinect_view中通过ROS的publish-subscriber机制，接收Kinect_bridge包发布的RGB图像与深度图像以及描述信息，并把每个像素点结合深度信息转化为点云数据。

根据YOLOv5传送的坐标信息，在kinect_view中计算出目标对象与机器人的相对坐标，并通过ROS的Actionclient-Actionserve机制，把相对坐标传送到move_base包。

在move_base包中将目标坐标系先转化为全局坐标系，然后设置目标点并唤醒路径规划线程，同时将坐标信息goal发布给可视化工具rviz，在设置完控制频率、时间标志位之后开始检测是否有抢占目标。当有新的目标到来，则设置当前状态为PLANNING并执行上述过程，转化坐标系、唤醒路径规划线程并发布目标给rviz。若没有抢占目标则重置状态、设置为抢占式任务。

在路径线程被唤醒后，为了判断机器人是否到达目标点、通过tf接口获取从里程计和激光数据得出的当前位姿；在地图数据超时，即观测的传感数据不够新，则停止机器人。

1.4 精准消杀

根据物品识别与定位系统求得的目标物品的相对坐标与环境图像信息，分析抓取平台的任务目标，综合环境数据，对机械臂的动作进行运动规划，完成机械臂末端到目标物体的靠近动作。根据环境信息中的目标点和机械臂与目标点之间的障碍物位置关系进行轨迹规划，并结合地形数据明确当前工作环境中机械臂的允许工作空间。根据目标物品的位姿状态选取合适的移动方式，确保将机械臂末端安全地推伸到目标物品前。通过中央信息处理模块连接视觉传感器等对抓取目标过程进行实时调控。在ROS机器人操作系统上调取相关硬件设施，创建信息交互节点，设计路径规划算法，完成机械臂移动平台的搭建。根据识别物体的坐标，机器人移动到已识别物体的一定距离后，将机械臂末端移动并靠近识别物体，开启喷雾功能，将消毒药水准确地喷洒到识别物体上，达精准消杀目的。

2 试验测试

根据《动车组、列车及工程车辆清洗消毒管理技术指引》，对地铁车厢地板、扶手、座椅等物体的日常性消毒分为列车车厢空气消毒、车厢内部物表消毒和折返站列车折返后消毒三种。本作品满足地铁车厢的三种消杀要求，重点对车厢内部物表消毒进行了测试验证，选取了车厢内部乘客接触最多的扶手、吊环进行了验证测试。

测试分为三个阶段，如图第一个阶段为深度框架训练阶段，首先要采集大量的待识别物体的照片，通过边界框标注后进行CNN训练，训练后再进行模型的测试，经过反复的验证修改，使模型的识别率精度在90%以上；第二个阶段为建图和导航阶段。在车厢进行消杀前，移动机器人需要在车厢进行运行，通过激光雷达数据进行二维地图的创建，创建完地图后，机器人即可在创建的地图中进行导航运行；第三个阶段为识别和消杀阶段。机器人在车厢中导航运行，摄像头实时采集运行过程的图像信息，采集的数据通过目标识别算法进行实时运算处理，确定图像信息中是否包含目标物体特征，如果有则就获取目标物体的坐标信息，通过控制机器人移动和机械臂的移动，使机械臂末端的喷嘴接近目标物体，再控制喷嘴开关进行近距离的喷雾消杀，达到精准消杀效果。

采用英特尔实感深度摄像机，在不同的角度和不同的光照条件下，以机器人的视角采集地铁车厢中的吊环和扶手数据集图像。

在迭代次数较大条件下，使用Kaggle数据集对YOLOv5进行训练，本作品针对地铁车厢中的扶手、吊环等物体进行目标识别，采集5 500+的测试集图片数据用于训练，并且通过裁剪、旋转、增加噪声等方法对采集到的数据集进行增强，最终获取了20 704张数据样本，其中包含扶手的样本有10 505张，包含吊环的样本有10 199张，按照YOLO算法所需的格式进行人工数据标注。

通过对原有数据集数据进行此类拓展即可得到大量新的训练数据，有效提升模型训练集大小，在原有训练集较小的条件下快速提升目标检测效果，通过测试，YOLOv5平均识别速度达到6ms，平均识别精度达95%，如图2。

3 结束语

本文设计出一种利用视觉识别并实现被识别目标物体自动精准消杀的移动机器人。精准消杀相比普通消杀机器人的空气消杀，具有以下优势：第一，精准消杀能够以较小的消毒水药量和较低的消毒水浓度实现对病菌集中物体的彻底消杀，消杀效果更好，消杀成本更低；第二，精准消杀过程友好，不需要避开人流，只对病菌集中物体表面进行近距离的消杀；消杀后，空气中和物体表面的残留消毒药水较少，对人的身体健康和环境影响小；视觉识别算法采用了基于CNN的深度学习方法，生成了被识别物体的一组坐标。利用这些坐标，利用ROS系统生成机器人的操作空间，并制定机械臂的运动规划。通过一系列的模拟和实验，通过离线和在线测试了该技术的准确性。在这两种情况下，计算出的检测准确率均在90%以上。在地铁列车上成功地进行了实时实验，验证了所提框架的有效性。通过该机器人的应用，助力地铁等人员密集场所的消毒清洁工作，切断传染源，保证出行卫生安全。

参考文献：

[1] 丁志虎，胡光阔.智能机器人在医院消毒作业中的应用[J].医学信息，2020，33（5）：28-29.

[2] 周晓彦，王珂，李凌燕.基于深度学习的目标检测算法综述[J].电子测量技术，2017，40（11）：89-93.

[3] 蓝金辉，王迪，申小盼.卷积神经网络在视觉图像检测的研究进展[J].仪器仪表学报，2020，41（4）：167-182.

[4] 覃剑，杜珂，苏淑敏，等.基于场景识别的变电站智能机器人巡视技术[J].机械与电子，2022，40（8）：76-80.

[5] 贺昌寿，王磊，尤刚.基于机器视觉的铁路信号机房巡检机器人柔顺控制方法[J].电子设计工程，2022，30（7）：180-184.

[6] 郑太雄，江明哲，冯明驰.基于视觉的采摘机器人目标识别与定位方法研究综述[J].仪器仪表学报，2021，42（9）：28-51.

[7] 王丽荣.基于视觉技术的机器人抓取目标识别与定位[J].机械设计与制造工程，2021，50（10）：33-36.

[8] 唐小煜，熊浩良，黄锐珊，等.基于改进的U-Net和YOLOv5的绝缘子掩模获取与缺陷检测[J].数据采集与处理，2021，36（5）：1041-1049.

【通联编辑：朱宝贵】