电子皮肤作为人机交互界面的机器人VR真实再现触觉感知，助力元宇宙现实落地

人机界面是用户和机器及机器人之间互动的媒介。

远程操作机器的人机界面在医疗健康（非接触性生物样本收集或护理传染病患者）、沉浸式游戏或社交、教育培训、假肢或外骨骼控制和极端环境操作等众多领域都有着巨大应用价值。

然而，传统的人机界面在可穿戴性、舒适性和功能方面有较多限制，其使用的机器笨重且昂贵，同时还缺乏足够的反馈。因此，开发具有精确传感和反馈功能的闭环人机界面变得十分重要。

近日，中国香港城市大学团队提出了一种基于皮肤集成电子设备的闭环人机界面系统。该电子设备与人的全身兼容，可通过近场通信、蓝牙、Wi-Fi乃至全球范围内互联网进行无线运动捕捉和触觉反馈。通过皮肤集成的电子设备将视觉和触觉感知集成到机器人VR的闭环人机界面中。

相关论文以《电子皮肤作为机器人VR的无线人机界面》为题发表。中国香港城市大学生物医学工程系博士生刘一明为该论文第一作者，中国香港城市大学软生物电子学实验室负责人于欣格为通讯作者。

据了解，中国香港城市大学软生物电子学实验室致力于开发柔性触觉反馈界面、可穿戴电子和生物电子器件，例如可以真实再现触觉感知的皮肤VR、具有兼容物理和化学特性的生物医学电子设备，以及实时健康监测产品。同时，该实验室还进行多学科研究，以应对实际应用中的挑战。

为了打造新型生物集成电子器件，该实验室专注于开发和工程化功能材料、设计和制作用于传感、控制和驱动的不同尺度传感器件、集成和优化系统级电子设备。

该论文中介绍了一个皮肤集成电子系统，其可作为一个带有类皮肤传感器和小型化软驱动器的无线控制人机界面。同时，研究团队对它的材料选择、设备设计、集成策略和系统布局也做了完整说明。

近年来，柔性电子设备得到快速发展。目前，各种柔性传感器被用来检测电生理信号，如脑电图、眼电图和肌电图或捕获人体运动，这些信息同时被转换为机器人控制指令。

柔性传感器可以直接安装在身体的不同关节，并能够准确捕捉身体不同程度的弯曲变化。此外，相同的传感器还可作为机器人上的压力传感器， 用于检测机器人的活动。

然而，目前的柔性/可穿戴式人机界面只能从身体的局部（ 例如手或手臂） 获取信息，而且，由于缺乏必要的自我调节行为反馈系统， 其很难在动态环境中执行复杂任务。

因此，为了进一步提升先进机器人的控制，闭环可穿戴系统的人机界面的发展极其关键。

作为下一代人机界面，闭环人机界面能够灵活地与皮肤集成，准确捕获广泛的身体运动信息;且具有远程无线传输功能，在联网情况下，用户在世界任何角落都能发布指令来操作目标设备。

同时，其还拥有良好的反馈系统，用户可从机器人那里同步接收信息，以及时进行指令调整。

闭环人机界面系统通过视觉、听觉和触觉VR结合的方式与机器人进行交互，实现了机器人VR的广泛应用。

从上图可看到，护士戴上闭环人机界面，便能通过远程操作机器人来虚拟读取温度计示数。

而当闭环人机界面用在假肢或外骨骼上时，用户可以根据触觉反馈的强度，精确地控制假肢的弯曲角度和力量。这弥补了传统技术中反馈不足的问题，可以更为精细地对机器人进行控制与感知。

另外， 研究测试结果还显示， 柔性传感设备能够长时间稳定运行， 不会轻易从皮肤脱落。

然后，当人们身穿闭环人机界面系统的电子皮肤，可通过VR与机器人进行实时交互， 完成各种复杂的任务，包括蹲伏、房间清洁和病人护理等。

值得一提的是，如今，新冠疫情仍在全球蔓延。为了排查病毒感染者，人们通常都需要做核酸检测。而利用机器人VR技术，医务人员可在实时视觉信息和触觉反馈的帮助下，通过远程操作机械手来进行鼻咽拭子的样本采集。这既能减轻有限的医疗资源及人力压力，又可减少医务人员暴露于传染性环境的风险。

除此之外，近来，元宇宙概念大热，虽然其目前还没有一个统一的定义，未来发展也有待商榷，但VR普遍被认为是其一个入口，不少科技公司都在此有着巨大投入。而触觉反馈技术在一定程度上决定了元宇宙概念的高度。比如，声称为了全力发展元宇宙而改名为Meta的脸书，近期也展示了一款触觉手套，可让佩戴者在VR中体验现实中的一系列真实感觉。

最后，总的来说，该论文中介绍的皮肤集成闭环人机界面，在形式和功能上与以前的可穿戴式人机界面都有着明显区别。其对人机交互系统中材料、设备和集成方案的广泛实验和理论研究，为机器人VR的开发奠定了坚实的基础。