搜维尔科技：利用MANUS手套打破机器人手训练中模拟与现实的差距

机械手需要使用人类工具

机器人技术的一个重要目标是开发能够在以人为中心的环境中高效运行的系统。为此，机器人必须能够与专为人类双手设计的工具进行交互。掌握工具操作技能使机器人能够在日常环境中执行各种任务，并超越传统的工厂自动化。

在这项研究中，加州大学圣地亚哥分校探索了这一挑战，利用自由度比人手少的机器人手，实现了对铰接工具的灵巧手内操作。

挑战

对人类而言，使用剪刀或镊子毫不费力。然而，对机器人来说，带有活动关节的铰接式工具却面临着巨大的挑战，原因如下：

1. 极其复杂的接触动力学

内部连接摩擦、粘滞、间隙和小结构缝隙难以精确建模，导致仿真与现实世界之间存在相当大的不匹配。

2. 仿真与实际迁移差距较大

在模拟中表现良好的策略在物理硬件上往往会遇到困难或失败，因为物理特性上的微小差异会导致行为上的巨大偏差。

MANUS手套是解决方案

为了解决机器人初始化抓取姿态不稳定或不一致的问题，加州大学圣地亚哥分校团队将MANUS Metagloves Pro集成到他们的工作流程中：

• 这些手套被用作手部追踪器，以提供远程操作演示。
• 它们提供了工具操作的初始抓握配置。
• 当机械手无法可靠地实现稳定抓取时，它们会初始化关节物体的状态。

MANUS 在三阶段培训框架中的位置

研究团队设计了一个三阶段的训练框架，MANUS 手套在需要时提供由人类演示的初始抓握动作，从而为训练过程做出贡献。

第一阶段：模拟训练和扰动注入

• 利用完美的物体姿态信息训练特权策略。
• 添加随机力和扭矩以提高鲁棒性。

当机器人无法自主抓取工具时，团队会使用MANUS手套进行远程操作演示，以提供一致、可行的初始抓取。

第二阶段：政策提炼至本体感觉

• 将特权策略简化为学生策略，仅使用联合立场和简单命令。
• 移除特权信息，以便在真实机器人上部署。

第三阶段：CATFA触觉适应

• 引入 CATFA（交叉注意力触觉力适应），它将触觉信号与电机扭矩反馈融合在一起。
• 实现在线微调、扰动补偿和稳定接触控制。

研究工作流程概述。(a) 模拟训练和策略提炼；(b) 通过 CATFA 模块在硬件上进行在线适应。

结果

在手术钳、钳子、缝合器、腹腔镜器械等多种器械中，采用 CATFA 技术的系统均取得了始终如一的优异成绩。对于一些难度较高的器械，成功率从大约 20% 到 30% 提升至 100%，而原本就表现良好的器械，其稳定性和精确度也得到了进一步提升。

未来影响

在本研究中，MANUS Metagloves Pro手套为训练过程提供了支持，当机器人难以自主建立抓握时，手套能够提供可靠的、由人类演示的初始抓握动作。该工作流程得益于手套能够持续地再现自然的人手姿势，并捕捉关节工具所需的细微抓握变化。通过使用可无缝集成到机器人流程中的远程操作演示系统，研究人员能够确保每次试验的稳定起始状态，从而实现有效的学习和仿真到实际的迁移。

除了这项研究之外，MANUS手套之所以适用于抓取初始化，其所具备的相同特性也使其在灵巧机器人、数字人研究、虚拟现实和增强现实交互以及康复技术领域拥有更广泛的应用前景。MANUS手套提供了一种自然的交互界面，用于捕捉人手运动并将其转换为可用于训练、远程操作和交互式控制的数据。

关于搜维尔科技

我们热衷于动作捕捉技术的研发与推广。我们热衷于推动技术发展，使其处于技术前沿甚至更前沿。在这个频道上，我们想分享我们基于动作捕捉技术的最新体验。搜维尔科技与Manus总部签署代理合作协议，成为其在中国大陆地区的授权代理经销商。搜维尔科技现支持相关产品购买、咨询与售后支持等服务，欢迎垂询。