MIT沉浸式实验室如何使用MANUS手套实现远程VR神经外科培训

MIT.nano沉浸式实验室是麻省理工学院的多学科空间，旨在可视化复杂数据和原型沉浸式技术以支持AR和VR研究、动作捕捉以及面向科学、工程和艺术领域用户的数字物理交互。

外科训练的挑战

现代神经外科技术要求极其精确，尤其是在小儿脑积水手术中。多年来，年轻的外科医生不得不长途跋涉精进技能向像波士顿儿童医院的本杰明·华尔医生这样的专家学习。这些手术技能需要非常高的精度，传统上这些技能只能通过面对面的指导来传承。

为了打破这个障碍，小儿神经外科医生吉赛尔·科埃略创立了EDUCSIM并与MIT.nano的沉浸式实验室一起共同创造了一个沃尔博士的虚拟现实形象，让居民可以远程向他学习，就好像他就站在学员身边一样。

根据华尔博士创作虚拟化身的挑战

• 要求高保真动作捕捉能够以外科手术级别的精度记录操作人员灵巧的手指运动。

• 需要高分辨率立体视频采集，以在手术过程中准确保存全身姿势和空间背景。

• 捕捉面部表情和非语言暗示的必要性，这对教学清晰性和临床交流至关重要。

• 集成多种虚拟现实/增强现实技术，确保完整、真实地再现外科医生的远程培训技术。

Manus解决方案

沃尔多次访问MIT.nano网站进行数字“捕捉”，包括穿着动捕套装（MANUS Metagloves Pro手套和嵌入传感器的衣服）在婴儿模型上做手术。

外科手术级手指动作捕捉

MANUS手套提供高精度传感器数据，实时捕捉关节位置、旋转和角度。这使得数字模型能够保留沃尔手术技术的准确细节，从他如何稳定器械到他如何执行精细的手术任务，而不是将手部运动简化为宽泛的手势。由此产生的手指水平的数据成为一个精确的训练参考，学员可以观察和复制。

跨VR/AR环境的无缝集成

MANUS手套与VR环境兼容，可以支持手术模拟器和混合现实训练系统中的工作流程。通过同步位置跟踪、身体姿势和手部运动数据，MANUS使外科医生能够在沉浸式环境中实现完整的数字孪生。学员可以从多个角度观察技术，接受实时指导，体验沉浸式空间教学而不是静态演示。

“这些技术主要用于娱乐、VFX或CGI。但是我们现在把它应用于真正的医学实践和真正的外科手术技术学习中。”—麻省理工学院纳米沉浸实验室AR/VR技术专家泰尔丝·瑞克斯说到。

结果

沃尔和EDUCSIM的项目使3000多英里外的巴西学员能够观察世界级神经外科医生的数字化身并与之互动，在一比一大小的婴儿大脑模型上练习精细的手术。

“如果有一天我们可以拥有像Giselle这样的化身，在偏远的地方向人们展示如何做手术和回答问题，而不需要旅行的成本或时间，我认为这将是非常强大的，”沃尔说，目前他已经花费了数年时间在世界各地培训儿童神经外科医生。

展望未来，结合MANUS手套精确的手部动作捕捉和VR/AR环境可以支持更广泛的应用，如远程手术指导、遥操作机器人、工业技能转移和全球培训工作流等。