[发明专利]基于混合现实的操控方法、混合现实设备及手术机器人

说明书

本说明书公开了基于混合现实的操控方法、混合现实设备及手术机器人。通过渲染虚拟控制台，并投射在执行手术的用户佩戴的混合现实设备上，以展示给用户，并监测用户对虚拟控制台的手势操作，确定用户操作的虚拟控制台中控制器标识，根据该控制器标识以及手势操作，向手术机器人发送控制指令，使手术机器人根据控制指令运行以执行手术。能够通过与作为控制设备的混合现实设备无接触的方法，操控混合现实设备渲染的虚拟控制台，实现对手术机器人的控制，且对虚拟控制台的控制不会受无菌膜限制而不灵活，也不会存在由于手动操作损坏无菌膜的情况，保证了手术过程的安全性。

技术领域

本说明书涉及医疗技术领域，尤其涉及基于混合现实的操控方法、混合现实设备及手术机器人。

背景技术

目前，手术机器人在医疗领域得到了广泛的应用，在手术场景中，由于手术机器人执行手术的相关操作(如，缝合、置钉等)比人手动操作更稳定，且能够减少医生的工作量，因此在手术中应用手术机器人成为一大热点。

在传统的手术场景中，需要在手术室中配置手术机器人的控制台，医生通过手动操作控制台，控制手术机器人移动以及对患者执行相关手术操作。由于手术需要在无菌环境下执行，因此，为了减少患者的感染风险，通常控制台上会覆盖无菌膜，医生通过操作覆盖有无菌膜的控制台来控制手术机器人进行手术。

然而，覆盖有无菌膜的控制台的灵敏度会变差，尤其是当控制台中包括如摇杆类需要移动的控制器时，无菌膜会限制控制器的移动，使得医生对手术机器人的控制受限。另外医生在手动操作覆盖有无菌膜的控制台时，若不幸损坏无菌膜，则会使控制台暴露，使得无菌膜的作用失效，增加患者的感染风险。

发明内容

本说明书提供一种基于混合现实的操控方法、混合现实设备及手术机器人，以部分的解决现有技术存在的上述问题。

本说明书采用下述技术方案：

本说明书提供了一种基于混合现实的操控方法，包括：

渲染虚拟控制台，并投射至执行手术的用户佩戴的混合现实设备上，以展示给所述用户；

根据监测到的所述用户对所述虚拟控制台的手势操作，确定所述用户操作的所述虚拟控制台中控制器标识；

根据所述控制器标识以及所述手势操作，向所述手术机器人发送控制指令，使所述手术机器人根据所述控制指令运行；

接收所述手术机器人根据所述控制指令的运行结果，并展示给所述用户。

可选地，所述混合现实设备上设置有传感器；

根据监测到的所述用户对所述虚拟控制台的手势操作，确定所述用户操作的所述虚拟控制台中控制器标识之前，所述方法还包括：

通过所述传感器监测所述用户的若干帧手部位姿；

根据监测到的若干帧手部位姿以及所述虚拟控制台的位姿，确定所述用户对所述虚拟控制台的手势操作。

可选地，所述方法还包括：

接收所述手术机器人发送的手术计划；

基于接收到的所述手术机器人根据所述控制指令的运行结果，验证所述手术计划是否完成；

若是，则停止监测所述用户对所述虚拟控制台的手势操作，并通过所述混合现实设备提示所述用户所述手术计划完成；

若否，则继续识别所述用户对所述虚拟控制台的操作，直至所述手术计划完成为止。

可选地，所述方法还包括：

接收所述手术机器人对所述控制指令的验证结果；

当所述验证结果为不安全时，通过所述混合现实设备向所述用户展示提示信息，所述提示信息用于提示所述控制指令未执行。