[发明专利]基于混合现实的操控方法、混合现实设备及手术机器人

权利要求书

1.一种基于混合现实的操控方法，其特征在于，包括：

渲染虚拟控制台，并投射至执行手术的用户佩戴的混合现实设备上，以展示给所述用户；

根据监测到的所述用户对所述虚拟控制台的手势操作，确定所述用户操作的所述虚拟控制台中控制器标识；

根据所述控制器标识以及所述手势操作，向所述手术机器人发送控制指令，使所述手术机器人根据所述控制指令运行；

接收所述手术机器人根据所述控制指令的运行结果，并展示给所述用户。

2.如权利要求1所述的方法，其特征在于，所述混合现实设备上设置有传感器；

根据监测到的所述用户对所述虚拟控制台的手势操作，确定所述用户操作的所述虚拟控制台中控制器标识之前，所述方法还包括：

通过所述传感器监测所述用户的若干帧手部位姿；

根据监测到的若干帧手部位姿以及所述虚拟控制台的位姿，确定所述用户对所述虚拟控制台的手势操作。

3.如权利要求1所述的方法，其特征在于，所述方法还包括：

接收所述手术机器人发送的手术计划；

基于接收到的所述手术机器人根据所述控制指令的运行结果，验证所述手术计划是否完成；

若是，则停止监测所述用户对所述虚拟控制台的手势操作，并通过所述混合现实设备提示所述用户所述手术计划完成；

若否，则继续识别所述用户对所述虚拟控制台的操作，直至所述手术计划完成为止。

4.如权利要求1所述的方法，其特征在于，所述方法还包括：

接收所述手术机器人对所述控制指令的验证结果；

当所述验证结果为不安全时，通过所述混合现实设备向所述用户展示提示信息，所述提示信息用于提示所述控制指令未执行。

5.一种混合现实设备，其特征在于，所述混合现实设备用于对手术机器人进行控制，执行手术的用户佩戴混合现实设备，其中：

所述混合现实设备，用于渲染虚拟控制台，并展示给所述用户；根据监测到的所述用户对所述虚拟控制台的手势操作，确定所述用户操作的所述虚拟控制台中控制器标识；根据所述控制器标识以及所述手势操作，向所述手术机器人发送控制指令；接收所述手术机器人根据所述控制指令的运行结果，并展示给所述用户。

6.如权利要求5所述的混合现实设备，其特征在于，所述混合现实设备上设置有传感器；

所述混合现实设备，还用于通过所述传感器监测所述用户的若干帧手部位姿，并根据监测到的若干帧手部位姿以及所述虚拟控制台的位姿，确定所述用户对所述虚拟控制台的手势操作。

7.如权利要求5所述的混合现实设备，其特征在于，所述混合现实设备，还用于接收所述手术机器人发送的手术计划，并基于接收到的所述手术机器人根据所述控制指令的运行结果，验证所述手术计划是否完成；在所述手术计划完成时，停止监测所述用户对所述虚拟控制台的手势操作，并提示所述用户所述手术计划完成；在所述手术计划未完成时，继续识别所述用户对所述虚拟控制台的操作，直至所述手术计划完成为止。

8.如权利要求5所述的混合现实设备，其特征在于，所述混合现实设备，还用于接收所述手术机器人对所述控制指令的验证结果，当所述验证结果为不安全时，向所述用户展示提示信息，所述提示信息用于提示所述控制指令未执行。

9.一种手术机器人，其特征在于，所述手术机器人用于接收执行手术的用户佩戴的混合现实设备发送的控制指令，并根据所述控制指令运行，以及将运行结果发送至所述混合现实设备；所述控制指令为所述混合现实设备基于用户对渲染的虚拟控制台的手势操作，以及所述用户操作的所述虚拟控制台中的控制器标识确定的。

10.如权利要求9所述的手术机器人，其特征在于，所述手术机器人还用于确定预设的手术计划，并向所述混合现实设备发送所述手术计划。