[发明专利]用于跟踪机器人操纵的手术器械的位置的系统和方法

权利要求书

1.一种手术器械跟踪系统，所述手术器械跟踪系统包括：

至少一个物理计算装置，所述至少一个物理计算装置：

基于手术区域的内窥镜图像并使用经训练的神经网络，确定对所述内窥镜图像中所示的感兴趣的对象的观察；

基于位于所述手术区域的机器人操纵的手术器械的概率框架和运动，将对所述感兴趣的对象的所述观察与所述机器人操纵的手术器械关联；以及

基于所述机器人操纵的手术器械的所述运动和与所述机器人操纵的手术器械关联的所述观察，确定所述机器人操纵的手术器械在所述手术区域的物理位置。

2.根据权利要求1所述的系统，其中：

所述内窥镜图像包括左内窥镜图像和与所述左内窥镜图像成立体的右内窥镜图像；

对所述感兴趣的对象的所述观察包括对所述感兴趣的对象的左观察和右观察；以及

所述至少一个物理计算装置：

通过使用所述经训练的神经网络，确定对所述感兴趣的对象的所述观察，以基于所述左内窥镜图像，确定对所述感兴趣的对象的所述左观察，并基于所述右内窥镜图像，确定对所述感兴趣的对象的所述右观察；

通过将所述左观察与所述机器人操纵的手术器械关联并将所述右观察与所述机器人操纵的手术器械关联，将对所述感兴趣的对象的所述观察与所述机器人操纵的手术器械关联；以及

通过使用所述左观察和所述右观察确定所述感兴趣的对象在3D空间中的三维(“3D”)位置并通过基于所述感兴趣的对象在所述3D空间中的所述3D位置调整所述机器人操纵的手术器械在所述3D空间中的基于3D运动的位置，确定所述机器人操纵的手术器械在所述手术区域的所述物理位置。

3.根据权利要求1所述的系统，其中：

所述内窥镜图像包括左内窥镜图像和与所述左内窥镜图像成立体的右内窥镜图像；以及

所述至少一个物理计算装置将所述左内窥镜图像和右内窥镜图像立体匹配，并且通过使用所述经训练的神经网络确定对所述感兴趣的对象的所述观察，以基于所立体匹配的左内窥镜图像和右内窥镜图像，确定对所述感兴趣的对象的所述观察。

4.根据权利要求1所述的系统，其中：

所述内窥镜图像包括组合内窥镜图像；以及

所述至少一个物理计算装置：

通过组合第一内窥镜图像和与所述第一内窥镜图像成立体的第二内窥镜图像，生成所述组合内窥镜图像；

通过使用所述经训练的神经网络，确定对所述感兴趣的对象的所述观察，以基于所述组合内窥镜图像，确定所述感兴趣的对象在3D空间中的基于三维(“3D”)图像的位置；以及

通过基于所述感兴趣的对象在所述3D空间中的所述基于3D图像的位置调整所述机器人操纵的手术器械在所述3D空间中的基于3D运动的位置，确定所述机器人操纵的手术器械在所述手术区域的所述物理位置。

5.根据权利要求1所述的系统，其中：

所述内窥镜图像包括组合内窥镜图像；以及

所述至少一个物理计算装置：

通过组合一序列的内窥镜视频帧中包括的多个内窥镜图像，生成所述组合内窥镜图像；

通过使用所述经训练的神经网络，确定对所述感兴趣的对象的所述观察，以基于所述组合内窥镜图像，确定所述感兴趣的对象在3D空间中的基于三维(“3D”)图像的位置；以及

通过基于所述感兴趣的对象在所述3D空间中的所述基于3D图像的位置调整所述机器人操纵的手术器械在所述3D空间中的基于3D运动的位置，确定所述机器人操纵的手术器械在所述手术区域的所述物理位置。

6.根据权利要求5所述的系统，其中所述至少一个物理计算装置基于所述组合内窥镜图像，至少部分地基于从所述组合内窥镜图像识别的所述感兴趣的对象的运动，确定所述感兴趣的对象在所述3D空间中的所述基于3D图像的位置。

7.根据权利要求1所述的系统，其中所述至少一个物理计算装置通过基于由所述观察指示的所述感兴趣的对象的基于图像的位置调整所述机器人操纵的手术器械的基于运动的位置，确定所述机器人操纵的手术器械在所述手术区域的所述物理位置。