[发明专利]使用深度学习在荧光镜检查视频中进行导管尖端检测

权利要求书

1.一种增强荧光镜检查计算机断层扫描图像的方法，包括：

获取多个荧光镜检查图像；

为所述多个荧光镜检查图像的每一个确定荧光镜检查成像装置的初始姿势估计；

在至少一个所述荧光镜检查图像中接收导管尖端的指示；

在其余的荧光镜检查图像中投影所述导管尖端的位置；

用模型分析所述图像，以在所述荧光镜检查图像中识别出所述导管尖端的位置；

基于所述模型识别的所述导管尖端的位置更新所述初始姿势估计；和

利用更新的姿势估计，生成所述多个荧光镜检查图像的三维(3D)重建。

2.根据权利要求1所述的方法，还包括显示从所述3D重建得到的荧光镜检查计算机断层扫描图像。

3.根据权利要求1所述的方法，还包括裁剪在其上投影了所述导管尖端的位置的所述多个荧光镜检查图像以限定感兴趣区域。

4.根据权利要求3所述的方法，还包括确定每个裁剪的荧光镜检查图像中用于检测所述导管尖端的置信度估计。

5.根据权利要求4所述的方法，还包括以获取所述多个荧光镜检查图像的顺序，识别裁剪的荧光镜检查图像的位于任一侧的置信度估计低于确定的阈值的两个另外的裁剪的荧光镜检查图像。

6.根据权利要求5所述的方法，其中所述两个另外的裁切的荧光镜检查图像的置信度估计高于确定的阈值。

7.根据权利要求5所述的方法，还包括从置信度估计高于确定的阈值的所述两个裁剪的荧光镜检查图像中的导管尖端的位置，内插置信度估计低于确定的阈值的所述裁剪的荧光镜检查图像中的导管尖端的位置。

8.根据权利要求1所述的方法，其中自动生成所述导管尖端的接收到的指示。

9.根据权利要求1所述的方法，其中姿势的初始估计包括针对所述多个荧光镜检查图像中的每一个生成概率图，所述概率图指示所述荧光镜检查图像的每个像素属于标记物投影的概率。

10.根据权利要求9所述的方法，还包括生成用于将标记物投影在所述荧光镜检查图像上的候选者。

11.根据权利要求10所述的方法，还包括基于所述概率图识别具有是标记物在图像上的投影的最高标记物投影概率的候选者。

12.一种增强荧光镜检查计算机断层扫描图像的系统，包括：

计算装置，其与荧光镜检查成像装置通信并且包括处理器和存储器，所述存储器被配置为存储多个荧光镜检查图像以及应用，所述应用在由所述处理器执行时使所述处理器执行以下步骤：

为所述多个荧光镜检查图像的每一个确定荧光镜检查成像装置的初始姿势估计；

在至少一个所述荧光镜检查图像中接收导管尖端的指示；

在其余的荧光镜检查图像中投影所述导管尖端的位置；和

裁剪具有导管尖端的投影位置的荧光镜检查图像，以限定一组帧；

神经网络，其与所述存储器通信并被配置为分析所述帧，以识别所述导管尖端在所述帧中的位置；

所述存储器从所述神经网络接收识别的所述导管尖端在所述帧中的位置，并且所述处理器执行基于所述神经网络识别的所述导管尖端的位置更新所述初始姿势估计的应用的步骤；和

利用更新的姿势估计，生成所述多个荧光镜检查图像的三维(3D)重建。

13.根据权利要求12所述的系统，其中所述处理器进一步执行显示从所述3D重建得到的荧光镜检查计算机断层扫描图像的应用的步骤。

14.根据权利要求12所述的系统，其中所述处理器进一步执行针对每个裁剪的荧光镜检查图像生成导管尖端的检测的置信度估计的应用的步骤。