[发明专利]使用深度学习在荧光镜检查视频中进行导管尖端检测

说明书

本发明涉及使用深度学习在荧光镜检查视频中进行导管尖端检测。一种姿势估计的系统和方法，其能够生成高质量的3D重建体和荧光镜检查计算机断层扫描图像，以识别微小损伤和磨玻璃损伤。

优先权要求

本申请要求标题为“使用深度学习在荧光镜检查视频中进行导管尖端检测”和2019年11月26日提交的美国临时申请序列号62/940,686以及标题为“使用深度学习在荧光镜检查视频中进行导管尖端检测”和2019年5月23日提交的美国临时申请序列号62/852,092以及标题为“使用深度学习在荧光镜检查视频中进行导管尖端检测”和2019年3月21日提交的美国临时申请序列号62/821,696的优先权，其各自的全部内容通过引用合并于此。

技术领域

本公开涉及成像领域，尤其涉及估计成像装置的姿势以改善从中得出的荧光计算机断层摄影图像的清晰度。

背景技术

在导航程序中，荧光镜检查成像装置通常位于手术室中。临床医生可以使用标准的荧光镜检查成像装置，例如，以在医疗装置已经被导航到期望位置之后可视化并且确认其布置。然而，尽管标准的荧光镜检查图像显示例如金属工具和骨骼的高密度物体以及例如心脏的大的软组织物体，但是荧光镜检查图像难以分辨例如损伤的感兴趣的小的软组织物体。此外，荧光镜检查图像只是二维投影，而为了在体内准确且安全地导航，需要进行体成像。

荧光镜检查装置的姿势估计是作为三维(3D)重建过程的一部分应用的一个步骤，其中从二维(2D)荧光镜检查图像生成3D体，从而形成荧光镜检查计算机断层扫描(FCT)图像集。另外，姿势估计可以帮助在不同的成像模态之间进行配准(例如，术前计算机断层扫描(CT)图像)。姿势估计的现有技术方法虽然有效，但是仍然缺乏牢靠性或导致比期望的图像处理过程慢。

因此，需要一种方法和系统，其可以提供荧光镜检查成像装置的快速、准确和牢靠的姿势估计以及由标准荧光镜检查成像装置获取的图像的3D重建。

发明内容

本公开的一个方面涉及一种用于增强荧光镜检查计算机断层扫描图像的方法，该方法包括：获取多个荧光镜检查图像，为所述多个荧光镜检查图像中的每个确定荧光镜检查成像装置的初始姿势估计，接收导管尖端在至少一个所述荧光镜检查图像中的指示，在其余的荧光镜检查图像中投影所述导管尖端的位置，使用模型分析所述图像以识别所述导管尖端在所述荧光镜检查图像中的位置，基于由所述模型识别的所述导管尖端的位置更新所述初始姿势估计，和利用更新的姿势估计生成所述多个荧光镜检查图像的三维(3D)重建。该方面的其他实施例包括相应的计算机系统、设备和记录在一个或多个计算机存储设备上的计算机程序，每个被配置为执行本文所述的方法和系统的动作。