[发明专利]荧光镜图像中的取向检测

说明书

使用深度学习在荧光镜图像中进行自动取向检测的系统和方法能够进行局部配准以用于在电磁导航支气管镜(ENB)系统中校正初始的CT到身体的配准。

相关申请的交叉引用

本申请要求2020年1月24日提交的美国临时申请号62/965,668的权益和优先权。

技术领域

本公开涉及成像领域，且尤其涉及荧光镜图像(荧光透视图像，fluoroscopicimage)中的取向检测。

背景技术

荧光镜成像设备在导航程序期间通常位于手术室中。在导航程序中，可以显示各种CT截面视图、3D视图和/或指导说明，以帮助临床医生将导航导管沿预定路径引导至一个或多个目标，直到导航导管与一个或多个目标对齐。在导航程序期间，可以执行局部配准(local registration)以更准确地显示导航导管相对于一个或多个目标的位置。为了执行局部配准，获取并且处理患者的荧光镜扫描(fluoroscopy sweep)。然后，扫描视频被用于重构目标周围的体积以获得目标与导航导管之间的关系。

在设置用于局部配准的荧光镜检查期间，荧光镜被定位于患者上方，获取荧光镜图像，临床医生通过选择与患者身体在荧光镜图像中的取向相对应的适当图像标签来确定并手动设置荧光镜图形的取向。但是，该步骤使局部配准过程复杂化，尤其是当使用具有不同设置的不同荧光镜时。此手动步骤也容易出现人为错误。因此，需要一种方法，该方法可以提供用于监测患者身体在荧光镜图像中的取向的快速、准确和稳健的方法。

发明内容

一方面，本公开的特征在于一种在医疗设备导航过程中执行局部配准的方法。所述方法包括：获取通过荧光镜成像设备捕获的在患者身体内的至少一个解剖特征和医疗设备的荧光镜图像；通过神经网络处理所述荧光镜图像，以基于通过所述神经网络对所述荧光镜图像的处理，确定所述患者身体在所述荧光镜图像中的取向；以及至少基于所述患者身体在所述荧光镜图像中的经确定的取向，生成所述荧光镜图像的三维(3D)重构。

实施方式可以包括下述特征中的一个或多个特征。所述荧光镜图像可以通过使用荧光镜成像设备执行荧光镜扫描来捕获，并且来自荧光镜扫描的荧光镜图像中的每一个可以使用神经网络来处理。处理的结果可以被组合以确定患者身体在荧光镜图像中的取向。所述处理可以包括针对荧光镜图像中的每个荧光镜图像，生成用于取向候选的概率值并且选择具有最高概率值的取向候选。所述取向候选可以是四个翻转(flip)候选。所述至少一个解剖特征可以是亚解剖区域(sub-anatomical region)。所述方法可以包括：从设置在所述医疗设备上的电磁传感器获取所述医疗设备在所述亚解剖区域中的位置信息；基于所述位置信息，识别所述亚解剖区域；以及基于识别到的亚解剖区域，由经训练的神经网络处理所述荧光镜图像，以确定所述患者身体在所述荧光镜图像中的取向。

所述荧光镜图像可以形成荧光镜扫描的一部分。所述荧光镜图像的子集由所述神经网络处理。所述方法可以包括调整所述荧光镜图像的大小。所述亚解剖区域可以是肺叶。所述医疗设备可以是导航导管，并且所述电磁传感器可以形成电磁导航系统的一部分。所述神经网络可以是卷积神经网络，所述卷积神经网络包括卷积层、批量归一化层、修正线性单元层、最大池化层、平均池化层和全连接层。

在另一方面，本公开的特征在于一种用于使用荧光检查法(fluoroscopy)执行局部配准的系统。所述系统可以包括与荧光镜通信的处理器；和存储器，所述存储器存储神经网络和指令，所述指令在由所述处理器执行时导致所述处理器：获取患者身体内的至少解剖结构和医疗设备的荧光镜图像；利用神经网络处理所述荧光镜图像；基于利用所述神经网络对所述荧光镜图像进行处理的结果，确定所述患者身体在所述荧光镜图像中的取向；至少基于经确定的取向候选的取向，生成所述荧光镜图像的三维(3D)重构；以及基于所述3D重构，执行局部配准。