[发明专利]荧光镜图像中的取向检测

权利要求书

1.一种在医疗设备导航过程中执行局部配准的方法，所述方法包括：

获取通过荧光镜成像设备捕获的在患者身体内的至少一个解剖特征和医疗设备的荧光镜图像；

通过神经网络处理所述荧光镜图像；

基于通过所述神经网络对所述荧光镜图像的处理，确定所述患者身体在所述荧光镜图像中的取向；以及

至少基于所述患者身体在所述荧光镜图像中的经确定的取向，生成所述荧光镜图像的三维重构即3D重构。

2.根据权利要求1所述的方法，其中，通过利用所述荧光镜成像设备执行荧光镜扫描，捕获所述荧光镜图像，并且

其中，使用所述神经网络处理来自所述荧光镜扫描的所述荧光镜图像中的每一个，并且将所述处理的结果进行组合以确定所述患者身体在所述荧光镜图像中的取向。

3.根据权利要求1所述的方法，其中，所述至少一个解剖特征是亚解剖区域，所述方法进一步包括：

从设置在所述医疗设备上的电磁传感器获取所述医疗设备在所述亚解剖区域中的位置信息；

基于所述位置信息，识别所述亚解剖区域；以及

基于识别到的亚解剖区域，由经训练的神经网络处理所述荧光镜图像，以确定所述患者身体在所述荧光镜图像中的取向。

4.根据要求要求3所述的方法，其中，所述荧光镜图像形成荧光镜扫描的一部分。

5.根据要求要求3所述的方法，其进一步包括调整所述荧光镜图像的大小。

6.根据权利要求3所述的方法，其中，所述亚解剖区域是肺叶。

7.根据权利要求4所述的方法，其中，所述荧光镜图像的子集由所述神经网络处理。

8.根据权利要求1所述的方法，其中，所述神经网络是卷积神经网络，所述卷积神经网络包括卷积层、批量归一化层、修正线性单元层、最大池化层、平均池化层和全连接层。

9.根据权利要求3所述的方法，其中，所述医疗设备是导航导管，并且所述电磁传感器形成电磁导航系统的一部分。

10.根据权利要求2所述的方法，其中，所述处理包括针对所述荧光镜图像中的每个荧光镜图像：

生成取向候选的概率值；和

选择具有最高概率值的所述取向候选。

11.根据权利要求10所述的方法，其中，所述取向候选是四个翻转候选。

12.一种用于使用荧光检查法执行局部配准的系统，所述系统包括：

与荧光镜通信的处理器；和

存储器，所述存储器被配置为存储神经网络和指令，所述指令在由所述处理器执行时导致所述处理器：

获取患者身体内的至少解剖结构和医疗设备的荧光镜图像；

利用神经网络处理所述荧光镜图像；

基于利用所述神经网络对所述荧光镜图像进行处理的结果，确定所述患者身体在所述荧光镜图像中的取向；

至少基于经确定的取向候选的取向，生成所述荧光镜图像的三维重构即3D重构；以及

基于所述3D重构，执行局部配准。

13.根据权利要求12所述的系统，其中，所述指令在由所述处理器执行时进一步使得所述处理器生成并且显示从所述3D重构获得的荧光镜计算机断层扫描图像。

14.根据权利要求12所述的系统，其中，所述指令在由所述处理器执行时进一步使得所述处理器：

获取患者身体内的至少医疗设备的荧光镜图像序列；

使用所述荧光镜图像序列的第一部分训练所述神经网络；以及

使用所述荧光镜图像序列的第二部分验证所述神经网络。

15.根据权利要求14所述的系统，其中，所述神经网络包含取向候选。