[发明专利]面向腹腔镜手术导航的三维网格模型配准融合系统

说明书

本发明提供一种面向腹腔镜手术导航的三维网格模型配准融合系统，涉及腹腔镜手术导航技术领域。本发明提供的三维网格模型配准融合系统引入的网格数据，较传统的点云考虑模型的顶点间的连接关系，提高了后续多模融合的精度；并可以向医生呈现组织内部信息，辅助医生做出临床决策，减少手术风险的同时提高手术效率。其中，该系统基于真实数据通过人工标注和插值的方法生成训练数据，以有监督的方式训练多模配准融合网络，最后通过无监督微调进一步提高配准精度。此外，引入的基于双目内窥镜的在线自监督学习深度估计方法，其所使用的双目深度估计网络具有快速过学习的能力，能够利用自监督信息不断适应新场景，进而确保术中组织网格模型的精度。

技术领域

本发明涉及腹腔镜手术导航技术领域，具体涉及一种面向腹腔镜手术导航的三维网格模型配准融合系统。

背景技术

相比于传统开放性手术，微创手术(如内腔镜手术)具有创口小、流血少、恢复速度快等优点，逐渐被广泛采用。但是受腔镜视场角的限制，内窥镜每次只能看到较为狭小的手术区域，并且体内组织的表观特征极其相似，大部分关键解剖结构和某些病变部位埋藏在组织内部，无法通过表观识别分析判断，必须结合术前CT、MRI等检验影像信息进行判断。如果将组织的术前和术中组织网格模型统一在同一个坐标系下并展现给医师，可以方便其估计病灶位置和内部结构，减少手术时间和风险。

目前基于多模融合的手术导航系统大多集中于骨科、牙科等组织非刚性形变较少的手术中，在腹腔等组织非刚性形变较多的技术应用仍有限。例如，中国专利CN201910253168.6公开了一种基于视频叠加的增强现实手术导航方法、系统及电子设备，该方法包括：获取目标组织器官的术前三维解剖模型；根据术中立体腹腔镜所采集的腹腔镜视频信息，构建目标组织器官表面的点云数据；对术前三维模型和点云数据进行配准，根据配准结果，得到术前三维解剖模型和当前腹腔镜视图对应的点云数据的目标变换关系；根据目标变换关系，将术前三维解剖模型通过增强现实技术叠加显示在腹腔镜视图上。

然而，上述方案在表示体内组织模型时，仅采用点云数据类型，限制了多模融合的精度。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种面向腹腔镜手术导航的三维网格模型配准融合系统，解决了多模融合的精度有待提高的技术问题。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

一种面向腹腔镜手术导航的三维网格模型配准融合系统，包括：

第一建模模块，用于获取带有组织语义信息的术前组织网格模型；

第二建模模块，用于根据指定的双目内窥镜图像帧的深度值，获取术中组织网格模型；

特征提取模块，用于根据所述术前组织网格模型和术中组织网格模型，分别获取对应的多层级特征；

重叠预测模块，用于根据所述多层级特征，获取所述术前组织网格模型和术中组织网格模型的重叠区域，并获取所述术前组织网格模型处于重叠区域内顶点的位姿变换关系；

全局融合模块，用于根据所述术前组织网格模型处于重叠区域内顶点的坐标和位姿变换关系、以及非重叠区域内顶点的坐标，获取所述术前组织网格模型配准后的所有顶点坐标；

信息显示模块，用于根据所述术前组织网格模型配准后的所有顶点坐标，在所述术中组织网格模型中显示术前组织网格模型的内部组织信息。

优选的，所述特征提取模块采用切比雪夫谱图卷积提取所述术前组织网格模型和术中组织网格模型的多层级特征：