[发明专利]面向腹腔镜手术导航的三维网格模型配准融合系统

权利要求书

1.一种面向腹腔镜手术导航的三维网格模型配准融合系统，其特征在于，包括：

第一建模模块，用于获取带有组织语义信息的术前组织网格模型；

第二建模模块，用于根据指定的双目内窥镜图像帧的深度值，获取术中组织网格模型；

特征提取模块，用于根据所述术前组织网格模型和术中组织网格模型，分别获取对应的多层级特征；

重叠预测模块，用于根据所述多层级特征，获取所述术前组织网格模型和术中组织网格模型的重叠区域，并获取所述术前组织网格模型处于重叠区域内顶点的位姿变换关系；

全局融合模块，用于根据所述术前组织网格模型处于重叠区域内顶点的坐标和位姿变换关系、以及非重叠区域内顶点的坐标，获取所述术前组织网格模型配准后的所有顶点坐标；

信息显示模块，用于根据所述术前组织网格模型配准后的所有顶点坐标，在所述术中组织网格模型中显示术前组织网格模型的内部组织信息。

2.如权利要求1所述的三维网格模型配准融合系统，其特征在于，所述特征提取模块采用切比雪夫谱图卷积提取所述术前组织网格模型和术中组织网格模型的多层级特征：

其中，定义术前组织网格模型M_pre＝(V_pre，E_pre)，V_pre表示术前组织网格模型的顶点的空间坐标，E_pre表示术前组织网格模型的顶点之间的边；术中组织网格模型M_in＝(V_in，E_in)，V_in表示术前组织网格模型的顶点的空间坐标，E_in表示术中组织网格模型的顶点之间的边；

和分别表示术前组织模型的第n+1层和第n层的下采样尺度特征，初始化为V_pre；和分别表示术中组织模型的第n+1层和第n层特征，初始化为V_in；

分别由各自顶点与其B环邻域计算出的b阶切比雪夫多项式，分别是由边E_in，E_pre计算的缩放拉普拉斯矩阵，是神经网络的学习参数。

3.如权利要求2所述的三维网格模型配准融合系统，其特征在于，所述重叠预测模块具体用于：

采用注意力机制获取所述术前组织网格模型和术中组织网格模型的重叠区域，包括：

其中，O_pre表示术前组织网格模型M_pre重叠区域的掩码；O_in表示术中组织网格模型M_in重叠区域的掩码；cross和self分别表示self-attention和cross-attention操作；和分别表示术前组织网格模型和术中组织网格模型的顶点的第m级下采样尺度特征；

根据掩码O_pre和O_in，获取各自处于重叠区域内的顶点及其特征并使用多层感知机MLP计算术前组织网格模型M_pre中的顶点的对应点：

其中，是术中组织网格模型M_in中的顶点，对应于术前组织网格模型M_pre中的顶点表示余弦相似度计算，表示对术中组织网格模型处于重叠区域内的顶点进行位置编码操作；

采用最近邻搜索KNN建立顶点的局部邻域，采用奇异值分解SVD求解旋转矩阵，公式如下：

其中，表示顶点的旋转矩阵；表示使用KNN算法构建属于顶点的一个局部邻域；是术前组织网格模型的顶点的邻域点，是对应于邻域点的术中组织网格模型的顶点；

采用旋转矩阵改变点云坐标得到采用MLP预测顶点的位移向量，公式如下：

其中，表术前组织网格模型处于重叠区域的顶点的位移向量，并与旋转矩阵构成所述位姿变换关系。