[发明专利]一种基于实例分割网络的角膜移植缝合操作的AR导航方法及系统

权利要求书

1.一种基于实例分割网络的角膜移植缝合操作的AR导航方法，其特征在于，包括：

步骤S1：获取板层角膜手术移植过程中的视频影像，对所述视频影像中的每一帧角膜手术图像，利用实例分割网络对所述角膜手术图像的角膜轮廓进行分割，得到角膜缝线和角膜轮廓的分割掩模；其中，所述实例分割网络包括原型掩模模块；

步骤S2：对所述角膜缝线的分割掩模进行处理，获取所述角膜缝线的坐标位置；使用椭圆拟合对所述角膜轮廓的分割掩模进行处理，预测得到最佳角膜缝线位置；

步骤S3：将所述最佳角膜缝线位置与所述角膜缝线的位置进行对比，判断所述角膜缝线的位置是否合格，如果不合格，给出反馈信息告知医生进行重缝；

步骤S4：通过AR在当前帧的角膜轮廓图像中叠加标记，标记所述角膜缝线位置与所述最佳角膜缝线位置。

2.根据权利要求1所述的基于实例分割网络的角膜移植缝合操作的AR导航方法，其特征在于，所述步骤S1：获取板层角膜手术移植过程中的视频影像，对所述视频影像中的每一帧角膜手术图像，利用实例分割网络对所述角膜手术图像的角膜轮廓进行分割，得到角膜缝线和角膜轮廓的分割掩模；其中，所述实例分割网络包括原型掩模模块，具体包括：

步骤S11：将所述角膜手术图像输入实例分割网络，利用原型掩模模块获取角膜缝线与角膜轮廓的掩模系数矩阵C_n＝(c₁ c₂ c₃ … c_k)和掩模矩阵V；其中，c_i是一个n×k大小的矩阵；V的矩阵值只有0和1，如公式(1)所示；

其中，V是一个大小为i×j×k的矩阵；k表示掩模个数；

步骤S12：所述角膜缝线与角膜轮廓的掩模Mask根据下述公式(2)计算得到：

Mask＝σ(VC^T) (2)

其中，σ为sigmod函数。

3.根据权利要求1所述的基于实例分割网络的角膜移植缝合操作的AR导航方法，其特征在于，所述步骤S2：对所述角膜缝线的分割掩模进行处理，获取所述角膜缝线的坐标位置；使用椭圆拟合对所述角膜轮廓的分割掩模进行处理，预测得到最佳角膜缝线位置，具体包括：

步骤S21：将所述角膜缝线的Mask的轮廓点集按行组合成矩阵P，如公式(3)所示：

其中，x和y为轮廓点坐标；

步骤S22：根据公式(4)计算所述角膜缝线的中心点M：

步骤S23：根据公式(5)，利用M对所述轮廓点集进行归一化处理，得到归一化矩阵B：

B＝P-hM^T (5)

其中，h是n×1的列向量，表示为h[i]＝1，i＝1,…,n；

步骤S24：使用所述归一化矩阵B构建协方差矩阵D，如公式(6)所示：

步骤S25：根据公式(7)，构建矩阵E，使得EDE^T成为一个对角矩阵，其中E是协方差矩阵D特征单位向量按行排列的矩阵，每一行都是D的一个特征向量λ：

EDE^T＝F (7)

其中，矩阵F是由D的特征值构成的对角矩阵，其值如公式(8)所示：

其中，λ为特征向量；

步骤S26：根据E中的特征向量，得出所述角膜缝线的方向；根据所述角膜缝线的中心点M及其方向，可得出角膜轮廓中线与角膜轮廓的交点P₂和P₃，P₂P₃将所述角膜轮廓分为左右两部分；

遍历左右两部分角膜轮廓点坐标，求出距离所述角膜轮廓中线最远的点坐标P₀,P₁；根据通过P₀,P₁，P₂,P₃求最小外接矩形x_R0,x_R1,x_R2,x_R3，计算公式(9)～(12)如下所示：

其中，k_long为所述最小外接矩形的长边斜率，k_short为其短边斜率，P₀,P₁是轮廓两侧距离中线最远的点，P₂,P₃是角膜轮廓中线与轮廓的交点；

步骤S27：构建联合损失函数L_total求解最终掩模M，所述联合损失函数L_total由候选框损失函数,置信度损失函数，像素级掩模损失函数和语义分割损失函数构成：

所述置信度损失函数如公式(13)所示：

其中，表示第i个预测框与第j个真实框关于类别p是否匹配，其值为0或1；

所述候选框损失函数如公式(14)所示：

其中，表示候选框位置，表示真实框位置；

所述像素级掩模损失函数如公式(15)所示：

其中，x表示样本的标注，值为0或者1，表示网络的预测概率；

所述语义分割损失函数如公式(16)所示：

构建所述联合损失函数L_total如公式(17)所示：

L_total＝αL_bbox+βL_class+γL_mask+δL_seg (17)

其中，α,β,γ,δ分别为权重系数；

步骤S28：根据所述角膜轮廓的Mask用椭圆傅里叶系数进行椭圆拟合，预测得到最佳角膜缝线位置。