[发明专利]一种角膜移植手术机器人用自主立体视觉导航方法及系统

权利要求书

1.一种角膜移植手术机器人用自主立体视觉导航方法，其特征在于，包括以下步骤：

S1、获取立体显微镜相机与世界坐标系Oxyz的配准数据以及立体显微镜相机的标定、矫正数据，根据立体显微镜相机采集两幅面部图像，分别作为参考图像R和目标图像T；

S2、将步骤S1得到的参考图像R和目标图像T输入卷积神经网络CNN进行特征提取，实时捕捉目标物体的三维信息以及手术工具的位姿信息并进行更新，通过深度学习方法获取参考图像R和目标图像T完成自主立体视觉导航的视觉传感信息；

S3、利用步骤S2获取的视觉传感信息，控制角膜移植手术机器人对角膜移植手术缝针刺入和缝线打结进行自主立体视觉导航。

2.根据权利要求1所述的方法，其特征在于，步骤S2具体为：

S201、将参考图像R和目标图像T输入卷积神经网络CNN进行特征提取，并用特征图金字塔网络FPN找出图像中的感兴趣区域RoIs，并生成RoIs的目标边框；

S202、通过关联算法将步骤S201参考图像R和目标图像T相对应的目标边框进行匹配生成视差图，计算相对应的目标边框内三维点云集合F(X，Y，Z)；

S203、通过全卷积神经网络FCN对每一个目标边框内的RoI预测实例所属分类生成实例分割掩码；

S204、将步骤S203的实例分割掩码与步骤S202的三维点云集合F(X，Y，Z)相匹配，计算各实例所得目标物体内对应点的三维坐标集合RoIs(X，Y，Z)，并由各目标物体的三维点云形成相对应的立体表面Surf；

S205、在步骤S204的立体表面Surf上计算操作工具位姿和被操作对象上目标点位姿，将实时更新的操作工具位姿和被操作对象目标点输入步骤S206；

S206、基于步骤S205中实时更新的手术工具当前位姿和目标位姿，对手术工具的轨迹规划Tr进行实时更新，手术工具完成规划动作执行后，采集参考图像R和目标图像T，返回步骤S201，进行动作，直至所有动作完成后结束。

3.根据权利要求2所述的方法，其特征在于，步骤S204中，将实例分割结果与视差图相匹配后转换为感兴趣区域内各目标物体RoIs的三维点云数据，并由各目标物体的三维点云，采用Delaunay三角剖分方法将各目标物体的三维点云构造为三角网格，形成相对应的立体三角网格表面；感兴趣区域RoIs包括角膜植片、植床、持针钳、镊子、缝针和缝线所在位置的立体表面区域。

4.根据权利要求2所述的方法，其特征在于，步骤S206中，基于获得的实时感兴趣区域的三维点云RoIs(X，Y，Z)，结合专家库的规范化角膜移植手术操作动作序列获得对应手术动作基元U，结合RoIs(X，Y，Z)中目标点PTarget及操作工具当前位姿PTool(x,y,z,a,b,c,g)，对角膜移植手术机器人末端手术工具从当前位姿PTool(x,y,z,a,b,c,g)到目标点PTarget的轨迹规划Tr进行实时更新。

5.根据权利要求1所述的方法，其特征在于，步骤S3具体为：

S301、获得植片置于植床内的原始图像对，目标物体植片、手术工具的三角网格表面，计算植片的极值点、手术工具的当前位姿，使手术工具按预定轨迹由当前位姿运动至目标点PTarget，使用镊子夹持角膜植片；

S302、计算角膜的厚度t，根据缝合深度要求预估目标点的位置点Pdepth；

S303、通过持针钳操作缝针刺入角膜植片，并同时刺入角膜植床；

S304、通过持针钳操作缝针拔出角膜植床；

S305、打第一个接近环的缠绕动作；

S306、打第一个接近环的张紧动作；

S307、镊子操作缝线绕持针钳向相反方向绕n圈，打完第二个环；重复操作至镊子操作缝线绕持针钳打完第k个环，一次打结结束；

S308、重复步骤S301～步骤S307，对角膜植片和植床完成16～24个点位的缝合，自动化缝合结束。