[发明专利]一种面向月球车作业平台的可视化虚拟维护指引方法

权利要求书

1.一种面向月球车作业平台的可视化虚拟维护指引方法，其特征在于：包括以下步骤：

步骤1、设计故障检测系统以及故障应对维修方案；

步骤2、生成月球车作业平台三维模型；

步骤3、提取作业平台三维模型的二维框线图，显示于用户终端的平板屏幕上，用于和实物进行配准；配准后确定终端与作业平台的相对坐标；

步骤4、将标志物标记于作业平台重要位置，用于增强现实系统坐标估计和配准；

步骤5、用相机对画面中贴于作业平台平面的标志物位姿做出估计，结合标志物位姿与图像深度信息估计作业平台平面法向以及终端与平面的相对位置；

步骤6、根据得到的作业环境中终端与各个部分的相对位置坐标构建以终端为中心的虚拟环境；

步骤7、故障发生后，根据检测结果选择维修方案，利用增强现实技术为航天员提供可视化指引；根据当前终端与作业环境各部分的相对位置，在屏幕对应的坐标生成虚拟标志，用于提示航天员需要进行的维修操作；

步骤8、维修操作结束后，检测系统评估维修结果并给出后续操作方案。

2.根据权利要求1所述的一种面向月球车作业平台的可视化虚拟维护指引方法，其特征在于：步骤1所述故障检测系统包括：

根据月球车作业状态检测各模块是否出现故障；

根据故障检测结果选择对应维修方案；

所述故障应对维修方案针对月球车故障类别进行设计，并输入系统。

3.根据权利要求1所述的一种面向月球车作业平台的可视化虚拟维护指引方法，其特征在于：步骤2所述月球车作业平台三维模型包括：

视景系统、触屏、按键、力反馈手柄以及语音模块的网格模型；所述视景系统由三块显示器拼接而成，实时提供广角视野以及驾驶信息。

4.根据权利要求1所述的一种面向月球车作业平台的可视化虚拟维护指引方法，其特征在于：步骤3所述二维框线图提取方法包括：

针对不同相机位姿以及所采用设备的相机参数，将三维模型映射至屏幕上的二维图像方法；

基于小波变换的二维RGB图像的边框提取以及内部的特征线提取方法，用于生成在特定相机位姿下用于与现实物体配准的模型框线图。

5.根据权利要求1所述的一种面向月球车作业平台的可视化虚拟维护指引方法，其特征在于：步骤3所述所述二维框线图配准方法包括：

判断相机中的实物图像与框图图像的位置与形态学差异是否小于配准要求的阈值；

配准成功后结合生成框线图时设定的相机位姿以及当前实物图像与框线图像之间的差异进一步解算相机当前的精确位姿。

6.根据权利要求1所述的一种面向月球车作业平台的可视化虚拟维护指引方法，其特征在于：步骤5所述标志物以及标志物位姿估计方法包括：

采用正方体标志物，正方体每面都有用于相机增强现实系统识别的正方形黑白图像；

在准备阶段，对正方体标志物六面的黑白图像进行单独的特征学习；以识别不同黑白图像所对应的正方体面位置；

根据同一正方体上的多个可见平面图像的位姿(Ri，ti)，i＝1，2，...，6独立对正方体位姿进行估计，解算出位姿矩阵(R，t)；

具体算法如下：记录标志面上的顶点以及方块上顶点；假设标志面边长为l，由于方块由六个标志面组成，记棱长为l；将第i个图像上的第j个顶点与方块中的第i_j个顶点相对应，并存储j的静止位置，记作以及方块上每个顶点的静止位置，记作v_i。定义v_i＝(±l/2，±l/2，±l/2)；

获取视野中每个标志的位姿矩阵(Ri，ti)，静止坐标和v_i，且已知与顶点相对应的标号i_j。由下式计算旋转矩阵R和位置坐标t。

计算每一个顶点对准误差的总和，w_i表示每一部分误差的权重；即将24个点匹配到其中R通过极坐标分解简化计算其中是点集的质心坐标；计算矩阵A，并通过极坐标分解A＝RS解算出旋转矩阵R；

在相机移动过程中，采用插值方法稳定连续图像的位姿解算结果。