[发明专利]一种基于增强现实的装配引导方法、系统及应用

权利要求书

1.一种基于增强现实的装配引导方法，其特征在于：包括以下步骤：

S1、待装配体的零件模型轮廓信息与装配信息获取并存储，将零件模型轮廓信息和装配信息解析为结构化数据，结构化数据的获取方法为：设计开发装配工艺解析插件，对待装配体装配工艺文件和装配信息读取，获得零件模型轮廓信息与装配信息并解析为结构化数据；其中，装配信息包括装配顺序、装配工艺要求、装配引导信息、装配标注信息；

S2、依据相机识别并捕捉操作台上待装配体的所有零件的位姿信息，为AR场景提供零件的三维跟踪注册矩阵，对现实场景中零件进行动态跟踪及定位，以搭建增强现实场景，其中位姿信息包括零件模型轮廓信息、位置信息；

S3、根据相机实时获取零件的当前位置图像，提取零件的三维边缘轮廓特征信息，并与S1中存储的零件轮廓信息匹配，区分在当前状态下待装配体的基础件和其余零件；

S4、将轮廓信息匹配数据和装配信息，结合三维跟踪注册矩阵和当前位置图像，在基础件的待装配位置处高亮显示装配引导信息；

S5、对操作台上其余零件中的待装配零件，进行包络体高亮化标识，引导操作者抓取物体进行装配，所述包络体是基于三维边缘轮廓特征信息，利用体素化方式生成的，以建立待装配零件的碰撞体；

S6、步骤S5装配过程中，动态视觉识别判断装配情况，实现虚实融合；动态视觉识别判断装配情况的方法为：根据碰撞体与待装配零件的重合度比例，判别装配是否完成、待装配零件是否存在错件、待装配零件是否存在漏件；或根据碰撞体与待装配零件的重合度比例及位置信息，判别待装配零件是否存在装配位姿差异，判断待装配零件是否装反；

S7、重复步骤S3至S6，将所有的零件进行引导装配，直至待装配体完成装配。

2.根据权利要求1所述的装配引导方法，其特征在于：步骤S1中，结构化数据的获取方法为：设计开发装配工艺解析插件，采用开发装配工艺解析插件通过标准数据读取接口和标准解析模板，对CAD软件中待装配体的三维模型的装配工艺文件和装配信息读取，获得零件模型轮廓信息与装配信息，将零件模型轮廓信息与装配信息解析为结构化数据。

3.根据权利要求1所述的装配引导方法，其特征在于：步骤S3中，零件的当前位置图像的识别与捕捉，是基于深度学习轮廓识别方法获取。

4.一种基于增强现实的装配引导系统，其特征在于：采用权利要求1至3任一项的装配引导方法对待装配体进行装配引导，装配引导系统包括视觉模块、演算模块、播放模块；

所述视觉模块用于采集当前装配过程中基础件及其余零件的实时影像，并获取实时影像的特征点信息；

所述演算模块用于采用视觉算法获取待装配零件的包络体信息及装配检测信息，并结合预设的待装配零件3D模型数据，对实时影像中的视频帧进行演算，得到三维注册矩阵与待装配体的当前装配状态；

所述播放模块用于图形渲染引擎，结合演算模块的数据，实时输出装配的图像信息。

5.根据权利要求4所述的装配引导系统，其特征在于：所述播放模块输出的图像信息可通过头戴式、手持式和空间展示三类设备进行呈现。

6.根据权利要求4所述的装配引导系统，其特征在于：所述播放模块输出的图像信息，是以三维引擎的世界坐标原点置于基础件的图像中心，读取数据库中零件的轮廓特征及装配信息，结合三维注册矩阵生成零件的三维模型；结合装配工艺文件与装配过程判断，高亮待装配零件的包络体，高亮待装配零件的三维模型，显示装配工艺要求。

7.一种基于增强现实的装配引导系统的应用，其特征在于：应用权利要求1至3任一项的装配引导方法及权利要求4至6任一项的装配引导系统对复杂结构工件进行装配，所述复杂结构工件包括航天器。