[发明专利]一种基于生成对抗网络的目标及轨迹增强现实方法和系统

说明书

本发明提供一种基于生成对抗网络的目标及轨迹增强现实方法，包括：采集包括目标和场景信息的真实场景，检测回环帧，先获取目标完整三维点云，输入到生成对抗网络的第一生成器网络，输出虚拟目标点云，将虚拟目标点云与预先构建的目标骨架模型构建生成目标模型；再输入到生成对抗网络的第二生成器网络，输出虚拟目标；虚拟目标及点云与真实目标及点云经过映射叠加处理，生成叠加场景，输出增强现实的目标及轨迹；所述装置包括采集模块、定位追踪模块、虚实融合模块和显示模块。本发明基于回环帧和生成对抗网络实现目标和轨迹增强现实，提高了确定目标识别及运动轨迹的灵活性，为目标探测与识别、可行区域检测、路径规划等提供精准信息。

技术领域

本发明涉及人工智能、目标探测与识别和增强现实等领域，尤其是涉及了一种基于生成对抗网络的目标及轨迹增强现实方法和系统。

背景技术

增强现实技术是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，可以运用到装备的装配、保障等智能制造活动的各个环节中，在采集的现实图景中实时叠加进去虚拟的成分(模型、知识、数据等)，以实现知识和信息的增强。

目前大多方法是通过设备，如头盔、眼镜、摄像头等将用户视角的真实世界图景采集、输入到增强现实系统中与增强现实系统产生的虚拟景象等进行合成，现有增强现实技术主要通过服务器与客户端之间的信息交互来实现增强现实应用，其还存在如下三个问题：一是服务器的AR虚拟信息由开发者/服务商利用第三方工具或者原生代码预先配置而得，技术难度高，对普通用户而言具有较高的应用门槛；二是服务器/客户端对现实信息的识别处理能力有限，其处理算法存在识别精度和稳定性的问题，识别效果有待进一步提高；三是将现实场景与虚拟物体进行融合显示，需要准确地对场景建立三维模型，以便在此基础上准确地显示虚拟物体。

发明内容

为解决现实技术的不足，本发明提供一种基于生成对抗网络的目标及轨迹增强现实方法和系统，以生成叠加场景，输出增强现实的目标及轨迹。

本发明通过采集包括目标和场景信息的真实场景，检测回环帧，获取目标完整三维点云，输入到生成对抗网络的第一生成器网络，输出虚拟目标点云，将虚拟目标点云与预先构建的目标骨架模型构建生成目标模型；再输入到生成对抗网络的第二生成器网络，输出虚拟目标；虚拟目标及点云与真实目标及点云经过映射叠加处理，生成叠加场景，输出增强现实的目标及轨迹。本发明基于回环帧和生成对抗网络实现目标和轨迹增强现实，提高了确定目标识别及运动轨迹的灵活性，为目标探测与识别、可行区域检测、路径规划等提供精准信息。

实现本发明目的的技术方案为：

(一)利用数据采集装置获取真实世界信息，即真实世界的目标信息和场景信息；

(二)基于回环帧，提取目标信息；

(三)构建生成对抗网络，生成虚拟目标及虚拟目标点云信息，流程如下：

步骤1，由原始点云数据、RGB信息和深度信息，经过处理生成完整三维点云；

步骤2，将所述目标的完整三维点云输入到生成对抗网络的第一生成器网络，经过3层卷积层、4层扩张卷积层、3层反卷积层以及最后卷积层，输出虚拟目标点云；

步骤3，将所述虚拟目标点云与预先构建的目标骨架模型，在建模软件中生成目标模型；所述建模软件包括MAYA、3Dmax等三维建模和动画软件中的一种或几种；

步骤4，将所述目标模型输入到生成对抗网络的第二生成器网络，输出虚拟目标。

(四)将数据采集装置得到的真实目标及真实目标点云与虚拟目标及虚拟目标点云经过映射叠加处理，生成叠加场景，输出增强现实的目标及轨迹。