[发明专利]基于物理引擎和碰撞实体的位姿估计虚拟数据集生成方法

说明书

本发明提供一种基于物理引擎和碰撞实体的位姿估计虚拟数据集生成方法，包括：搭建或加载虚拟场景和仿真物料；将所述仿真物料在所述虚拟场景中进行碰撞仿真；所述碰撞仿真结束后在相机视角下进行渲染；生成渲染后的所述虚拟场景和所述仿真物料的彩色图像、灰度图像和深度图像并保存；导出所述虚拟场景中所述仿真物料在相机坐标下的三维位姿。本发明能够以低成本的方式生成包括物料三维位姿结果的位姿估计虚拟场景数据集，用于深度学习类位姿估计方法的训练和各类位姿估计方法的测试和准确性评估，相比于传统的真实数据集大大降低数据采集和结果标注的成本，从而提高了算法训练和测试效率。

技术领域

本发明涉及位姿估计方法训练和测试技术领域，具体地，涉及一种基于物理引擎和碰撞实体的位姿估计虚拟数据集生成方法。

背景技术

随着工业4.0与智能制造的发展，提升生产制造过程的自动化、智能化水平已成为制造业企业升级转型的重要方向。其中，利用工业机器人进行散乱堆叠零件的无序抓取是制造业企业智能化转型的一个重要技术。其中零件识别和位姿估计方法的准确性和精度是影响机器人抓取效率和抓取成功率的关键因素。近年来，深度学习类的位姿估计方法有了飞速的发展，为了训练深度学习网络、评价位姿估计方法的准确率和精度，需要构建大量包括点云、深度图、场景图像和场景中目标物体真实位置和姿态的多源数据集。

真实数据集往往采用人工标注的方式，对场景中的各个物体进行框选、分割，对于点云中的物体需要手动配准获取物体真实位姿。由于真实场景的数据集制作难度大，可提供的场景和目标物体有限，并不能完全满足不同场景下位姿估计方法的深度神经网络训练和方法精度测试需求。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于物理引擎和碰撞实体的位姿估计虚拟数据集生成方法。

根据本发明的一个方面，提供一种基于物理引擎和碰撞实体的位姿估计虚拟数据集生成方法，包括：

搭建或加载虚拟场景和仿真物料；

将所述仿真物料在所述虚拟场景中进行碰撞仿真；

所述碰撞仿真结束后在相机视角下进行渲染；

生成渲染后的所述虚拟场景和所述仿真物料的彩色图像、灰度图像和深度图像并保存；

导出所述虚拟场景中所述仿真物料在相机坐标下的三维位姿。

优选地，所述搭建或加载虚拟场景和仿真物料，包括：

建立场景模型和仿真物料模型；

建立物理仿真的物理场景；

设置所述物理场景的环境参数配置；

设置相机参数配置；

将所述场景模型添加到所述物理场景并调整位姿；

将所述仿真物料模型添加到完成了场景模型添加的所述物理场景中。

优选地，所述将所述仿真物料在所述虚拟场景中进行碰撞仿真，包括：

设置需要添加的仿真物料数量、仿真物料初始的随机位置范围和姿态范围；

仿真物料之间进行仿真碰撞；

对于每对发生碰撞的仿真物料，通过计算两个仿真物料模型的三维网格是否发生重叠得到其最深碰撞点；

通过所述最深碰撞点的碰撞深度计算物体间接触力，并通过动力学求解和运动积分获得每个仿真物料碰撞后的位置。

优选地，所述碰撞仿真结束后在相机视角下进行渲染，通过开源图形库绘制虚拟场景中及仿真物料在当前相机视角下的图像。

优选地，所述通过开源图形库绘制虚拟场景中及仿真物料在当前相机视角下的图像，包括：