[发明专利]面向工业零件6D位姿估计的方法及计算机可读存储介质在审
申请号: | 202010872000.6 | 申请日: | 2020-08-26 |
公开(公告)号: | CN112017226A | 公开(公告)日: | 2020-12-01 |
发明(设计)人: | 曾龙;吕伟杰;张欣宇 | 申请(专利权)人: | 清华大学深圳国际研究生院 |
主分类号: | G06T7/50 | 分类号: | G06T7/50;G06T7/66;B25J9/16;G06K9/62 |
代理公司: | 深圳新创友知识产权代理有限公司 44223 | 代理人: | 孟学英 |
地址: | 518055 广东省深圳市*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 面向 工业 零件 估计 方法 计算机 可读 存储 介质 | ||
1.一种面向工业零件6D位姿估计的方法,其特征在于,包括如下步骤:
S1:在参数化模板上,根据几何特征,确定工业零件的参数值与参数关键点的映射关系,建立映射函数;对参数值进行均匀采样和排列组合,生成多个尺寸组合的实例,建立所述实例的三维模型库;
S2:基于所述三维模型库,通过物理引擎和渲染引擎的仿真生成堆叠数据集,基于所述实例的参数值和映射函数,计算所述实例的参数关键点,并通过6D位姿标签转换获得堆叠场景中工业零件的参数关键点标签和参数值标签,用于训练神经网络;
S3:实时识别时,将预处理后的实际场景的点云输入训练好的神经网络中,通过逐点回归网络预测每个点到其所属工业零件的质心和参数关键点的空间偏移向量;
S4:根据逐点预测的到质心的空间偏移向量和所述点云的坐标,计算逐点预测的质心,通过聚类算法实现堆叠场景的个体分割;
S5:根据逐点预测的到参数关键点的空间偏移向量和所述点云的坐标,计算逐点预测的参数关键点,个体分割后的所述点云通过平均计算获得个体的预测参数关键点;
S6:根据逐点预测的质心和参数关键点,计算出逐点的预测参数值,个体分割后的所述点云通过平均计算获得个体的预测参数值,然后根据所述个体的预测参数值均值计算出模板实例的参数值,进行三维重构,实时确定所述模板实例并计算出所述模板实例的参数关键点坐标及质心;
S7:所述模板实例的参数关键点及质心和个体的预测参数关键点及质心一一对应,进行最小二乘拟合,获得6D位姿估计结果。
2.如权利要求1所述的面向工业零件6D位姿估计的方法,其特征在于,为同一所述参数化模板的工业零件建立k个参数值与m个参数关键点坐标之间的映射函数:使得参数关键点与参数值相关联。
3.如权利要求2所述的面向工业零件6D位姿估计的方法,其特征在于,获得堆叠场景中工业零件的所述参数关键点标签,同一个所述参数关键点具有至少一种取点方式时,选取仿真生成过程中距离仿真相机最近的参数关键点作为训练所述神经网络的参数关键点标签。
4.如权利要求3所述的面向工业零件6D位姿估计的方法,其特征在于,步骤S3包括如下步骤:
S31:获取堆叠于固定的物料箱内的工业零件的目标点云;
S32:将所述目标点云的坐标(np×3)输入到训练好的所述神经网络中,其中,np为目标点云里点的个数;
S33:由特征提取网络生成逐点特征向量(np×ne),其中,ne为逐点特征向量的维度;
S34:通过质心预测分支预测每个点到其所属所述工业零件的质心的空间偏移向量(np×3),同时通过参数关键点预测分支预测每个点到其所属所述工业零件的参数关键点的空间偏移向量(np×m×3),其中,m为参数关键点的个数;
S35:根据空间偏移向量的逐点预测结果和点云坐标,即可计算出逐点预测的质心(np×3)和参数关键点(np×m×3)。
5.如权利要求4所述的面向工业零件6D位姿估计的方法,其特征在于,所述质心预测分支和所述参数关键点预测分支的损失函数为:
其中,ci为质心标签坐标,为预测质心坐标,ci、pi为m个标签参数关键点坐标的拼接向量,为m个预测参数关键点坐标的拼接向量,pi·
6.如权利要求5所述的面向工业零件6D位姿估计的方法,其特征在于,所述聚类算法包括均值漂移Mean Shift聚类、基于密度的DBSCAN聚类、基于密度的OPTICS聚类;
通过所述聚类算法将质心的逐点预测结果(np×3)分成d类,属于同一类的预测结果通过平均计算获得该类的预测质心,由此获得d个工业零件的预测质心(d×3)。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于清华大学深圳国际研究生院,未经清华大学深圳国际研究生院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010872000.6/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种空调压缩机的喷液冷却装置
- 下一篇:一种烹饪设备的控制方法及烹饪设备