[发明专利]三维重建方法、点云融合方法、装置、设备及存储介质有效
申请号: | 202210036903.X | 申请日: | 2022-01-13 |
公开(公告)号: | CN114066960B | 公开(公告)日: | 2022-04-22 |
发明(设计)人: | 张晟东;王济宇;焦家辉;张立华;邓涛;李志建;古家威;蔡维嘉 | 申请(专利权)人: | 季华实验室 |
主分类号: | G06T7/50 | 分类号: | G06T7/50;G06V10/80;G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 佛山市海融科创知识产权代理事务所(普通合伙) 44377 | 代理人: | 陈志超 |
地址: | 528200 广东省*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 三维重建 方法 融合 装置 设备 存储 介质 | ||
1.一种点云融合方法,用于融合无人机采集的第一点云信息与无人车采集的点云序列信息,其特征在于,所述融合方法包括以下步骤:
获取所述第一点云信息和所述点云序列信息;
根据自注意力机制将所述点云序列信息转换为由融合参数设定的第二点云信息,所述融合参数包括卷积参数、自注意力参数和输出融合参数;
根据对抗自监督学习算法设计关于第一点云信息和第二点云信息的对比损失函数;
基于反向传播算法利用梯度下降的方式更新所述融合参数,直至所述对比损失函数收敛,以确定最佳融合参数;
根据所述最佳融合参数融合所述第一点云信息和所述点云序列信息,以获取融合点云信息;所述根据自注意力机制将所述点云序列信息转换为由融合参数设定的第二点云信息的步骤包括:
将所述点云序列信息编码并输出为一致维数的并包含所述卷积参数的卷积点云信息;
根据所述自注意力机制将所述卷积点云信息初步融合,输出包含所述自注意力参数的初步融合点云信息;
根据所述自注意力机制将所述初步融合点云信息进一步融合,输出包含所述输出融合参数的所述第二点云信息。
2.根据权利要求1所述的一种点云融合方法,其特征在于,所述根据对抗自监督学习算法设计关于第一点云信息和第二点云信息的对比损失函数的步骤包括:
根据卷积特征提取函数及全连接网络降采样函数获取所述第一点云信息的第一特征输入信息和所述第二点云信息的第二特征输入信息;
根据对抗自监督学习算法设计关于所述第一特征输入信息和所述第二特征输入信息的对比损失函数。
3.根据权利要求2所述的一种点云融合方法,其特征在于,所述基于反向传播算法利用梯度下降方式更新所述融合参数,直至所述对比损失函数收敛,以确定最佳融合参数的步骤包括:
设计关于所述融合参数的梯度下降函数,所述梯度下降函数输出值为所述对比损失函数的输入值;
基于所述反向传播算法更新所述梯度下降函数,直至所述对比损失函数收敛;
将所述对比损失函数收敛时的所述融合参数确定为所述最佳融合参数。
4.一种三维重建方法,用于根据多种点云信息对大型场景进行三维重建,其特征在于,所述重建方法包括以下步骤:
通过无人机获取第一点云信息;
通过无人车及RTK地面站获取点云序列信息;
根据自注意力机制将所述点云序列信息转换为由融合参数设定的第二点云信息,所述融合参数包括卷积参数、自注意力参数和输出融合参数;
根据对抗自监督学习算法设计关于第一点云信息和第二点云信息的对比损失函数;
基于反向传播算法利用梯度下降的方式更新所述融合参数,直至所述对比损失函数收敛,以确定最佳融合参数;
根据所述最佳融合参数融合所述第一点云信息和所述点云序列信息,以获取融合点云信息;
获取所述第一点云信息的点云法线;
根据所述点云法线和所述融合点云信息获取融合模型;
所述根据自注意力机制将所述点云序列信息转换为由融合参数设定的第二点云信息的步骤包括:
将所述点云序列信息编码并输出为一致维数的并包含所述卷积参数的卷积点云信息;
根据所述自注意力机制将所述卷积点云信息初步融合,输出包含所述自注意力参数的初步融合点云信息;
根据所述自注意力机制将所述初步融合点云信息进一步融合,输出包含所述输出融合参数的所述第二点云信息。
5.根据权利要求4所述的一种三维重建方法,其特征在于,所述重建方法还包括以下步骤:
获取所述大型场景的设计模型,根据所述设计模型优化所述融合模型。
6.根据权利要求4所述的一种三维重建方法,其特征在于,所述获取所述第一点云信息的点云法线的步骤包括:
对所述第一点云信息进行序列编程以建立关于所述第一点云信息的序列信息;
对所述第一点云信息进行凸包计算以获取关于第一点云信息的三维凸包模型;
根据所述序列信息和所述三维凸包模型获取所述点云法线。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于季华实验室,未经季华实验室许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210036903.X/1.html,转载请声明来源钻瓜专利网。