[发明专利]一种三维重建方法、装置、电子设备及可读存储介质在审
申请号: | 202110951222.1 | 申请日: | 2021-08-18 |
公开(公告)号: | CN113781659A | 公开(公告)日: | 2021-12-10 |
发明(设计)人: | 王磊;刘薰裕;马晓亮;刘宝玉;程俊 | 申请(专利权)人: | 深圳先进技术研究院;中国科学院深圳理工大学(筹) |
主分类号: | G06T19/00 | 分类号: | G06T19/00;G06N3/04;G06N3/08 |
代理公司: | 深圳中一联合知识产权代理有限公司 44414 | 代理人: | 肖遥 |
地址: | 518055 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 三维重建 方法 装置 电子设备 可读 存储 介质 | ||
1.一种三维重建方法,其特征在于,包括:
对待重建对象的图像进行特征提取,得到特征向量,其中,所述特征向量用于表征所述待重建对象的形状特征信息;
根据所述特征向量及针对所述待重建对象的预设模板,生成特征图,所述预设模板用于表征所述待重建对象的三维结构信息;
将所述特征图输入至已训练的图卷积神经网络中,得到所述待重建对象的三维重建结果。
2.如权利要求1所述的三维重建方法,其特征在于,所述图卷积神经网络包括N个串联的功能模块;
其中,第1个所述功能模块的输入为所述图卷积神经网络的输入,第N个所述功能模块的输出为所述图卷积神经网络的输出,所述N为大于2的整数;
其中,所述功能模块包括卷积单元、归一化单元及激活函数单元。
3.如权利要求2所述的三维重建方法,其特征在于,第1个所述功能模块包括至少三个指定结构,所述至少三个指定结构依次串联,所述指定结构包括依次串联的所述卷积单元、所述归一化单元及所述激活函数单元;
在所述至少三个指定结构中:第一个指定结构的输入为第1个所述功能模块的输入,最后一个指定结构的输出与第1个所述功能模块的输入之间的残差为第1个所述功能模块的输出。
4.如权利要求2所述的三维重建方法,其特征在于,第i个所述功能模块包括至少两个指定结构,所述至少两个指定结构依次串联,所述指定结构包括依次串联的所述卷积单元、所述归一化单元及所述激活函数单元,所述i为大于1且小于N的整数;
在所述至少两个指定结构中:第一个指定结构的输入为第i-1个所述功能模块的输出,最后一个指定结构的输出与第i-1个所述功能模块的输出之间的残差为第i个所述功能模块的输出。
5.如权利要求2所述的三维重建方法,其特征在于,第N个所述功能模块包括依次串联的所述卷积单元、所述归一化单元、所述激活函数单元和所述卷积单元;
在第N个所述功能模块中:第一个所述卷积单元的输入为第N-1个所述功能模块的输出,第二个所述卷积单元的输出与第N-1个所述功能模块的输出之间的残差为第N个所述功能模块的输出。
6.如权利要求2至5任一项所述的三维重建方法,其特征在于,所述卷积单元为切比雪夫卷积单元。
7.如权利要求1所述的三维重建方法,其特征在于,当所述待重建对象为人体时,所述预设模板为人体网格图;所述根据所述特征向量及针对所述待重建对象的预设模板,生成特征图,包括:
基于所述人体网格图构建预设格式的图结构,所述图结构包含所述人体网格图的顶点信息;
将所述特征向量与所述图结构进行融合拼接,得到所述特征图。
8.如权利要求7所述的三维重建方法,其特征在于,在所述图卷积神经网络的训练过程中,基于网格损失、三维关节损失、表面法向损失及表面边缘损失计算所述图卷积神经网络的总损失;
其中,所述网格损失用于描述真实人体网格与预测人体网格之间的位置差异;
所述三维关节损失用于描述真实人体三维关节与预测人体三维关节之间的位置差异;
所述表面法向损失用于描述真实人体网格的三角形面的法向量与预测人体网格的三角形面的法向量之间的角度差异;
所述表面边缘损失用于描述真实人体网格的三角形面的边长与预测人体网格的三角形面的边长之间的长度差异。
9.如权利要求1所述的三维重建方法,其特征在于,所述对待重建对象的图像进行特征提取,得到特征向量,包括:
基于所述待重建对象对所述图像进行分割,得到局部图像;
将所述局部图像的尺寸调整至预设尺寸;
通过采用卷积神经网络的编码器对尺寸调整后的所述局部图像进行特征提取,得到所述特征向量。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳先进技术研究院;中国科学院深圳理工大学(筹),未经深圳先进技术研究院;中国科学院深圳理工大学(筹)许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110951222.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种乳制品微生物含量多层次动态监测装置
- 下一篇:一种小区切换方法及装置