[发明专利]一种基于单视图与深度学习的古文物三维重建方法在审
申请号: | 202111510170.0 | 申请日: | 2021-12-10 |
公开(公告)号: | CN114255328A | 公开(公告)日: | 2022-03-29 |
发明(设计)人: | 李红波;叶成庆;杨杰 | 申请(专利权)人: | 重庆邮电大学 |
主分类号: | G06T17/20 | 分类号: | G06T17/20;G06N3/04;G06K9/62;G06F30/27;G06V10/774;G06V10/82 |
代理公司: | 成都行之专利代理事务所(普通合伙) 51220 | 代理人: | 张杨 |
地址: | 400000 重*** | 国省代码: | 重庆;50 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 视图 深度 学习 文物 三维重建 方法 | ||
1.一种基于单视图与深度学习的古文物三维重建方法,其特征在于,包括如下步骤:
步骤1:输入古文物及与所述古文物相似工艺品的数据集,所述数据集包括古文物及与所述古文物相似工艺品的多角度的多视图图片以及训练用体素模型;
步骤2:根据“编码器-解码器”的网络结构,使用带有3D-ResVGG网络和多路径通道注意力模块的编码器对所述数据集进行深度信息挖掘和特征提取,生成古文物三维网络模型;
步骤3:通过智能AI工具将需要进行三维重建的古文物图片进行预处理,生成预设类型图片;
步骤4:将作为单视图的所述预设类型图片输入到所述古文物三维网络模型中,生成完整的需要进行三维重建的古文物图片的古文物三维模型。
2.根据权利要求1所述的一种基于单视图与深度学习的古文物三维重建方法,其特征在于,步骤2中,所述古文物三维网络模型包括编码器、迭代卷积模块和解码器,所述编码器由残差网络结构结合多路径通道注意力模块以及3D-ResVGG网络组成,所述迭代卷积模块由一组迭代卷积单元组成,所述迭代卷积单元在空间上分布在三维网格结构中,每个所述迭代卷积单元负责重建最终输出的体素概率结果。
3.根据权利要求1所述的一种基于单视图与深度学习的古文物三维重建方法,其特征在于,所述3D-ResVGG网络为在ResNet网络的向前传播部分添加了两组1*1卷积,并结合ResNet残差模块和VGG网络架构得到。
4.根据权利要求3所述的一种基于单视图与深度学习的古文物三维重建方法,其特征在于,所述多路径通道注意力模块的作用为:使用所述多路径通道注意力模块,在3D-ResVGG网络进行特征提取的过程中进行分组卷积,以多路径多组卷积核的形式对数据信息进行深度挖掘,获取数据的深度信息。
5.根据权利要求4所述的一种基于单视图与深度学习的古文物三维重建方法,其特征在于,步骤2中的编码器对所述数据集进行深度信息挖掘和特征提取的具体步骤为:
步骤2.1、所述3D-ResVGG网络接收数据集并对所述数据集进行特征提取生成特征图;
步骤2.2、所述多路径通道注意力模块对由所述3D-ResVGG网络生成的特征图进行分组提取:根据特征图的特点按卷积核将所述特征图分为多组,选取适应的若干组卷积核对所述特征图进行分组卷积;
步骤2.3、将卷积后的每组所述特征图模拟残差网络结构进行一组1*1卷积,获取对应的若干组特征图;
步骤2.4、将经过步骤2.3的若干组特征图进行拼接组合,得到一个高尺度、高维度、信息量更为丰富的特征图。
6.根据权利要求5所述的一种基于单视图与深度学习的古文物三维重建方法,其特征在于,步骤2.2中,信息卷积核选取3组以对所述特征图进行分组卷积。
7.根据权利要求6所述的一种基于单视图与深度学习的古文物三维重建方法,其特征在于,所述迭代卷积单元由长短时卷积网络构成,所述长短时卷积网络根据输入的特征图的具体格式选取具体的卷积单元数量,从三维的角度对通过编码器提取出的特征图进行迭代卷积,以分类网络的形式获取特征图中每一处卷积的体素概率结果并收集保留成一组三维概率信息。
8.根据权利要求7所述的一种基于单视图与深度学习的古文物三维重建方法,其特征在于,步骤2中,所述迭代卷积单元对输入的多组所述特征图进行卷积运算的具体过程为:所述迭代卷积单元对多组多角度的所述特征图进行迭代卷积运算以循环提取所述特征图的信息,对该迭代卷积单元涉及的体素概率进行动态更新,并最终结合所有迭代卷积单元的体素概率数据合成一组三维体素概率模型。
9.根据权利要求8所述的一种基于单视图与深度学习的古文物三维重建方法,其特征在于,在所述迭代卷积模块中,所述迭代卷积单元的具体结构由所述特征图的分辨率决定,X*X*X的迭代卷积单元用于处理X分辨率的特征图的数据。
10.根据权利要求1-9任一所述的一种基于单视图与深度学习的古文物三维重建方法,其特征在于,通过损失函数来验证所述古文物三维网络模型是否可靠,所述损失函数为在交叉熵函数改进后的特征正则化softmax函数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于重庆邮电大学,未经重庆邮电大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111510170.0/1.html,转载请声明来源钻瓜专利网。