[发明专利]一种基于单视图与深度学习的古文物三维重建方法

说明书

本发明涉及古文物图片的三维重建技术领域，公开了一种基于单视图与深度学习的古文物三维重建方法，包括如下步骤：步骤1：输入古文物及与所述古文物相似工艺品的数据集；步骤2：根据“编码器‑解码器”的网络结构，使用带有3D‑ResVGG网络和多路径通道注意力模块的编码器对所述数据集进行深度信息挖掘和特征提取，生成古文物三维网络模型；步骤3：通过智能AI工具将需要进行三维重建的古文物图片进行预处理，生成预设类型图片；步骤4：将作为单视图的所述预设类型图片输入到所述古文物三维网络模型中，生成完整的需要进行三维重建的古文物图片的古文物三维模型。本发明提出了一种新的3D‑ResVGG网络，通过多分支模型训练，完善了原有VGG架构过拟合的问题。

技术领域

本发明涉及古文物图片的三维重建技术领域，具体涉及一种基于单视图与深度学习的古文物三维重建方法。

背景技术

古文物是人类在社会活动中遗留下来的具有历史、艺术、科学价值的遗物和遗迹，它是人类宝贵的历史文化遗产。很多时候，人们对古文物的了解，仅仅是通过图片来观察了解到，这样对古文物的了解会不够深刻。因为，我们生活在一个三维世界中，但是人眼所看到的是物体的二维投影，而且通过摄像机等设备获取的物体形式通常是二维图像，因此，基于图像的三维重建是计算机视觉、计算机动画、工业制造等多个领域的核心问题。现实世界中，所有的物体都以三维形式存在，且具有形状、外观和纹理等特征。对于工程测绘技术来说，三维重建可帮助其遥感系统获取所需要的地表空间信息，并做到了实时性；在人机交互领域，三维重建技术更是奠定了高级人机界面的基础，真正实现了以沉浸式和具有交互性的虚拟现实技术；在建筑信息化领域，是文物建筑保护、工程质量检测与管理、建筑拆迁管理和建筑物改造或装修的重要利器。

同时，文物数据作为一个向公众传播、保存、展示历史文化、社会风貌的载体，其保护工作逐渐被大众重视起来。三维重建技术发展到今天，已逐渐成为在历史文物数据保存方面最为领先的应用技术。它可以将真实文物的几何信息长久保存下来，为推动文物的应用研究和深入的数据分析提供了极大的便利。

除此之外，在可视化技术领域，实体文物信息的数字化和计算机领域的可视化技术均有了较大规模的应用，文化教育的相关产业将有更多的机会去发挥文物的社会教育职能，以进一步拓展和满足大众的鉴赏需求。

在三维重建中传统方法中比较成熟的是立体视觉理论，立体视觉是基于小孔成像原理通过相机模拟人眼观看物体的几何规律计算视差进而推导深度的科学方法。近年来随着智能手机的普及和手机厂商对镜头虚化的追求，基于双目视觉的三维重建越来越成熟，通过相机的双摄计算出视差图，通过视差图计算深度图进而还原三维场景，与此同时，TOF传感器加入也为这个问题带来了新的解决思路，TOF传感器可以直接获得稀疏的深度信息，虽然不够精确但可以双目视觉的计算。在三维重建技术发展的同时，一大批立体视觉设备的诞生，如立体相机，Kinect等。然而尽管有大量立体视觉设备等的涌现，但在网络环境中容易获取的大多数古文物图片资料仍是单目单视图为主，并不是包含深度的RGBD或者给定相机参数的双目视图，缺乏关联信息的单视图图片很难通过立体视觉理论进行重建，也因此引出了一个新的计算机视觉问题：单视图的三维重建问题。

单视图三维重建任务是一个十分困难的计算机视觉任务。传统方法的提取特征的方法主要是构造手工特征，利用算子提取图像的纹理和轮廓、计算光流提取运动信息、通过灰度判断明暗关系，这些都是提取手工特征常用的手段，利用这些特征加上辅助的假设条件完成三维模型的重建，当然受限于特征包含的信息量，传统方法效果并不理想。

发明内容

针对目前古文物视图图片稀缺以及三维模型数据集稀少的问题，在现有研究以及实现古文物三维模型数据集的基础上，提出一种基于单视图与深度学习的古文物三维重建方法，通过对古文物三维网络模型训练完成后输入单视图图片即可生成模型，以实现二维图像到三维模型之间的映射，使得在单视图图片的情况下进行三维重建，并且，该算法不需要图像注释或分类标签进行训练，克服了过去无法解决的缺乏纹理和宽基线特征匹配等问题。

本发明通过下述技术方案实现：