[发明专利]一种基于深度学习轮廓网络的多视图重建方法

说明书

本发明提出了一种基于深度学习轮廓网络的多视图重建方法，其主要内容包括：引入深深度学习架构、三维形状编码、构建轮廓网络、网络训练和测试，其过程为，引入一个深度学习的轮廓网络，网络对一个或多个输入图像的三维形状编码进行学习，之后采用这个编码调整解码器来生成新的视图，随后引入基于轮廓的代理损失，当解码器不包含三维表征的时候，网络使用这个二维损失对三维形状进行编码，二维损失不受三维表征分辨率的限制，生成并预训练一个庞大的斑点状对象数据集网络，对数据集上的轮廓网络进行微调。本发明使用神经网络学习三维形状，新视图中生成的轮廓迫使网络编码三维形状，有效组合多个视图的信息，提高了多视图重建性能。

技术领域

本发明涉及视图重建领域，尤其是涉及了一种基于深度学习轮廓网络的多视图重建方法。

背景技术

多视图重建是利用多张一个场景的不同视角图片来恢复出场景三维模型的方法，自然场景的多视图三维重建一直是计算机视觉领域的基本问题，通过重建出目标的三维模型，就可以对目标进行定量分析以及处理目标的相关信息。多视图重建技术应用于医学成像，通过视图重建，一方面，生物医学成像技术可得到可视化的结构或功能信息，以供生物研究或临床诊断使用；另一方面，同样可以通过重建技术获取人体构造模型，进而在手术前研究讨论出最好的治疗方案。军事战争中事先通过简单的航拍等手段进行信息采集即可借用多视图重建技术获取战场的三维模型，进而抢占战争先机，更好的掌控战局，布置军队，策划战略。如今的社会越来越复杂，各种违法犯罪案件层出不穷，公安办案所面对的情况也越来越复杂，而利用多视图重建技术，通过公安案件现场三维重建及模拟分析，设计一个案件现场三维动画复原分析系统，案件侦查技术人员根据现场平面草图、现场照片及基本的犯罪过程文字描述进行场景重建；另外还可以进行摄像机、物体、环境、动物和人体的动画设计和仿真，以达到各种模拟案件现场场景及人体和事件发生、过程、结果的重现；通过案件现场三维动画复原分析的高级渲染功能，可生成高度逼真的三维场景图片和动画片，把这些三维场景图片、动画片和声音、文字结合，就可为侦查、技术、指挥人员生成各种三维虚拟案件现场场景和案件过程的多媒体影音和影像材料。虽然在多视图重建研究颇多，但是在原视图图像较少，基线宽且光照条件复杂的情况下，要把来自多个视图的信息组合起来，并且相应地提高重建性能，尚且存在一定的挑战。

本发明提出了一种基于深度学习轮廓网络的多视图重建方法，引入一个深度学习的轮廓网络，网络对一个或多个输入图像的三维形状编码进行学习，之后采用这个编码调整解码器来生成新的视图，随后引入基于轮廓的代理损失，当解码器不包含三维表征的时候，网络使用这个二维损失对三维形状进行编码，二维损失不受三维表征分辨率的限制，生成并预训练一个庞大的斑点状对象数据集网络，对数据集上的轮廓网络进行微调。本发明提出了一种基于深度学习轮廓网络的多视图重建方法，使用神经网络学习三维形状，新视图中生成的轮廓迫使网络编码三维形状，有效组合多个视图的信息，提高了多视图重建性能。

发明内容

针对视图重建，本发明提出了一种基于深度学习轮廓网络的多视图重建方法，引入一个深度学习的轮廓网络，网络对一个或多个输入图像的三维形状编码进行学习，之后采用这个编码调整解码器来生成新的视图，随后引入基于轮廓的代理损失，当解码器不包含三维表征的时候，网络使用这个二维损失对三维形状进行编码，二维损失不受三维表征分辨率的限制，生成并预训练一个庞大的斑点状对象数据集网络，对数据集上的轮廓网络进行微调。

为解决上述问题，本发明提出一种基于深度学习轮廓网络的多视图重建方法，其主要内容包括：

(一)引入深度学习架构；

(二)三维形状编码；

(三)构建轮廓网络；

(四)网络训练和测试。