[发明专利]一种增量式多视图三维重建方法

说明书

本发明提出了一种增量式多视图三维重建方法，首先，面向三维网格参数化的人体外形主成分分析，将人体形状参数转化为主成分系数；然后，针对人体三维外形预测设计损失函数，增加厚度变形、宽度变形和高度变形三个额外的输出单元，将人体外形网格的所有顶点平均误差作为损失函数，并将预测的人体外形和真实外形缩放到固定长度；最后，构造和训练网络回归模型，将人体二维轮廓和相机姿势输入编码器，对主成分系数、宽度变形、高度变形、厚度变形因子进行回归，应用逆主成分分析获得重构的人体三维外形；本发明简化了人工过程和配准过程，同时对于重建过程中无需考虑多视图的顺序和数量，适用范围广，使用方式简便。

技术领域

本发明属于人工智能技术领域的，具体地，涉及一种增量式多视图三维重建方法。

背景技术

传统的人体外形三维建模是通过测量人体不同部位的尺寸，采用几何方法进行参数拟合得到重建结果。随着人工智能技术的发展，基于深度学习方法可以通过图像重建解决人体三维建模问题。用于三维重建的卷积神经网络通常有一个编码器，该编码器将人体图像映射为特征向量，然后根据三维形状的表示方式将特征向量解码为所需的三维模型输出。常见的表示方式包括体素、网格和点云。

多视图三维重建可以克服自遮挡问题。基于卷积神经网络可以解决视图数量固定的情况的三维重建。当视图数量变化时需要使用长短期记忆神经网络框架，但如果输入视图的顺序发生改变，则输出不一致。

发明内容

本发明为了解决不同图像顺序、不同图像数量情况下的多视图三维模型重建问题，提出了一种增量式多视图三维重建方法，能够不受输入图像顺序的影响，并且可以推广到任意数量的视图。

本发明是通过以下方案实现的：

一种增量式多视图三维重建方法：

所述方法包括以下步骤：

步骤a：对图像进行人体二维轮廓处理，并将三维模型设计为标准网格结构；分析面向三维网格参数化的人体外形主成分；将人体形状参数转化为主成分系数；

步骤b：针对人体三维外形预测设计损失函数；将人体外形网格的所有顶点平均误差作为损失函数，并将预测的人体外形和真实外形缩放到固定长度；

步骤c：构造和训练网络回归模型，将人体二维轮廓和相机姿势输入编码器，应用逆主成分分析获得重构的人体三维外形。

进一步地，在步骤a中：

步骤a1：制作人体图像二维轮廓外形数据集；在各个角度对人体拍摄1000张以上照片，并将摄像头的外参标注到每个图像上，基于现有分割网络对图像进行人体二维轮廓处理；

步骤a2：设计人体三维模型标准网格；将人体三维模型设计为具有6980个顶点的标准网格，顶点坐标表示为P＝[p_xi p_yi p_zi]^T，其中p_xi、p_yi和p_zi分别表示人体厚度、宽度和高度方向的每个顶点位置，i＝1,…,6980；