[发明专利]从三视图重建三维模型的方法、装置、设备及存储介质

权利要求书

1.一种从三视图重建三维模型的方法，其特征在于，所述方法包括：

获取每一个视图中每条二维边在三维空间的反向投影；

依据所述每一个视图中每条二维边在三维空间的反向投影，获取三个不同视图的反向投影相交的所有点所构建的三维候选边，所述三个不同视图包括正视图、俯视图和侧视图；

依据所述三个不同视图的反向投影相交的所有点所构建的三维候选边，获取通过深度神经网络构建候选边所形成实际面的环，每一个所述实际面的环与三维空间物体的实际面相对应；

依据所述通过深度神经网络构建候选边所形成实际面的环，获取所述实际面的环通过拟合参数化模型而获得的三维模型。

2.根据权利要求1所述的方法，其特征在于，所述依据所述每一个视图中的每条二维边在三维空间的反向投影，获取三个不同视图的反向投影相交的所有点所构建的三维候选边，包括：

获取对三维空间进行体素化的多个三维体素；

依据所述对三维空间进行体素化的多个三维体素，获取每个所述三维体素投影到三个不同视图的二维视图的位置；

依据所述每个所述三维体素投影到三个不同视图的二维视图的位置，获取每一个所述三维体素在每一个所述不同视图的二维视图的匹配线信息；

依据所述每一个所述三维体素在每一个所述不同视图的二维视图的匹配线信息，获取所述三维体素中的三维候选体素；

依据所述三维候选体素，获取在所述三个不同视图的二维视图中具有相同匹配线的三维候选体素构建为三维候选边。

3.根据权利要求2所述的方法，其特征在于，所述三维候选边与所述三个不同视图的二维视图的匹配线相关联。

4.根据权利要求1所述的方法，其特征在于，所述依据所述三个不同视图的反向投影相交的所有点所构建的三维候选边，获取通过深度神经网络构建的候选边所形成实际面的环，包括：

依据所述三个不同视图的反向投影相交的所有点所构建的三维候选边，获取构建三维空间面的共边，所述共边为相邻两个面共享的一条候选边；

依据所述构建三维空间面的共边和Pointer Net深度神经网络，获取所述三维候选边构建的实际面的环。

5.根据权利要求4所述的方法，其特征在于，所述Pointer Net深度神经网络，包括：

使用编码器为每个输入向量获取上下文嵌入向量，所述输入向量由所述共边组成；

在每个解码步骤，解码器输出一个指针向量；

通过点积将所述指针向量与所述上下文嵌入向量进行比较，使用softmax算法对比较结果分数进行归一化，以获得在输入集合上的有效概率分布；

通过最大化训练集的条件概率学习模型的参数。

6.根据权利要求5所述的方法，其特征在于，所述使用编码器为每个输入向量获取上下文嵌入向量时，每个输入向量由共边组成，每个共边嵌入向量包括：

值嵌入，表示共边的坐标值；

位置嵌入，表示输入向量的位置。

7.一种从三视图重建三维模型的装置，其特征在于，所述装置包括：

候选线生成模块，用于获取每一个视图的二维边在三维空间的反向投影；依据所述每一个视图的二维边在三维空间的反向投影，获取三个不同视图的反向投影相交的所有点所构建的三维候选边，所述三个不同视图包括正视图、俯视图和侧视图；

基于深度神经网络的面检测模块，用于依据所述三个不同视图的反向投影相交的所有点所构建的三维候选边，获取通过深度神经网络构建的候选边所形成实际面的环，每一个所述实际面的环与三维空间物体的实际面相对应；

模型重建模块，用于依据所述通过深度神经网络构建的候选边所形成实际面的环，获取所述实际面的环通过拟合参数化模型而获得的三维模型。

8.一种电子设备，其特征在于，所述设备包括一个或者多个处理器和存储器，所述存储器用于存储一个或多个程序；

当所述一个或多个程序被所述处理器执行时，使得所述处理器实现如权利要求1至6中任一项所述的方法。

9.一种存储有计算机程序的计算机可读存储介质，其特征在于，该计算机程序被执行时实现如权利要求1至6中任一项所述的方法。