[发明专利]一种基于神经网络的图像三维模型构建方法及装置

权利要求书

1.一种基于神经网络的图像三维模型构建方法，包括以下步骤：

特征提取步骤：利用二维CNN提取二维图像的图像特征，包括：二维CNN包括N个依次连接的卷积模块，每个卷积模块包含若干个依次连接的卷积层，每个卷积模块输出特定尺寸的图像特征矩阵；

拼接步骤：将原始网格模型的三维坐标与所述图像特征拼接为图结构的顶点特征向量；

三维坐标重建步骤：利用GCN对所述图结构的顶点特征向量进行卷积变形，获得新顶点及对应的三维坐标；

三维模型重构步骤：根据新顶点的三维坐标既获得图像三维模型；

在对每个卷积模块输出的图像特征矩阵进行拼接前，将每个图像特征矩阵内的每个元素各自进行平方运算，得到的平方运算值赋值到原元素位置，形成尺寸为[m，m，k]的新图像特征矩阵，其中，m为新图像特征矩阵大小，k为图像特征的通道数；

在将网格模型的三维坐标(x，y，z)与图像特征进行拼接前，先将顶点的三维坐标(x，y，z)投影成二维坐标(x，y)；

拼接步骤为：

首先，针对每个新图像特征矩阵，将尺寸为[m，m，k]的新图像特征矩阵分别与顶点的二维坐标(x，y)进行拼接，得到尺寸为[M，k]的预拼接矩阵，其中，M表示网格模型的顶点的个数，k为新图像特征矩阵中，图像特征的通道数；

然后，将网格模型的三维坐标(x，y，z)与N个预拼接矩阵在矩阵列的维度上进行拼接，形成尺寸为[M，K]的顶点特征向量，其中，K表示N个新图像特征矩阵的通道数之和与顶点的坐标维度的和。

2.如权利要求1所述的基于神经网络的图像三维模型构建方法，其特征在于，将顶点的三维坐标(x，y，z)投影成二维坐标(x，y)的过程为：

首先，计算网格模型的每个顶点所占体积的高度hi和宽度wi：

hi＝L×[-y÷(-z)]+H

wi＝L×[x÷(-z)]+H

然后，根据每个顶点所占体积的高度hi和宽度wi得到每个顶点在二维平面上的二维坐标：

xi＝hi÷(224÷56)

yi＝wi÷(224÷56)

其中，224为输入图像尺寸的长和宽，56为自己设定的值，若特征矩阵需要更多的通道数则减少此值，若特征矩阵需要更少的通道数则增加此值，i表示顶点的索引，L和H分别为初始网格模型所占空间体积的长和高；

将尺寸为[m，m，k]的新图像特征矩阵分别与顶点的二维坐标(x，y)进行拼接的具体过程为：

根据顶点的二维坐标(x，y)，从尺寸为[m，m，k]的新图像特征矩阵中取出位置为(x，y)的所有通道的元素；

再分别通过reshape函数将所有通道的元素转化为特定尺寸的预拼接矩阵。

3.如权利要求1所述的基于神经网络的图像三维模型构建方法，其特征在于，在GCN中对顶点特征向量进行卷积操作时，对输入的顶点特征向量进行至少两次卷积核不同的卷积操作，将这至少两个卷积操作结果进行融合后，对融合后结果进行连续的卷积操作，并限定最后一次卷积操作的卷积核的纵向尺寸为3。

4.如权利要求1所述的基于神经网络的图像三维模型构建方法，其特征在于，所述图像三维模型构建方法还包括：

将获得的新顶点的三维坐标作为原始网格模型的三维坐标，利用拼接步骤将新顶点的三维坐标与图像特征拼接为新顶点特征向量；

对新顶点特征向量执行三维坐标重建步骤，更新新顶点及对应的三维坐标。

5.如权利要求1所述的基于神经网络的图像三维模型构建方法，其特征在于，所述图像三维模型构建方法还包括：

在对新顶点特征向量执行三维坐标重建步骤前，还包括新顶点扩增步骤，具体利用池化层对输入的新顶点特征向量进行特征数量扩增，以输出增加新顶点的新顶点特征向量。