[发明专利]一种基于语义识别的三维模型重建方法及系统

权利要求书

1.一种基于语义识别的三维模型重建方法，其特征在于，步骤包括：

S01.获取对目标物体进行拍摄所得到的图像数据以及点云数据并进行特征提取，得到图像特征以及点云特征；

S02.根据所述图像特征以及点云特征建立关联图编码器，由所述关联图编码器将所述图像特征与所述点云特征编码成融合特征，得到目标物体的语义识别特征；

S03.将步骤S02得到的所述语义识别特征输入至预先构建的三维模型数据库中，得到与所述语义识别特征匹配的语义识别特征模板，所述三维模型数据库中存储有不同物体所对应的语义识别特征模板；

S04.将步骤S02得到的语义识别特征以及步骤S03得到的语义识别特征模板输入至预先构建的解码器网络中进行训练，恢复得到目标物体的三维模型，实现目标物体三维模型的重建。

2.根据权利要求1所述的基于语义识别的三维模型重建方法，其特征在于，所述步骤S01中，对点云数据进行特征提取时，先将点云数据切分为多个块的集合，然后对切分得到的每个分块中点进行统计计算，提取得到对应各分块的点云特征。

3.根据权利要求1所述的基于语义识别的三维模型重建方法，其特征在于，所述步骤S02中，根据所述图像特征以及点云特征建立关联图编码器包括：

将步骤S01得到的所有的所述图像特征以及点云特征分别划分为多个节点，每一个节点与最近邻节点构建形成边，构建得到关联图子图编码器；

分别以各所述关联图子图编码器的输出特征作为节点，每一个节点与最近邻节点构建形成边，构建得到父图编码器，由所述父图编码器输出编码形成的融合特征，即为目标物体的语义识别特征。

4.根据权利要求3所述的基于语义识别的三维模型重建方法，其特征在于，所述关联图子图编码器按照下式构建得到：

其中，表示将点云数据划分为多个分块后第p_i个分块区域内的点云特征对应的节点，表示第i个图像特征向量对应的节点，P表示所有的点云数据，e_part表示关联图子图编码器的网络模型。

5.根据权利要求3所述的基于语义识别的三维模型重建方法，其特征在于，所述父图编码器按照下式构建得到：

其中，e_graph表示父图编码器的网络模型，表示第g_i-1个关联图子图编码器的输出特征对应的节点，C_i表示全部节点，R_i表示全部节点之间的关联关系。

6.根据权利要求3或4或5中任意一项所述的基于语义识别的三维模型重建方法，其特征在于，所述解码器网络使用所述父图编码器作为节点构建得到，输出恢复出的目标物体的三维模型。

7.根据权利要求6所述的基于语义识别的三维模型重建方法，其特征在于，所述解码器网络按照下式构建得到：

其中，d_graph表示解码器网络的图网络模型，表示第p_j个父图编码器的输出特征对应的节点，p_j表示点云中的点云块特征，P′表示恢复出的全部点云，表示最终重建出的第p_j个分块区域点云数据和第j个图像数据。

8.根据权利要求1～5中任意一项所述的基于语义识别的三维模型重建方法，其特征在于，所述步骤S04中，采用几何损失函数对网络进行训练，所述几何损失函数为：

其中，CD表示几何损失的计算，p_i，p′_j分别表示重建点云和真实点云，和分别表示重建点云和真实点云的点数，x_i，x_j分别表示点云中的两个点，表示x_i，x_j两个点之间的欧氏距离。