[发明专利]一种基于Transformer解码器的3D人体模型重建方法

权利要求书

1.一种基于Transformer解码器的3D人体模型重建方法，其特征在于，所述基于Transformer解码器的3D人体模型重建方法，包括：

对原始RGB图像进行预处理，获得包含目标人体的图像，并将其输入图像特征提取模块进行特征提取，获得图像网格特征；

将一个模板3D人体模型的顶点坐标输入到线性层，获得编码后的模板顶点特征；

将图像网格特征和模板顶点特征输入到顶点特征变换模块，融合后得到变换后的顶点特征；

将变换后的顶点特征通过上采样模块进行上采样，并通过逆向线性层将上采样后的顶点特征解码为最终预测的3D人体模型顶点坐标。

2.根据权利要求1所述的基于Transformer解码器的3D人体模型重建方法，其特征在于，所述图像特征提取模块使用ResNet网络。

3.根据权利要求1所述的基于Transformer解码器的3D人体模型重建方法，其特征在于，所述模板3D人体模型使用无性别的、标准姿态的SMPL人体模型。

4.根据权利要求3所述的基于Transformer解码器的3D人体模型重建方法，其特征在于，所述模板3D人体模型是经过网格下采样算法处理后的低分辨率的模板3D人体模型。

5.根据权利要求1所述的基于Transformer解码器的3D人体模型重建方法，其特征在于，所述顶点特征变换模块包括预设数量的Transformer解码器，首层Transformer解码器的输入为图像网格特征和模板顶点特征，其他Transformer解码器的输入为图像网格特征和上一层Transformer解码器输出的顶点特征。

6.根据权利要求5所述的基于Transformer解码器的3D人体模型重建方法，其特征在于，所述Transformer解码器包括依次连接的自注意力层、交叉注意力层与前馈网络层，所述自注意力层、交叉注意力层与前馈网络层前还分别设置有各自的归一化层，所述自注意力层、交叉注意力层与前馈网络层每一层的输入都与本层的输出进行累加后输入到下一层；所述自注意力层的输入是模板顶点特征或上一层Transformer解码器输出的顶点特征，所述交叉注意力层的输入还包括图像网格特征。

7.根据权利要求1所述的基于Transformer解码器的3D人体模型重建方法，其特征在于，所述上采样层由两个相同的MLP网络组成，每个MLP由两个线性层与其间的非线性激活层组成，分阶段地将低分辨率的顶点特征转化为高分辨率的顶点特征。

8.根据权利要求1所述的基于Transformer解码器的3D人体模型重建方法，其特征在于，所述线性层和逆向线性层严格互逆，所述线性层表示为：

其中，表示模板3D人体模型的顶点坐标，z₀表示模板顶点特征，W和b分别表示线性层的权重矩阵与偏置向量；

所述逆向线性层表示为：

V_3D＝(z_V-b)W^-1；

其中，V_3D表示逆向线性层输出的3D人体模型顶点坐标，z_V表示顶点特征变换模块输出的顶点特征，W^-1表示W的广义右逆矩阵，W^-1＝W^T(WW^T)^-1。

9.根据权利要求1所述的基于Transformer解码器的3D人体模型重建方法，其特征在于，所述图像特征提取模块、线性层、顶点特征变换模块、上采样模块和逆向线性层构成网络模型，所述网络模型在训练时，采用的损失函数如下：

其中，表示最终预测的3D人体模型顶点坐标损失，表示预测的3D人体关键点坐标损失，表示预测的2D人体关键点坐标损失；所述预测的3D人体关键点坐标和预测的2D人体关键点坐标由最终预测的3D人体模型顶点坐标计算得到，λ₁、λ₂、λ₃为超参数。