[发明专利]三维关键点预测及深度学习模型训练方法、装置及设备

权利要求书

1.一种三维关键点预测方法，其特征在于，所述方法包括：

获取包含待检测对象的RGB图像及深度图像；

基于所述RGB图像，得到所述待检测对象的二维关键点信息及每个二维关键点对应的热度图像；

利用预先训练的深度学习模型，对所述RGB图像、所述二维关键点信息、所述深度图像及所述热度图像进行关联分析，得到所述待检测对象的三维关键点信息的预测值；

所述利用预先训练的深度学习模型，对所述RGB图像、所述二维关键点信息、所述深度图像及所述热度图像进行关联分析，得到所述待检测对象的三维关键点信息的预测值，包括：

利用预先训练的深度学习模型，对所述RGB图像的矩阵及所述热度图像的矩阵进行拼接，得到目标拼接矩阵；

对所述目标拼接矩阵进行特征提取，得到初始图像特征；

对所述初始图像特征进行维度变换，得到目标图像特征；

根据所述深度图像及所述二维关键点信息，获取所述二维关键点信息中各关键点的深度信息，并对各所述关键点的深度信息进行特征提取，得到目标深度特征；

对所述二维关键点信息进行特征提取，得到目标关键点特征；

对所述目标图像特征、所述目标深度特征及所述目标关键点特征进行拼接，并利用拼接后的特征进行预测，得到所述待检测对象的三维关键点信息的预测值。

2.一种深度学习模型训练方法，其特征在于，所述方法包括：

获取待训练的深度学习模型；

在预设样本集合中选取一组样本图像组，其中，所述样本图像组包括样本RGB图像、样本深度图像、样本二维关键点信息、每个样本二维关键点对应的样本热度图像及真值三维关键点信息，所述样本二维关键点信息通过对所述样本RGB图像进行二维关键点检测得到；

利用所述深度学习模型，对当前选取的样本RGB图像、样本深度图像、样本热度图像及样本二维关键点信息进行关联分析，得到预测三维关键点信息；

根据所述真值三维关键点信息及所述预测三维关键点信息，计算所述深度学习模型的当前损失；

在所述深度学习模型的当前损失未收敛时，按照所述当前损失，调整所述深度学习模型的参数，并在所述预设样本集合中选取一组样本图像组继续训练，直至所述深度学习模型的损失收敛，得到训练好的深度学习模型；

所述利用所述深度学习模型，对当前选取的样本RGB图像、样本深度图像、样本热度图像及样本二维关键点信息进行关联分析，得到预测三维关键点信息，包括：

利用预先训练的深度学习模型，对所述样本RGB图像的矩阵及所述样本热度图像的矩阵进行拼接，得到样本拼接矩阵；

对所述样本拼接矩阵进行特征提取，得到初始样本图像特征；

对所述初始样本图像特征进行维度变换，得到目标样本图像特征；

根据所述样本深度图像及所述样本二维关键点信息，获取所述样本二维关键点信息中各关键点的深度信息，并对各所述关键点的深度信息进行特征提取，得到目标样本深度特征；

对所述样本二维关键点信息进行特征提取，得到目标样本关键点特征；

对所述目标样本图像特征、所述目标样本深度特征及所述目标样本关键点特征进行拼接，并利用拼接后的特征进行预测，得到预测三维关键点信息。

3.根据权利要求2所述的方法，其特征在于，所述根据所述真值三维关键点信息及所述预测三维关键点信息，计算所述深度学习模型的当前损失，包括：

对所述预测三维关键点信息进行投影，得到预测二维关键点信息；

基于所述样本二维关键点信息及所述预测二维关键点信息，计算二维关键点损失；

基于所述真值三维关键点信息及所述预测三维关键点信息，计算三维关键点损失；

基于所述二维关键点损失及所述三维关键点损失，计算所述深度学习模型的当前损失。

4.根据权利要求3所述的方法，其特征在于，所述基于所述二维关键点损失及所述三维关键点损失，计算所述深度学习模型的当前损失，包括：

利用预设二维关键点权重乘以所述二维关键点损失，利用预设三维关键点权重乘以所述三维关键点损失，并对得到的乘积求和，得到所述深度学习模型的当前损失。