[发明专利]交互检测模型的训练方法、交互检测方法及相关设备

权利要求书

1.一种交互检测模型的训练方法，其特征在于，包括：

基于交互检测模型的特征提取网络对样本视频数据中样本图像进行处理，得到所述样本图像中样本人体的样本人体特征；其中，所述样本视频数据标注有表征样本物体是否与所述样本人体发生交互的样本分值，以及与所述样本物体发生交互的样本人体的样本交互动作；

基于所述交互检测模型的动作分类网络对所述样本人体特征进行分类，得到所述样本人体的第一预测交互动作；

基于所述样本物体的二维位置和所述样本人体的形态参数进行定位，得到所述样本物体的三维位置；其中，所述二维位置基于所述样本人体特征定位得到；

基于所述形态参数和所述三维位置进行预测，得到所述样本物体的预测分值；其中，所述预测分值表示所述样本物体存在人物交互的可能性；

基于所述样本交互动作与所述第一预测交互动作的差异，以及所述样本分值与所述预测分值的差异，调整所述交互检测模型的网络参数。

2.根据权利要求1所述的方法，其特征在于，所述基于所述样本人体特征定位得到二维位置，包括：

基于所述样本人体特征和所述样本物体的样本物体特征共同定位得到所述样本物体的二维位置。

3.根据权利要求2所述的方法，其特征在于，所述基于所述样本人体特征和所述样本物体的样本物体特征共同定位得到所述样本物体的二维位置，包括：

基于所述样本图像的样本图像特征和所述样本图像中检测到的物体区域，提取得到所述物体区域中所述样本物体的样本物体特征；

基于所述样本物体特征和所述样本人体特征进行预测，得到交互分值；其中，所述交互分值表示所述样本人体特征所属的样本人体与所述物体区域中所述样本物体的交互紧密程度；

基于满足预设条件的交互分值所对应的物体区域，得到所述样本物体的二维位置。

4.根据权利要求3所述的方法，其特征在于，所述基于所述样本图像的样本图像特征和所述样本图像中检测到的物体区域，提取得到所述物体区域中所述样本物体的样本物体特征，包括：

基于所述样本图像进行物体检测，得到若干候选区域；

基于所述第一预测交互动作，选择所述候选区域作为所述物体区域；

基于所述物体区域，从所述样本图像特征提取所述样本物体特征。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述基于交互检测模型的特征提取网络对样本视频数据中样本图像进行处理，得到所述样本图像中样本人体的样本人体特征，包括：

基于所述特征提取网络提取所述样本图像的样本图像特征，并对所述样本图像进行人体检测，得到所述样本人体的人体区域；

基于所述人体区域，从所述样本图像特征提取所述样本人体特征。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述基于所述样本物体的二维位置和所述样本人体的形态参数进行定位，得到所述样本物体的三维位置，包括：

基于所述二维位置，预测所述样本物体在三维空间的初始位置；

基于所述初始位置和所述形态参数，构建以所述初始位置的修正参数为优化目标的动作分类损失；

基于所述动作分类损失，优化得到所述修正参数，并基于所述修正参数对所述初始位置进行位置修正，得到所述三维位置。

7.根据权利要求6任一项所述的方法，其特征在于，在所述基于所述样本交互动作与所述第一预测交互动作的差异，以及所述样本分值与所述预测分值的差异，调整所述交互检测模型的网络参数之前，所述方法还包括：

基于所述形态参数和所述初始位置进行预测，得到所述样本人体的第二预测交互动作；

所述基于所述样本交互动作与所述第一预测交互动作的差异，以及所述样本分值与所述预测分值的差异，调整所述交互检测模型的网络参数，包括：

基于所述样本交互动作与所述第一预测交互动作的差异、所述样本分值与所述预测分值的差异，以及所述第一预测交互动作与所述第二预测交互动作的差异，调整所述交互检测模型的网络参数。