[发明专利]交互检测模型的训练方法、交互检测方法及相关设备

说明书

本申请公开了一种交互检测模型的训练方法、交互检测方法及相关设备，该方法包括：基于交互检测模型的特征提取网络对样本视频数据中样本图像进行处理，得到样本图像中样本人体的样本人体特征；基于交互检测模型的动作分类网络对样本人体特征进行分类，得到样本人体的第一预测交互动作；基于样本物体的二维位置和样本人体的形态参数进行定位，得到样本物体的三维位置；基于形态参数和三维位置进行预测，得到样本物体的预测分值；基于样本交互动作与第一预测交互动作的差异，以及样本分值与预测分值的差异，调整交互检测模型的网络参数。上述方案，能够提高人物交互关系的检测精度。

技术领域

本申请涉及计算机视觉技术领域，特别是涉及一种交互检测模型的训练方法、交互检测方法及相关设备。

背景技术

时空人物关系检测旨在检测视频中发生的人物交互关系，时空人物关系检测对于视频行为理解来说尤为重要。在日常的人物交互过程中，人可能会和周围环境中存在的各种各样的物体产生交互，例如，在做家务时可能会拿起或者触碰数十种不同的家具。

目前，对时空人物关系检测的方式通常只关注人本身的动作，限制了人物交互关系检测精度的提升。

发明内容

本申请至少提供一种交互检测模型的训练方法、交互检测方法及相关设备。

本申请第一方面提供了一种交互检测模型的训练方法，该方法包括：基于交互检测模型的特征提取网络对样本视频数据中样本图像进行处理，得到样本图像中样本人体的样本人体特征；其中，样本视频数据标注有表征样本物体是否与样本人体发生交互的样本分值，以及与样本物体发生交互的样本人体的样本交互动作；基于交互检测模型的动作分类网络对样本人体特征进行分类，得到样本人体的第一预测交互动作；基于样本物体的二维位置和样本人体的形态参数进行定位，得到样本物体的三维位置；其中，二维位置基于样本人体特征定位得到；基于形态参数和三维位置进行预测，得到样本物体的预测分值；其中，预测分值表示样本物体存在人物交互的可能性；基于样本交互动作与第一预测交互动作的差异，以及样本分值与预测分值的差异，调整交互检测模型的网络参数。

因此，基于样本交互动作与第一预测交互动作的差异，以及样本分值与预测分值的差异，调整交互检测模型的网络参数。故，一方面，使得表示样本物体存在人物交互的可能性的预测分值逼近表征样本物体是否与样本人体发生交互的样本分值，由于预测分值是基于样本物体的三维位置预测得到，所以使得定位得到的样本物体的三维位置逼近样本物体的真实三维位置，即驱使对样本物体的定位尽可能精确，而对样本物体的定位是基于样本人体特征实现的，从而可从定位层面迫使交互检测模型尽可能提取与人体的交互动作紧密相关的人体特征，即可从定位层面迫使交互检测模型提取的人体特征尽可能准确；另一方面，使得第一预测交互动作逼近样本交互动作，而第一预测交互动作是基于人体特征预测得到的，从而可从分类层面迫使交互检测模型尽可能提取与人体的交互动作紧密相关的人体特征，即可从分类层面迫使交互检测模型的提取的人体特征尽可能准确。所以，从定位层面和分类层面两个维度对交互检测模型进行优化，使得后续交互检测模型在对人体的交互动作进行分类检测时，能够同时关注人体本身的动作和与人体存在人物交互的交互物体的位置信息，从而使交互检测模型能够提取与人体交互动作紧密相关的人体特征即交互检测模型能够准确提取人体特征，进而提高交互检测模型对人物交互关系的检测精度，减少了长尾关系分布下的误检。

其中，基于样本人体特征定位得到二维位置，包括：基于样本人体特征和样本物体的样本物体特征共同定位得到样本物体的二维位置。

因此，可通过样本人体特征和样本物体的样本物体特征定位得到样本物体的二维位置，从而能够通过样本物体特征辅助样本人体特征进行样本物体的二维定位，有利于提升二维定位的精度。