[发明专利]动作检测方法和动作检测模型的训练方法及相关装置

权利要求书

1.一种动作检测方法，其特征在于，包括：

对待测图像序列进行特征提取，得到待处理特征；

对模板图像序列的模板特征和所述待处理特征进行匹配处理，得到匹配特征；

基于所述匹配特征进行预测，确定所述待测图像序列的动作检测结果，所述动作检测结果包括所述待测图像序列是否存在所述模板图像序列对应的模板动作。

2.根据权利要求1所述的方法，其特征在于，所述动作检测结果包括所述待测图像序列中存在所述模板动作的位置信息和所述位置信息的置信度。

3.根据权利要求1所述的方法，其特征在于，所述对模板图像序列的模板特征和所述待处理特征进行匹配处理，得到匹配特征，包括：

利用所述模板特征和所述待处理特征进行第一融合处理，得到相似度特征；以及

利用所述模板特征和所述待处理特征进行互相关处理，得到互相关特征；

对所述相似度特征和互相关特征进行第二融合处理，得到所述匹配特征。

4.根据权利要求3所述的方法，其特征在于，所述利用所述模板特征和所述待处理特征进行第一融合处理，得到相似度特征，包括：

对所述模板特征进行降采样处理；

对所述降采样处理后的模板特征与所述待处理特征进行所述第一融合处理，得到所述相似度特征。

5.根据权利要求4所述的方法，其特征在于，所述对所述模板特征进行降采样处理，包括：

对所述模板特征分别进行第一池化处理和第二池化处理，对应得到第一池化特征和第二池化特征；

融合所述第一池化特征和第二池化特征，得到所述降采样处理后的模板特征。

6.根据权利要求5所述的方法，其特征在于，所述模板特征和所述待处理特征、所述第一池化特征、所述第二池化特征、所述降采样处理后的模板特征的维度均为预设维度;

所述融合所述第一池化特征和第二池化特征，得到所述降采样处理后的模板特征，包括：

对所述第一池化特征和第二池化特征进行拼接，得到维度为所述预设维度的两倍的拼接特征；

对所述拼接特征进行降维处理，得到所述预设维度的所述降采样处理后的模板特征。

7.根据权利要求1所述的方法，其特征在于，所述对待测图像序列进行特征提取，得到待处理特征；对模板图像序列的模板特征和所述待处理特征进行匹配处理，得到匹配特征；基于所述匹配特征进行预测，确定所述待测图像序列的动作检测结果的步骤，包括：

利用动作检测模型的特征提取网络对待测图像序列进行特征提取，得到待处理特征；

利用所述动作检测模型的匹配网络对模板图像序列的模板特征和所述待处理特征进行匹配处理，得到匹配特征；

利用所述动作检测模型的预测网络基于所述匹配特征进行预测，确定所述待测图像序列的动作检测结果。

8.根据权利要求7所述的方法，其特征在于，所述模板特征是利用所述特征提取网络或模板特征提取网络对模板图像序列进行特征提取得到的，所述模板特征提取网络和所述特征提取网络的网络结构和参数相同。

9.根据权利要求7所述的方法，其特征在于，在所述动作检测模型训练过程中，所述特征提取网络包括第一子网络和第二子网络，所述第一子网络和所述第二子网络的网络结构和参数相同，所述动作检测模型通过如下方式进行训练：

利用所述第一子网络对样本待测图像序列进行特征提取，得到样本待测特征；以及

利用第二子网络对样本模板图像序列进行特征提取，得到样本模板特征；

利用所述匹配网络对所述样本模板特征和所述样本待测特征进行匹配处理，得到样本匹配特征；

利用所述预测网络基于所述样本匹配特征进行预测，确定所述样本待测图像序列的样本动作检测结果；

基于所述样本动作检测结果，调整所述动作检测模型的网络参数；

其中，所述动作检测模型训练完成后，将所述第一子网络和所述第二子网络中的至少一个作为训练完成后的动作检测模型中的所述特征提取网络。