[发明专利]动作检测方法和动作检测模型的训练方法及相关装置

说明书

本申请公开了一种动作检测方法和动作检测模型的训练方法及相关装置，其中，动作检测方法包括：对待测图像序列进行特征提取，得到待处理特征；并对模板图像序列的模板特征和待处理特征进行匹配处理，得到匹配特征；再基于匹配特征进行预测，确定待测图像序列的动作检测结果，动作检测结果包括待测图像序列是否存在模板图像序列对应的模板动作。上述方案，能够提高动作检测的适用性。

技术领域

本申请涉及图像处理技术领域，特别是涉及一种动作检测方法和动作检测模型的训练方法及相关装置。

背景技术

在现实生活中，对动作进行识别或查找在众多场景中格外重要。例如，在图像搜索场景中，通过动作检测，有助于相关人员快速缩小搜索范围；或者，在视频查找场景中，通过对视频中的帧图像进行动作检测，有助于快速定位到对应视频内容，如此种种，不一而足。

目前，动作检测一般是采用深度学习模型对待测图像进行直接预测，该预测的动作类别只能是在对深度学习模型进行训练的过程中样本数据的动作类别。若需添加新的检测动作类别时，必须采用新动作类别的样本数据对深度学习模型进行重新训练，降低了动作检测的效率。有鉴于此，如何提高动作检测的适用性成为亟待解决的问题。

发明内容

本申请主要解决的技术问题是提供一种动作检测方法和动作检测模型的训练方法及相关装置，能够提高动作检测的适用性。

为了解决上述技术问题，本申请第一方面提供了一种动作检测方法，包括：对待测图像序列进行特征提取，得到待处理特征，并对模板图像序列的模板特征和待处理特征进行匹配处理，得到匹配特征，再利用匹配特征进行预测，确定待测图像序列的动作检测结果，动作检测结果包括待测图像序列是否存在模板图像序列对应的模板动作。

为了解决上述技术问题，本申请第二方面提供了一种动作检测模型的训练方法，包括：利用动作检测模型的特征提取网络分别对样本待测图像序列和样本模板图像序列进行特征提取，得到样本待测图像序列样本待测特征和样本模板图像序列的样本模板特征；并利用匹配模块对样本模板特征和样本待测特征进行匹配处理，得到样本匹配特征；再利用预测模块基于样本匹配特征进行预测，确定样本待测图像序列的样本动作检测结果；最后，基于样本动作检测结果，调整动作检测模型的网络参数。

为了解决上述技术问题，本申请第三方面提供了一种电子设备，包括相互耦接的存储器和处理器，存储器中存储有程序指令，处理器用于执行程序指令以实现上述第一方面中的动作检测方法或上述第二方面中的动作检测模型的训练方法。

为了解决上述技术问题，本申请第四方面提供了一种计算机可读存储介质，存储有能够被处理器运行的程序指令，程序指令用于实现上述第一方面中的动作检测方法或上述第二方面中的动作检测模型的训练方法。

上述方案，通过对待测图像序列进行特征提取，得到待处理特征，并对模板图像序列的模板特征和待处理特征进行匹配处理，得到匹配特征。在此基础上，利用匹配特征进行预测，确定待测图像序列的动作检测结果，动作检测结果包括待测图像序列是否存在模板图像序列对应的模板动作，一方面通过对基于待处理特征与模板特征得到的匹配特征进行预测，实现对待测图像序列是否存在模板图像序列中的模板动作的检测，相比于直接利用待测图像序列的图像特征进行预测，能够提高动作检测的准确性，而且由于直接利用待测图像序列的图像特征进行预测，预测网络只能预测已知模板动作，而本方案通过匹配特征确定待测图像序列是否存在模板图像序列中的模板动作，即使预测网络在预测之前未知模板图像序列中的模板动作，也可实现其模板动作的检测，即实现对预测网络在预测之前未知的模板动作的检测，进而提高动作检测的适用性；另一方面，利用匹配特征进行预测，能够尽可能地提高动作检测的简单性和高效性。