[发明专利]模型训练方法、动作识别方法、装置、设备以及存储介质

说明书

本申请公开了模型训练方法、动作识别方法、装置、设备以及存储介质，涉及计算机视觉及深度学习技术。具体实现方案为：提取训练集中多个视频样本的关键帧；针对每个所述视频样本的关键帧，基于所述关键帧及所述关键帧的前后N帧，获取所述关键帧的候选特征，所述N为正整数，所述候选特征用于描述所述关键帧的时间和/或空间特性；根据所述多个视频样本的关键帧的候选特征，确定所述多个视频样本间的相似度；基于所述多个视频样本间的相似度调整所述分类模型的模型参数，并对所述分类模型进行训练。该方案可以更快速准确地进行动作分类，改善动作识别效果。

技术领域

本申请实施例涉及计算机技术领域中的计算机视觉和深度学习技术，尤其涉及一种模型训练方法、动作识别方法、装置、设备以及存储介质。

背景技术

近来，动作识别技术因其在视频监控、游戏和机器人等领域的广泛应用而受到工业界的高度关注。通过动作识别技术，可以从视频里识别出目标对象的主要动作类型。

从视频序列中提取出有效的运动特征是动作识别中重要的一环。运动特征的提取对动作识别的准确度和鲁棒性都有重要影响，且同样的运动特征对不同类别的人体动作的描述能力可能并不相同。常见的运动特征(比如目标对象的形状、目标对象的运动轨迹、光流、局部时空兴趣点等)可以大致分为以下四类：基于目标对象的轮廓和形状的静态特征、基于光流或运动信息的动态特征、基于时空立方体的时空特征以及用于对目标对象进行描述的描述性特征。依据视频质量和应用场景的不同，往往可以选用不同类型的运动特征作为动作识别的基础。举例来说，在远景情况下，可以利用目标对象的运动轨迹进行轨迹分析，从而识别出目标对象的动作；而近景情况下，则可以利用从与目标对象相关的一系列图像序列中提取的信息，对目标对象的四肢与躯干进行二维或三维建模，从而完成对目标对象的动作识别。

发明内容

本申请提供了一种模型训练方法、动作识别方法、装置、设备以及存储介质，可以对视频序列中的目标对象进行更准确的动作识别。

根据本申请的第一方面，提供了一种分类模型训练方法，包括：

提取训练集中多个视频样本的关键帧；

针对每个所述视频样本的关键帧，基于所述关键帧及所述关键帧的前后N帧，获取所述关键帧的候选特征，所述N为正整数，所述候选特征用于描述所述关键帧的时间和/或空间特性；

根据所述多个视频样本的关键帧的候选特征，确定所述多个视频样本间的相似度；

基于所述多个视频样本间的相似度调整所述分类模型的模型参数，并对所述分类模型进行训练。

根据本申请的第二方面，提供了一种动作识别方法，包括：

获取待识别视频；

提取所述待识别视频的关键帧；

基于所述关键帧及所述关键帧的前后N帧，获取所述关键帧的候选特征，所述N为正整数，所述候选特征用于描述所述关键帧的时间和/或空间特性；

将所述关键帧的候选特征，输入至分类模型中，获得所述待识别视频中动作对象的动作类型，所述分类模型根据上述第一方面所述的分类模型训练方法训练得到。

根据本申请的第三方面，提供了一种分类模型训练装置，包括：

提取模块，用于提取训练集中多个视频样本的关键帧；

获取模块，用于针对每个所述视频样本的关键帧，基于所述关键帧及所述关键帧的前后N帧，获取所述关键帧的候选特征，所述N为正整数，所述候选特征用于描述所述关键帧的时间和/或空间特性；

确定模块，用于根据所述多个视频样本的关键帧的候选特征，确定所述多个视频样本间的相似度；