[发明专利]动作识别方法、装置、存储介质及电子设备

权利要求书

1.一种动作识别方法，其特征在于，所述方法包括：

获取目标视频片段；

将所述目标视频片段输入预先训练的骨骼点识别模型，得到对应所述目标视频的骨骼点热图；

将所述骨骼点热图输入多个预先训练的动作识别模型，得到多个识别结果，其中，各个所述动作识别模型的训练方法、模型结构以及采样频率至少有一者不同；

确定所述多个识别结果中置信度最高的识别结果为对应所述目标视频片段的目标动作类型。

2.根据权利要求1所述的方法，其特征在于，所述多个预先训练的动作识别模型包括训练完成的第一残差模型，所述第一残差模型为ResNet152模型，

所述方法包括：

获取包括预先标注动作类型的训练数据，所述训练数据包括多个视频片段对应的骨骼点热图；

将全量所述训练数据作为训练集输入未经训练的第一残差模型，得到第一识别结果；

根据所述识别结果调整该第一残差模型的参数，直至第一识别结果满足预设条件，得到训练完成的第一残差模型。

3.根据权利要求1所述的方法，其特征在于，所述多个预先训练的动作识别模型包括训练完成的第二残差模型，所述第二残差模型包括残差块，以及与所述残差块连接的第一压缩激发块；

所述将所述骨骼点热图输入多个预先训练的动作识别模型，得到多个识别结果包括：

将所述骨骼热点图输入所述第二残差模型的所述残差块，得到第一特征图；

将所述第一特征图输入所述第一压缩激发块，得到调整时域特征权重后的第二特征图；

根据所述骨骼热点图、所述第一特征图以及所述第二特征图，得到第二残差模型输出的识别结果。

4.根据权利要求3所述的方法，其特征在于，所述第二残差模型还包括与所述残差块连接的第二压缩激发块；

所述将所述骨骼点热图分别输入多个预先训练的动作识别模型，得到多个识别结果包括：

将所述第一特征图输入所述第二压缩激发块，得到调整空间特征权重后的第三特征图；

根据所述骨骼热点图、所述第一特征图、所述第二特征图以及第三特征图，得到第二残差模型输出的识别结果。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

获取包括预先标注动作类型标签的训练数据，所述训练数据包括多个视频片段对应的骨骼点热图；

将所述训练数据输入未经训练的第二残差模型，得到该第二残差模型输出的第二识别结果；

对比所述第一识别结果与所述动作类型标签，调整时域特征权重控制值和/或空间特征权重控制值，直至所述第二识别结果满足预设条件，得到训练完成的第二残差模型。

6.根据权利要求1所述的方法，其特征在于，所述动作识别模型包括第三残差模型，所述方法包括：

获取包括预先标注动作类型标签的训练数据，所述训练数据包括多个视频片段对应的骨骼点热图；

将所述训练数据按照预设比例划分为训练集以及验证集；

根据所述训练集，训练多个ResNet152模型作为教师模型；

将所述验证集去除动作类型标签输入所述教师模型，得到动作类型标签更新后的预测集；

根据所述训练集以及所述预测集并基于蒸馏损失，训练未经训练的ResNet50模型得到训练完成的第三残差模型。

7.根据权利要求6所述的方法，其特征在于，所述动作识别模型包括第四残差模型，所述方法包括：

根据所述验证集以及所述教师模型，得到对应所述验证集的混淆矩阵；

将所述混淆矩阵的对角线置零，得到样本错分矩阵；

根据所述样本错分矩阵，计算得到各动作类别的错分比例；

根据所述错分比例、Sigmoid函数以及哈达玛积，得到代价敏感矩阵；

基于所述代价敏感矩阵，得到混淆矩阵损失函数；

根据所述训练集以及所述预测集并基于所述混淆损失函数，训练未经训练的ResNet50模型得到训练完成的第四残差模型。