[发明专利]视频动作识别模型的训练、识别方法、装置以及介质

权利要求书

1.一种视频动作识别模型的训练方法，其中，视频动作识别模型包括：残差注意力网络模型、隐马尔可夫网络模型和融合模型；所述方法包括：

使用所述残差注意力网络模型并基于与视频样本相对应的样本帧特征信息，获得与所述视频样本相对应的样本帧空间特征信息；

根据所述样本帧特征信息和所述样本帧空间特征信息生成样本帧融合特征信息，使用所述隐马尔可夫网络模型并基于所述样本帧融合特征信息，获得与所述视频样本相对应的样本帧时序特征信息；

利用所述融合模型对所述样本帧空间特征信息和所述样本帧时序特征信息进行融合以及识别处理，获得与所述视频样本相对应的动作类别；

根据与所述视频动作识别模型相对应的总体损失函数，对所述残差注意力网络模型、所述隐马尔可夫网络模型进行调整。

2.如权利要求1所述的方法，还包括：

构建与所述残差注意力网络模型相对应的第一损失函数；

构建与所述隐马尔可夫网络模型相对应的第二损失函数；

基于所述第一损失函数、所述第二损失函数以及对应的平衡系数，生成所述总体损失函数。

3.如权利要求2所述的方法，所述构建与所述隐马尔可夫网络模型相对应的第二损失函数包括：

确定所述隐马尔可夫网络模型对于所述样本帧融合特征信息进行处理的后验概率信息；

基于所述后验概率信息生成目标函数；

根据所述目标函数构建所述第二损失函数；

其中，所述第二损失函数用于表征所述隐马尔可夫网络模型的参数值使所述目标函数为最小值时的参数值。

4.如权利要求1所述的方法，其中，所述残差注意力网络模型包括：不变分支子模型和变体分支子模型；所述使用所述残差注意力网络模型并基于与视频样本相对应的样本帧特征信息，获得与所述视频样本相对应的样本帧空间特征信息包括：

使用所述不变分支子模型并基于所述样本帧特征信息，获得与所述视频样本相对应的不变分支特征信息；

使用所述变体分支子模型并基于所述样本帧特征信息，获得与所述视频样本相对应的变体分支特征信息；

使用第一激活函数并基于所述不变分支特征信息和所述变体分支特征信息，生成所述样本帧空间特征信息。

5.如权利要求4所述的方法，其中，所述不变分支子模型包括：DW卷积层和PW卷积层；使用所述不变分支子模型并基于所述样本帧特征信息，获得与所述视频样本相对应的不变分支特征信息包括：

使用所述DW卷积层并基于所述样本帧特征信息，获得第一特征信息；

将所述第一特征信息输入所述PW卷积层，输出所述不变分支特征信息。

6.如权利要求4所述的方法，其中，所述变体分支子模型包括：下采样层、上采样层、变体分支卷积层；使用所述变体分支子模型并基于所述样本帧特征信息，获得与所述视频样本相对应的变体分支特征信息包括：

使用所述下采样层并基于所述样本帧特征信息，获得下采样特征信息；

使用所述上采样层并基于所述下采样特征信息和与所述样本帧特征信息相对应的残差信息，获得上采样特征信息；

使用所述变体分支卷积层并基于所述上采样特征信息，获得卷积特征信息；

使用第二激活函数并基于所述卷积特征信息，生成所述变体分支特征信息。

7.如权利要求1所述的方法，所述使用所述隐马尔可夫网络模型并基于所述样本帧融合特征信息，获得与所述视频样本相对应的样本帧时序特征信息包括：

使用所述隐马尔可夫网络模型对所述样本帧融合特征信息进行时序特征分析，生成与所述视频样本相对应的样本帧特征随机向量序列；

使用所述隐马尔可夫网络模型并基于所述样本帧特征随机向量序列，获得所述样本帧时序特征信息。