[发明专利]视频数据中动作识别方法、系统、设备与存储介质

权利要求书

1.一种视频数据中动作识别方法，其特征在于，包括：

获取动作识别模型从视频数据中提取的原始视频特征张量；

采用视频数据多内容依赖建模的方式，对所述原始视频特征张量，从不同方向以不同尺度进行池化，获得多组压缩后的依赖特征张量，再利用卷积层进行依赖激活，获得相应的依赖表征；

利用询问结构的注意力机制，引入查询向量与所有依赖表征进行匹配，根据匹配响应强度计算各种依赖表征的权重并加权求和获得最终的依赖表征，以所述最终的依赖表征对原始视频数据特征张量进行门限操作，获得优化后的视频数据特征张量；

将所述优化后的视频数据特征张量输入至所述动作识别模型，获得动作识别结果。

2.根据权利要求1所述的一种视频数据中动作识别方法，其特征在于，对所述原始视频特征张量，从不同方向以不同尺度进行池化之前包括：

使用卷积层与ReLU激活函数将所述原始视频特征张量从C个通道压缩到C/r_c个通道，生成的视频特征张量记为其中，为实数集；T、H与W依次表示视频特征张量的长度、高度与宽度，r_c表示压缩系数。

3.根据权利要求2所述的一种视频数据中动作识别方法，其特征在于，从不同方向以不同尺度进行池化包括：

将池化核记为记平均池化操作为pool_avg()，从视频特征张量Y′计算压缩后的依赖特征张量的过程表示为：

其中，p_t，p_h，p_w表示池化核感受野的大小，不同的p_t，p_g，p_w大小对应不同方向与不同尺度。

4.根据权利要求2所述的一种视频数据中动作识别方法，其特征在于，利用卷积层进行依赖激活，获得相应的依赖表征包括：

将卷积核记为记卷积操作为Conv_3d()，对依赖特征张量A进行卷积操作获得相应的依赖表征的过程为：

其中，c_t，c_h，c_w表示卷积核的大小。

5.根据权利要求3或4所述的一种视频数据中动作识别方法，其特征在于，所述视频数据多内容依赖建模中设置了两组内容依赖：

第一组为长距离内容依赖，所述长距离内容依赖从时间、空间和时空三个角度反应了视频内容之间的关系：当池化核为时，反应长距离时空依赖，相应的卷积层的卷积核为当池化核为时，反应长距离时间依赖，相应的卷积层的卷积核为当池化核为时，反应长距离空间依赖，相应的卷积层的卷积核为

第二组为短距离内容依赖，其聚焦于压缩在局部时空感受野中的信息，相应的池化核为相应的卷积层的卷积核为

其中，1＜a，c＜min(H，W)，1＜b，d＜T。

6.根据权利要求1所述的一种视频数据中动作识别方法，其特征在于，利用询问结构的注意力机制，引入查询向量与所有依赖表征进行匹配，根据匹配响应强度计算各种依赖表征的权重并加权求和获得最终的依赖表征包括：

引入可学习的询问向量q，并且将所有依赖表征通过全局平均池化层压缩到M×C/r_c维度的矩阵K作为注意力机制中的键：

将拼接作为值：

其中，M为依赖表征的数目，C表示视频特征张量的通道数，r_c表示压缩系数；

通过如下公式计算查询向量与依赖表征的向量内积获得各个依赖表征的匹配响应强度作为后续加权求和的权重值：

Attention(q，K)＝softmax(q×K^T)

通过加权求和得到最终的依赖表征：

R_sec＝Attention(q，K)×V

其中，softmax()表示softmax函数，T为矩阵转置符号，×代表矩阵乘法。