[发明专利]基于人体姿态识别的融合特征运动类视频关键帧提取方法

权利要求书

1.一种基于人体姿态识别的融合特征运动类视频关键帧提取方法，其特征在于，包括以下步骤：

S1.对目标视频段进行逐帧分割，将视频分割为一系列视频帧；

S2.用残差网络进行静态特征提取，将数据进行降维处理，得到的视频帧静态特征S_s＝[S_s1，S_s2，...，S_sT]；

S3.对三维空间中人体的骨骼数据进行抽象，对视频帧进行运动特征的提取，得到运动特征S_d＝[S_d1，S_d2，...，S_dT]；

S4.将提取出的静态特征S_s和运动特征S_d按照权重大小做线性加权处理，S＝mS_s+nS_d，m和n分别为静态特征的权重因子和运动特征的权重因子；

S5.对融合后的特征通过自注意力机制提取全局特征，而后计算视频帧的重要性，通过伯努利函数采取相应动作关键帧的提取，并使用强化学习进行结果集的优化。

2.根据权利要求1所述的基于人体姿态识别的融合特征运动类视频关键帧提取方法，其特征在于，步骤S3的具体方法如下：

S31.针对视频中的每一帧进行人体骨架提取，并使用轻量级HRNet进行人体姿态分析；

S32.将视频每一帧识别出的骨骼关键点坐标及置信度作为输入，根据骨骼之间的物理联系构建拓扑图，而后对其进行批归一化处理；

S33.将处理后的数据经过多个S-GCN单元进行特征提取，为不同的躯干赋予不同的权重系数，得到视频的特征表示S_d＝{S_d1，S_d2，...，S_dT}。

3.根据权利要求2所述的基于人体姿态识别的融合特征运动类视频关键帧提取方法，其特征在于，步骤S31的具体方法如下：

S311.每个阶段每个分支的子网包括两个残差块和一个多分辨率融合模块；

S312.以ShuffleNet的Shuffle模块替换掉了原网络中所有的残差块，Shuffle模块将通道分为两部分，一部分直接通过，不进行任何卷积操作，而另一部分，需进行深度可分离卷积；

S313.将深度可分离卷积中的卷积用通道加权替换，通过平均池化下采样，并调整到与最小分辨率相同的尺寸，将处理好后i个分支不同分辨率的特征图进行通道相加的特征融合，利用SE模块得到权重矩阵W_t，将权重矩阵W_t对每个分支进行上采样操作，恢复到原有尺寸，并对通道进行加权。

4.根据权利要求l所述的基于人体姿态识别的融合特征运动类视频关键帧提取方法，其特征在于，步骤S5的具体方法如下：

S51.通过双向掩码建模视频帧之间的位置信息；

S52.在得到视频序列的全局上下文信息后，基于全局相关性特征计算出特征匹配度，然后采用全连接层预测视频帧的重要性分数score；

S53.得到每一个视频帧的帧得分之后，通过伯努利分布针对相应动作进行关键帧的选择a_t～B(Y)，a_t表示为把当前帧作为关键帧的概率；

S54.使用强化学习评判提取的关键帧结果集质量的高低，使用状态-动作值为结果集重要性与多样性的和进行表征，用关键帧集合对完整视频信息的覆盖能力来评估结果集的重要性，用所选帧之间特征空间的差异大小来评估结果集的多样性。

5.根据权利要求4所述的基于人体姿态识别的融合特征运动类视频关键帧提取方法，其特征在于，步骤S51的具体方法如下：

S511.正向掩码表示注意力权重至于当前位置之前的计算结果有关，反向掩码表示当前位置的权重至于之后的计算结果有关；

S512.输入T帧视频X＝{x_i|i＝1，...，T}，每一帧包含了N个关键点，通过自注意力机制，计算出相关系数

其中t，i∈[0，T)，U和V分别为两帧的权重矩阵，M为位置编码矩阵，正向掩码则保留上三角信息，反向掩码则保留下三角信息，λ是融合特征矩阵特征值，s_t是当前帧的融合特征，s_i是该帧前后帧的融合特征；

S513.将相关系数与帧的相对位置信息结合，得到并将正反两个方向融合，映射回原视频帧序列，得到包含上下文信息的序列c＝{c_t|t＝1，...，T}。