[发明专利]基于多角度视频的动作识别方法及相关设备

权利要求书

1.一种基于多角度视频的动作识别方法，其特征在于，包括：

获取针对目标对象采用多个不同的拍摄角度拍摄得到的N个检测视频，其中，N为大于等于2的正整数；

对所述N个检测视频中的任一检测视频进行图像帧抽取处理，得到所述任一检测视频的一个或多个参考图像帧，并根据任一参考图像帧的重要度分数，对相应参考图像帧进行加权融合处理，得到M个动作描述图，其中，M为正整数，一个动作描述图用于对检测视频中的目标对象在相应拍摄角度下执行的动作信息进行记录；

对每个动作描述图记录的动作信息进行信息融合处理，得到用于描述所述目标对象在多个不同拍摄角度的动作信息的动作融合描述图；

根据所述动作融合描述图对所述目标对象执行的动作进行识别处理，得到针对所述目标对象的动作识别结果，所述动作识别结果用于表征所述目标对象是否执行目标动作；

其中，得到任一参考图像帧的重要度分数包括：获取用于表征所述一个或多个参考图像帧中的任一参考图像帧在对应检测视频中的显示时间的时间序列，所述时间序列包括的一个显示时间与一个参考图像帧相对应；基于所述时间序列，对所述任一参考图像帧的显示时间进行调和处理，得到用于表征相应显示时间在进行动作描述时的时间重要度；将所述时间重要度作为与相应显示时间对应的任一参考图像帧的重要度分数。

2.如权利要求1所述的方法，其特征在于，任一动作描述图是通过调用多分支卷积神经网络的一个分支网络，对任一检测视频进行图像帧抽取处理和加权融合处理后得到的，所述多分支卷积神经网络还包括主干网络；所述对每个动作描述图记录的动作信息进行信息融合处理，得到用于描述所述目标对象在多个不同拍摄角度的动作信息的动作融合描述图，包括：

调用任一分支网络对所述M个动作描述图中的任一动作描述图所记录的动作信息进行提取，得到所述任一动作描述图在对应拍摄角度下的动作信息；

调用所述主干网络对由每个动作描述图提取到的对应拍摄角度下的动作信息进行信息融合处理，得到用于描述所述目标对象在多个不同拍摄角度的动作信息的动作融合描述图。

3.如权利要求1所述的方法，其特征在于，一个动作描述图是对一个检测视频进行图像帧抽取处理和加权融合处理得到的；所述重要度分数用于表征相应参考图像帧的重要程度。

4.如权利要求3所述的方法，其特征在于，所述对任一检测视频进行图像帧抽取处理，得到所述任一检测视频的一个或多个参考图像帧，包括：

基于任一检测视频中各图像帧的显示顺序对所述任一检测视频进行图像帧抽取处理，得到所述任一检测视频对应的表征序列，将所述表征序列中包括的图像帧作为参考图像帧，或者；

获取滑动窗口，并基于所述滑动窗口对所述任一检测视频进行图像帧抽取处理，将处于所述滑动窗口内的图像帧作为参考图像帧。

5.如权利要求3所述的方法，其特征在于，采用重要度分数对相应参考图像帧进行加权求和，得到所述任一检测视频对应的动作描述图的方式包括：

若采用第一算法得到动作描述图，则步骤为：获取所述一个或多个参考图像帧中每个参考图像帧的特征向量；

采用任一参考图像帧的重要度分数，对相应特征向量进行加权求和，得到所述任一检测视频的表征向量；

对所述表征向量进行还原重构处理，得到所述任一检测视频的动作描述图。

6.如权利要求5所述的方法，其特征在于，所述第一算法由第一表达式进行表示；所述方法还包括：

获取动作描述图的理论表达式，并对所述理论表达式进行一步近似求导处理，得到所述动作描述图的近似表达式，所述近似表达式用于表征在所述动作描述图中对应像素变化的梯度变化；

基于所述一个或多个参考图像帧中各参考图像帧对应的显示时间，从所述一个或多个参考图像帧中确定出对应显示时间具备先后关系的参考图像帧，并计算所述对应显示时间具备先后关系的参考图像帧之间的图像差值；

采用所述图像差值的表达式对所述近似表达式中表征的梯度变化进行相似替换，并根据相似替换后的表达式确定所述动作描述图的第一表达式。