[发明专利]动作识别方法、装置、设备及存储介质

权利要求书

1.一种动作识别方法，其特征在于，包括以下步骤：

获取视频流，所述视频流包括目标用户使用目标工具实施目标工序时的多个图像帧，其中所述目标工序是装配生产线上的任意一个工序；

从所述多个图像帧中确定与第一时刻对应的目标图像帧、第一图像集合和第二图像集合，所述第一图像集合包括多个第一参考图像帧，所述第二图像集合包括多个第二参考图像帧，所述目标图像帧的起始播放时刻滞后于所述多个第一参考图像帧的结束播放时刻，且所述目标图像帧的结束播放时刻早于所述多个第二参考图像帧的起始播放时刻；

根据在所述视频流中的顺序分别提取所述目标图像帧、多个所述第一参考图像帧和多个所述第二参考图像帧中每一帧图像中所述目标用户的肢体关键点位置信息和工具关键点位置信息，其中所述工具关键点位置信息是将所述目标图像帧、多个所述第一参考图像帧和多个所述第二参考图像帧输入第一预设模型后得到，其中所述肢体关键点位置信息是将所述目标图像帧、所述第一参考图像帧和所述第二参考图像帧输入第二预设模型后得到；

根据属于同一图像帧的肢体关键点位置信息和工具关键点位置信息构建位置关系图像帧；

根据所有所述图像帧对应的位置关系帧获取时序结构图像序列；

将所述时序结构图像序列输入第三预设模型以得到所述目标图像帧中所述目标用户的目标动作类型，其中所述第三预设模型是根据所述肢体关键点位置信息、工具关键点位置信息和目标动作类型进行训练得到；

所述方法还包括：

获取预设时长内连续多个所述第一时刻对应的多类所述目标动作类型；

按照所述第一时刻由前到后的顺序，对多类所述目标动作类型排序生成目标排序结果；

若所述目标排序结果与标准排序结果不一致，则获取所述目标用户与所述目标工序对应的当前操作得分；

对所述当前操作得分和预设单位分值相减计算，并根据所述相减计算的结果更新所述当前操作得分。

2.如权利要求1所述的动作识别方法，其特征在于，在所述根据所述相减计算的结果更新所述当前操作得分之后，还包括：

获取所述目标用户实施所述目标工序时的初始操作得分；

计算所述当前操作得分和所述初始操作得分的得分差值；

根据所述得分差值确定所述目标用户实施所述目标工序的出错率。

3.如权利要求2所述的动作识别方法，其特征在于，在所述根据所述得分差值确定所述目标用户实施所述目标工序的出错率之后，还包括：

获取所述目标工序的工序标识；

获取所述目标用户的用户标识；

根据所述用户标识、所述工序标识和所述出错率生成装配报告。

4.如权利要求1所述的动作识别方法，其特征在于，在所述根据所述相减计算的结果更新所述当前操作得分之后，还包括：

在所述当前操作得分小于预设得分阈值时，则向预设的控制平台发送携带所述目标用户的用户标识的报警消息。

5.如权利要求1所述的动作识别方法，其特征在于，在目标时段内，所述目标工序所在的装配生产线还包括多个工序；在所述根据所述相减计算的结果更新所述当前操作得分之后，所述方法还包括：

获取操作得分集合，所述操作得分集合包括所述目标工序所在的装配生产线中各工序对应的操作总分，所述操作总分包括所述目标时段内，所述装配生产线上的每个工序对应的所有用户的所有所述当前操作得分的得分之和；

根据所述操作总分得到所述装配生产线上的每个工序的热力值分布信息；

根据所述得分集合得到热力值分布信息，所述热力值分布信息包括所述各工序的热力值；

根据所述装配生产线中各工序对应的所有所述热力值分布信息生成所述装配生产线的热力图；

向预设的控制平台发送所述热力图。

6.如权利要求1所述的动作识别方法，其特征在于，在所述按照所述第一时刻由前到后的顺序，对多类所述目标动作类型排序生成目标排序结果之后，还包括：

若所述目标排序结果与所述标准排序结果一致，则获取所述目标用户与所述目标工序对应的当前操作得分；

对所述当前操作得分和预设单位分值求和计算，并根据所述求和计算的结果更新所述当前操作得分。