[发明专利]基于视频流的动作类型识别方法、装置及穿戴设备

说明书

本公开提供了一种基于视频流的动作类型识别方法、装置及穿戴设备，涉及人工智能领域，具体涉及计算机视觉和深度学习技术，具体可用于智慧城市和智能家居场景下。包括：获取视频流中每帧图像中的各对象的二维关键点信息，根据各二维关键点信息，确定各帧图像中属于同一对象的二维关键点信息，根据同一对象的所有二维关键点信息，预测得到同一对象的三维关键点信息，对每一对象的三维关键点信息进行分析，得到每一对象的动作类型，通过确定属于同一对象的二维关键点信息，以从整体上确定可能的动作类型，可提高对动作类型预测的可靠性，且通过三维关键点信息确定动作类型，可提高确定动作类型的信息的丰富程度，提高了确定出的动作类型的准确性。

技术领域

本公开涉及人工智能领域，具体涉及计算机视觉和深度学习技术，具体可用于智慧城市和智能家居场景下，尤其涉及一种基于视频流的动作类型识别方法、装置及穿戴设备。

背景技术

随着人工智能技术地发展和普遍应用，基于人工智能分析用户的动作类型(如运动类型和摔倒类型等)备受关注。

在现有技术中，大多数应用提供的动作类型的识别服务是基于红外检测技术实现，如用户可以佩戴智能手环或智能手表，智能手环或智能手表基于红外检测技术捕捉用户的模糊人像以及场景，以确定用户的人体动作信息，从而预测得到用户的动作类型。

然而，由于人体动作相对具有复杂性，因此，基于红外检测技术获取的人体动作信息往往不够精确，从而导致无法准确预测用户的动作类型。

发明内容

本公开提供了一种用于提高预测动作类型的准确性的基于视频流的动作类型识别方法、装置及穿戴设备。

根据本公开的第一方面，提供了一种基于视频流的动作类型识别方法，包括：

获取视频流中每帧图像中的各对象的二维关键点信息；

根据各所述二维关键点信息，确定各帧图像中属于同一对象的二维关键点信息，并根据同一对象的所有二维关键点信息，预测得到同一对象的三维关键点信息；

对每一对象的三维关键点信息进行分析，得到所述每一对象的动作类型。

根据本公开的第二方面，提供了一种动作识别模型的训练方法，包括：

获取目标对象在样本视频中的每一样本图像帧，并获取所述每一样本图像帧中的各样本三维关键点信息；

根据所述每一样本图像帧中的各样本三维关键点信息，确定所述目标对象对应于预设关键点组的样本运动关系信息，所述预设关键点组包括起始关键点和结束关键点；

根据所述样本运动关系信息对预设基础网络模型的参数进行调整，得到动作识别模型，所述动作识别模型用于对如第一方面所述每一对象的三维关键点信息进行分析，以得到每一对象的动作类型。

根据本公开的第三方面，提供了一种基于视频流的动作类型识别装置，包括：

第一获取单元，用于获取视频流中每帧图像中的各对象的二维关键点信息；

第一确定单元，用于根据各所述二维关键点信息，确定各帧图像中属于同一对象的二维关键点信息；

预测单元，用于根据同一对象的所有二维关键点信息，预测得到同一对象的三维关键点信息；

分析单元，用于对每一对象的三维关键点信息进行分析，得到所述每一对象的动作类型。

根据本公开的第四方面，提供了一种动作识别模型的训练装置，包括：

第二获取单元，用于获取目标对象在样本视频中的每一样本图像帧，并获取所述每一样本图像帧中的各样本三维关键点信息；