[发明专利]对象的行为识别方法及装置

说明书

本发明提供了一种对象的行为识别方法、装置、存储介质及电子装置，包括：对连续多帧图像中的目标对象的关键点进行检测，得到目标对象的关键点序列，其中，关键点序列中包括连续多帧图像中目标对象的关键点；对关键点序列进行分析，得到目标对象的静态特征和目标对象的动态特征；基于静态特征和所述动态特征，对目标对象的行为进行识别。通过本发明，解决了对人体行为预测效率和准确率低的问题，进而达到了利用人体关键点信息，对人体行为进行高效精确预测的效果。

技术领域

本发明涉及通信领域，具体而言，涉及一种对象的行为识别方法及装置。

背景技术

在日常生活中，行为识别技术具有较大的需求和实际应用价值，例如，可以识别人体的行为，比如可以通过检测目标人物是否处于摔倒、睡眠或疾病的状态，或者通过目标人物的健身、体育运动或舞蹈等的自动教学，以理解人体全身的肢体语言，确定人体当前动作的含义。在实际场景中，可以通过机场跑道信号、交警信号等对人体行为进行检测，以增强安保和监控等。

相关技术，通常使用神经网络模型对人体行为进行识别，通过神经网络模型对待处理的目标对象的图片进行人体检测，得到人体ROI区域，对ROI区域中的人体行为进行识别。然而，图片ROI区域中的人体图像一般是静态特征，而人体行为通常是动态的。仅基于静态特征分析人体的行为动作准确度较低。

针对相关技术中，人体行为识别准确度较低的问题，目前尚未存在有效的解决方案。

发明内容

本发明实施例提供了一种对象的行为识别方法及装置，以至少解决相关技术中人体行为识别准确度较低的问题。

根据本发明的一个实施例，提供了一种对象的行为识别方法，包括：一种对象的行为识别方法，其特征在于，包括：对连续多帧图像中的目标对象的关键点进行检测，得到目标对象的关键点序列，其中，所述关键点序列中包括所述连续多帧图像中所述目标对象的关键点；对所述关键点序列进行分析，得到所述目标对象的静态特征和所述目标对象的动态特征，其中，所述静态特征表示所述目标对象在同一帧图像中不同关键点的位置关系，所述动态特征表示不同帧图像中所述目标对象的相同关键点的位置关系；基于所述静态特征和所述动态特征，对所述目标对象的行为进行识别。

可选地，基于所述静态特征和所述动态特征，对所述目标对象的行为进行识别，包括：将所述静态特征输入行为识别神经网络模型的第一主干网络，通过所述第一主干网络对所述静态特征进行特征提取，得到目标静态特征；将所述动态特征输入所述行为识别神经网络模型的第二主干网络，通过所述第二主干网络对所述动态特征进行特征提取，得到目标动态特征；通过所述目标静态特征和所述目标动态特征，得到所述目标对象的行为识别结果。

可选地，所述通过所述目标静态特征和所述目标动态特征，得到所述目标对象的行为识别结果，包括：将所述目标静态特征和所述目标动态特征输入所述行为识别神经网络模型的全连接层；通过所述全连接层对所述目标静态特征和所述目标动态特征进行分析，得到目标对象的行为类别，其中，所述目标对象的行为识别结果包括所述目标对象的行为类别。

可选地，所述静态特征包括以下至少之一：所述目标对象的距离编码特征、所述目标对象的方向编码特征，以及对所述目标对象的距离编码特征和目标对象的方向编码特征进行融合得到的特征。

可选地，对所述关键点序列进行分析，得到所述目标对象的静态特征，包括：确定每帧图像的多个关键点中任意两个关键点之间的距离编码，得到所述静态特征中的所述距离编码特征。

可选地，所述对所述关键点序列进行分析，得到所述目标对象的静态特征，包括：确定每帧图像的多个关键点中任意两个关键点之间的方向编码，得到所述静态特征中的所述方向编码特征。

可选地，所述静态特征包括以下至少之一：所述目标对象的轨迹编码特征、所述目标对象的方向轨迹编码特征，以及所述目标对象的轨迹编码特征和目标对象的方向轨迹编码特征进行融合得到的特征。