[发明专利]一种基于深度学习的高精度多角度行为识别方法

说明书

本发明为一种基于深度学习的高精度多角度行为识别方法，首先，收集原始视频数据，对原始视频数据进行数据预处理；其次，基于对比学习的思想应用深度神经网络构建深度学习模型；然后通过深度前馈网络对预处理得到的数据进行特征提取，提取完成后进一步进行动作分类；最后反馈分类后的结果。本发明使用对比学习方法构建自监督模型对数据进行动作分类，有效增强数据特征提取的鲁棒性，使模型学习到更有利于行为分类的知识，并满足了在实际场景下对视频数据中目标行为分类的高准确度需求，为后续依据分类结果进行的其他操作提供良好基础。

技术领域

本发明属于人工智能技术领域，涉及数据处理、特征提取及动作分类，特别涉及一种基于深度学习的高精度多角度行为识别方法。

背景技术

目前，人体行为识别是计算机视觉领域的研究热点之一，主要应用于视频监控、人机交互、医疗看护等多个领域。因此，对基于视频的动作识别方法进行分析研究有十分重要的意义。

最近几年人们对行为识别的研究，其主要都集中于特征的提取。行为是发生在一定时空的事件，特征不仅仅具有空间性，也具有时间性。如何有效描述时间空间特征是行为识别问题的关键。针对以上问题，行为识别方法目前已有多种解决方法。双流卷积模型考虑时间和空间两方面的特点，分别对其进行编码和融合；3D时空卷积方法在时间序列和空间序列上同时进行计算；也有改变特征的描述手段的方法，SIFT算法具有尺度不变性，可用于在图片中检测行为关键点；光流利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息；还有将图使用到行为识别中的方法。这些方法在视频角度单一、背景较为简单的情况下获得了不错的精度，然而随着科学技术的进步，经济的发展，在实际生活中同一地点通常有着多台摄像机器多角度进行人体动作抓取，如何将收集到的多角度数据进行更好的融合成为亟待解决的问题。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种基于深度学习的高精度多角度行为识别方法，使用对比学习方法构建自监督模型对数据进行动作分类，有效增强数据特征提取的鲁棒性，学习到更有利于行为分类的知识，并满足了在实际场景下对视频数据中目标行为分类的高准确度需求，为后续依据分类结果进行的其他操作提供良好基础。

为了实现上述目的，本发明采用的技术方案是：

一种基于深度学习的高精度多角度行为识别方法，其特征在于，包括：

步骤1，以摄像设备作为边缘缓存节点，多台摄像设备同一时段从同一高度不同的水平角度收集同一行为的原始视频数据，并上传至服务器，对原始视频数据进行预处理，得到按时间顺序的图片帧；

步骤2，基于步骤1所得图片帧，应用对比学习思想搭建用于动作分类的卷积神经网络模型；

步骤3，使用训练好的卷积神经网络模型对预处理完的图片帧进行动作分类得到并反馈行为识别结果。

在一个实施例中，所述步骤1原始视频数据处理过程包括：首先，将视频按时间顺序切割成图片帧；其次，对得到的图片帧进行区别性命名；最后，将不同角度的图片帧放在同一文件夹中，图片帧的时序顺序不变。

在一个实施例中，所述将不同角度的图片帧放在同一文件夹中是指：

以每个水平角度收集的原始视频数据得到的图片帧为一组，将每两组图片帧独立地放在一个文件夹中，每个文件夹中的每组图片帧中，图片帧的时序顺序不变。

在一个实施例中，所述对比学习思想，是在欧氏空间中将正样本距离拉近，将正样本与负样本距离拉远，在视频数据中，以同一时间不同角度的任意两个图片帧数据x₁和x₂为一对正样本，经过神经网络编码后提取出一对特征表示对，分别最小化其负余弦相似性以达到拉近正样本距离的目的。