[发明专利]一种嵌入式系统下的基于视觉注意力的行为识别方法

说明书

本发明公开了一种嵌入式系统下的基于视觉注意力的行为识别方法，将视频文件处理成图像帧，按照基于视觉注意力的显著性图生成策略为每一帧图像生成显著性图，并叠加于原始图像帧上。训练含五个三维卷积层加五个三维池化层、两个全连接层和一个归一化指数函数输出层的卷积神经网络，对视频中的多个图像帧提取特征，从而完成视频中的行为识别，本发明识别效果好，搭载于TX2(芯片名称)嵌入式开发板上，可以直接读取视频文件进行预测，也可以连接摄像头采入数据进行实时监测。

技术领域

本发明涉及一种基于视觉注意力的行为识别方法，属于多媒体信号处理领域。

背景技术

随着近年来网络多媒体信息体量的爆发式增长以及监视监控的普及，网络中每时每刻地都在传输着不可计数的视频数据，据知名视频门户网站Youtube给出的数据，每分钟上传到Youtube服务器的视频能达到100个小时。如此之大的数据量如果交由人力资源完成成本太过高昂，因此有必要尝试让机器代替人来执行这一过程，包括给视频分类、打分、将视频推送给合适的用户、视频中异常情况监测等。要实现这一点，必须教会机器如何分析视频、理解视频中的内容。

而在对视频分析的研究内容之中，行为识别是当下最火的研究方向之一。行为识别，顾名思义便是分析视频中的活动物体(主要对象为人)所进行的动作或活动的含义，英文名Action Recognition或Activity Recognition(两者有微妙的差别，前者注重分立的一个动作片段所代表的含义，而后者则更偏向于一整套连续动作所代表的的行为意义)。对于门户网站来说，行为识别可以帮助他们快速将用户上传的数据进行分类，并且对于被识别出包含不良信息的视频可以及时进行更进一步的审核而后将其剔除，避免其传播所导致的不良影响；而在监控方面，行为识别可以交由机器识别出监控视频中的人所进行的活动，从而对某些存在危险的甚至犯罪行为、不合规定的操作以及异常的人物状态进行预警，减少了人工监控的人力资源浪费，并且机器监控不会出现人在工作时出现的注意力不集中以及精力分散导致漏掉关键信息的情况；对于网络信息安全，行为识别也可以用于打击网络不良视频信息的传播；商家也可以使用行为识别分析用户偏好，提供更具针对性的服务等等。

在卷积神经网络引入之前，行为识别最具代表性的便是DT(Dense Trajectories)算法以及在其基础上进行了一部分改进的iDT(improved Dense Trajectories)算法。这些算法已经在相关数据集上有了不错的表现，但是算法的缺点也十分明显，那就是运算量过大，处理效率低下，几乎无法做到实时视频处理的目的。随着卷积神经网络在图像处理方面的出色的表现，目前也已经成为最主流的行为识别的算法基础。但简单的卷积神经网络优势在于对单一的图片进行处理分类，将其应用在视频处理中则会导致时域信息的损失。

发明内容

发明目的：为了克服现有技术中存在的不足，本发明提供一种嵌入式系统下的基于视觉注意力的行为识别方法，本发明能够准确高效的定位到人类感兴趣的区域，从而生成显著性图叠加于原始图像帧上。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种嵌入式系统下的基于视觉注意力的行为识别方法，包括如下步骤：

步骤1，获取训练样本视频文件，将训练样本视频文件转换为图像帧。

步骤2，对于步骤1得到的图像帧，按照基于视觉注意力的显著性图生成方法为每一帧图像生成显著性图，并叠加于原始图像帧上，得到视觉注意力叠加图。