[发明专利]一种基于SEHM特征图序列的动作识别方法

说明书

本发明提供的动作识别方法在进行动作识别时，是以本发明提出的SEHM（segment energy history maps）特征图作为底层特征进行动作识别的。通过合理选择算法中时间片长度等参数，计算相应的SEHM特征图序列并应用到神经网络进行预测，能够在动作识别上实现离线识别和在线识别的功能。且由于构建的SEHM特征图是与动作整体姿态的前后变化相关的，因此可以充分地利用动作变化过程中的动作信息，提高动作识别的准确度。同时，在进行SEHM特征图计算时对原始数据进行了一定的压缩，方法的复杂度和硬件的要求较低，并能做到在线的实时动作识别。

技术领域

本发明涉及图像识别领域，更具体地，涉及一种基于SEHM特征图序列的动作识别方法。

背景技术

伴随着摄像头传感器技术的发展，摄像头的清晰度水平有着普遍的提高，而使得摄像头在各种场景中出现的数目和概率大大增加。当今时代互联网的浪潮下，大量的图像视频数据在每天的生活中涌现，也带动了图像处理技术的发展。动作识别技术作为图像处理技术中的一个领域，一直广泛应用于许多场景中，包括视频监控、体感游戏、健康护理、社会援助等方面。例如，微软在2010年推出了Xbox360的体感外设——Kinect，可以在主机游戏中作为深度摄像头捕捉玩家的肢体动作并与游戏进行互动；除此之外，开发者还可以利用开发工具包，在Windows平台上开发出自己应用，如模拟穿衣等。

在拥有广泛的应用场景的同时，动作识别的发展也一直存在着许多的技术难点和约束条件。

第一是客观条件的制约。在视频图像序列中，因为实际拍摄情况，常常会出现无法避免的妨碍因素，如摄像头中的人遇到其他物体的遮挡(物体遮挡)；摄像头因为不是一直固定的原因造成摄像画面出现晃动(视角抖动)；同一个人在光线和阴影中其颜色发生改变(光照条件)；不同摄像头因为镜头的好坏造成画面清晰度有很大的区别(分辨率)。在动作识别领域，甚至于图像处理领域，上述都是必须考虑的问题。

第二是主观条件的影响。作为动作识别处理的主体，不同人对于同一个动作有自己的定义和理解，即使是同一个动作也会有一些细微的差别。具体的表现为不同的人做同样一个动作，动作的长短、幅度、停顿等往往会造成整个图像序列许多的不同。除此主体动作造成的不同外，不同人因为年龄性别原因在体型结构上也会有些许差异；离摄像头的距离、面对摄像头的角度都会使得记录的动作间有巨大的差别。上述所说的每一个因素都有可能增加数据的多样性。同时，为了实现动作识别算法，为不同的行业和场景提供具体的接口与应用，不仅要考虑动作识别算法的准确率，还要考虑其他约束条件，例如成本问题和实时性问题。

在动作识别算法中，一般都以传感器作为原始的输入数据，配合预处理、特征计算和分类模型等过程进行动作的分类判断。传统的动作识别方法一般都是以传统的RGB摄像头为输入的方法，但随着各种新的传感器出现，越来越多种类的传感器被应用到动作识别方法中去，如深度摄像头、红外线摄像头和加速度传感器等。新的传感器的出现使得新的输入数据被应用到动作识别方法中，甚至于诞生了许多模型融合方法。深度图作为有别于传统RGB图的新数据，每个像素记录的不是颜色值而是距离摄像头的距离。因为其具有距离信息，以此为基础的研究和算法获得了越来越多的关注和兴趣。

参考文献一公开了一种动作识别方法，该方法以深度图作为输入，根据深度图的距离信息把深度图投影到三个正交坐标系的不同平面中：正视图、侧视图面、俯视图。文献一提出了一个新的特征图——深度能量图；然后计算不同视图下的深度能量图对应的HOG特征并输入SVM分类器进行预测分类。该方法直接把整个深度视频序列合为一张深度能量图，没有充分考虑到动作在整个动作前后间的重叠、冗余信息，也没考虑整个动作中人体姿态的前后变化。在前后出现了多个不同动作的视频中，并不能正确地分割并生成多个动作的能量图导致无法识别出多个动作(前后多动作视频识别)；同理，在线识别中因为不能选取结束帧导致无法合成深度能量图，即无法满足实时性的需求。