[发明专利]基于体感摄像机的人体活动识别的特征提取方法

说明书

技术领域

本发明涉及模式识别技术领域，具体而言是一种基于体感摄像机的人体活动识别的特征提取方法。

背景技术

人体活动理解在运动训练、康复工程、人机工效学、游戏与动画制作、安全监控等方面得到了广泛应用。人体活动是人体肢体语言的主要部分，通过身体和四肢活动既可以表达人的思想实现沟通，也可以反馈身体的健康状态，还可以捕获生物的运动规律。

人体活动理解的核心技术主要是目标识别算法。目前为止，理论上的有益探索使得基于传统2D亮度信息的活动识别算法取得了一定的成功。然而，真实世界的活动仍然受到多视点、尺度变化、平移变换、外貌变化、光照变化、复杂背景等的挑战。基于RGB图像的方法在复杂背景中感知人体的关节姿势的形状方面遇到巨大的障碍。当目标颜色和纹理不一致时，深度信息有别于RGB外貌信息成为人类识别活动的重要线索。其主要原因是深度信息对于光照和颜色改变较为鲁棒，且表述简单。然而，早期的深度传感器昂贵且由于使用激光而不便于在人的环境中使用。从2010年起，微软公司提供的商品化、廉价的且便于使用的Kinect，使得利用3D深度数据直接广泛应用在人体活动识别中成为可能。然而，由于人体的非刚性、运动方式的多样性、位移的随意性，实时、鲁棒地识别人体仍面临着很多挑战。

现有技术中，基于体感摄像机的动作特征提取主要有两类方法：一类利用体感摄像机SDK(Software Development Kit，软件开发包)获取骨骼信息作为特征；另外一类从原始深度图像数据中提取图像特征。前者主要受限于骨架提取的准确性，后者仅利用深度信息，受限于深度信息的低分辨率和不准确性。

发明内容

本发明的目的是提供一种基于体感摄像机的人体活动识别的特征提取方法，用于提升动作识别的准确性和鲁棒性。

实现本发明目的的技术方案如下：一种基于体感摄像机的人体活动识别的特征提取方法，包括

S1：从体感摄像机的彩色图像序列中，提取人体活动时空兴趣点p，其坐标为(x,y,t)；

S2：以人体活动时空兴趣点p为中心，计算彩色图像序列中光流直方图HOF特征和梯度直方图HOG特征；

S3：从体感摄像机的深度图像序列中，找到对应的人体活动时空兴趣点p，以人体活动时空兴趣点p为中心，计算局部深度特征LDP；

S4：将人体活动时空兴趣点p的光流直方图HOF特征、梯度直方图HOG特征和局部深度特征LDP连接起来，组成特征S_p＝(x,y,t,HOG,HOF,LDP)。

进一步地，所述计算彩色图像序列中光流直方图HOF特征的方法为：以人体活动时空兴趣点p为中心，将局部时空小块按x,y,t方向均分成3×3×2共18个小格，将0度至360度的光流方向划分成0度至90度、90度至180度、180度至270度和270度至360度这四个主方向，外加一个光流量为零的方向；计算每个像素位置所得光流，之后在这五个方向做量化和直方图统计，得到每个小格的统计结果为一个五维向量，18个小格按x,y,t的顺序顺次连接可得到一个90维的光流直方图HOF特征；所述计算彩色图像序列中梯度直方图HOG特征的方法为：以人体活动时空兴趣点p为中心，将局部时空小块按x,y,t方向均分成3×3×2共18个小格，将0度至360度的梯度方向划分成0度至90度、90度至180度、180度至270度和270度至360度这四个主方向；计算每个像素位置所得梯度，之后在这四个方向做量化和直方图统计，得到每个小格的统计结果为一个四维向量，18个小格按x,y,t的顺序顺次连接可得到一个72维的梯度直方图HOG特征。

进一步地，所述计算局部深度特征LDP的方法为：以人体活动时空兴趣点p为中心，选取N×N个像素的方格，把方格分成M×M个区块，其中每个区块包含N²/M²个像素；计算每个区块里的像素深度值的平均值；计算任意两个区块平均值的差；将差值组合，并做归一化处理，生成局部深度特征LDP。

本发明的有益效果在于，基于体感摄像机的人体活动识别的特征提取方法，避免了骨骼信息不稳定的缺陷，克服了现有深度图像活动特征提取方法不准确的问题，有效结合彩色信息和深度信息，提取的特征提升了动作识别的准确性和鲁棒性。

附图说明

图1是本发明的流程图。

具体实施方式

如图1所示，一种基于体感摄像机的人体活动识别的特征提取方法，包括以下步骤