[发明专利]一种基于深度序列的人体行为识别方法

说明书

本发明公开了一种基于深度序列的人体行为识别方法，基于法线信息的LBP算子；空间金字塔方式组合LBP算子；组合LBP算子的稀疏表示；行为序列的分割与对齐；为获取深度图中反映不同人体行为表面的曲面特征，进一步提高人体行为识别的鲁棒性，根据深度图中人体结构的相似性及关联信息，定义了深度图中法向信息的LBP描述算子，该算子在细节上保持了人体行为曲面的几何特性，局部空间上提取了曲面的局部特征，并以此作为深度图中人体行为局部特征表示。全局上，基于字典学习的编码方法整合了细节信息，自适应时空金字塔和稀疏系数的池化处理保持住了人体曲面的局部空间结构关系，实现对三维人体行为的细节和整体特征描述。

技术领域

本发明涉及模式识别及计算机视觉领域，尤其涉及一种基于改进局部二值模式(LBP)与稀疏表示的人体行为识别方法。

背景技术

人体行为识别在视频监控、医疗健康看护等领域已经具有广泛应用。但目前人体行为识别的研究主要集中在传统彩色图像视频上，由于彩色图像视频缺乏人体的三维空间信息，对行为特征的描述不够全面，很难处理遮挡、光照及行为外观变化的特征描述问题，因此其应用效果及范围具有一定局限性。随着图像获取技术的进步，深度图像获取越来越容易。深度图像相比传统的颜色图像能提供更多的人体表观和结构信息，对光照变化不敏感，因此在行为识别领域，引入深度信息，研究基于深度信息的人体特征表示与提取是人体行为识别的关键，已经引起人们的极大关注。但在深度数据中，迄今还没有一种有效的描述子能够准确的表示深度数据的特性，彩色图像中的一些描述算子(如SIFT)等算子直接平移到深度数据中并没有取得令人满意的结果。局部二值模式(LBP)是一种计算简单、非参数化的局部纹理模式描述算子，由于它对光照变化不敏感，是一种有效的纹理描述算子，它在二维图像特征表示与提取中获得了成功。已有研究将其应用在深度数据中但取得的效果同样不是十分理想。

发明内容

为获取深度图中反映不同人体行为表面的曲面特征，进一步提高人体行为识别的鲁棒性，根据深度图中人体结构的相似性及关联信息，定义了深度图中法向信息的LBP描述算子，该算子在细节上保持了人体行为曲面的几何特性，局部空间上提取了曲面的局部特征，并以此作为深度图中人体行为局部特征表示。全局上，基于字典学习的编码方法整合了细节信息，自适应时空金字塔和稀疏系数的池化处理保持住了人体曲面的局部空间结构关系，实现对三维人体行为的细节和整体特征描述。

本发明主要涉及一种基于深度序列的人体行为识别方法，该方法为一种基于改进局部二值模式(LBP)与稀疏表示的人体行为识别方法，深度序列的描述符计算流程如图1，主要步骤如下：

S1基于法线信息的LBP算子

在模式识别中，LBP算子最早应用于二维人脸图像的识别，它在图像一个区域窗口内，以窗口的中心像素为阈值，将相邻若干个像素的灰度值与其进行比较，若邻域像素值大于中心像素值，则该像素点的位置被标记为1，否则标记为0。这样，一个区域窗口中便可产生一个二进制数(通常转换为十进制数)，即得到该窗口中心像素点的 LBP值，这个值反映了该区域的局部纹理信息。

鉴于LBP算子在二维模式识别领域中的成功应用，本文将LBP算子推广到深度视频序列中，提出了描述深度视频中基于表面法向信息的LBP算子，这种LBP算子很好地描述曲面的曲率变化特性。

由于深度序列看作是一个函数：这样便得到了由一系列的点(x,y,z,t)组成满足S(x,y,t,z)＝f(x,y,t)-z＝0的四维超平面。该超平面上点(x,y,z,t)的法线方向为：

和传统梯度方向相比，法向量的方向与4D曲面的形状相关，法向量的方向分布能够比传统的梯度方向提供更多的几何信息，也能够更精确地表述四维超平面的几何信息。考虑到法线代表四维空间中的方向，基于原来LBP算子的构造思路，根据深度图中某一点法线与其邻域点法线间的角度关系定义该点的新的LBP算子：