[发明专利]三维人体行为识别方法及装置

说明书

技术领域

本发明涉及图像处理技术领域，尤其涉及一种三维人体行为识别方法及装置。

背景技术

随着计算机技术和信息技术的发展，对基于视频的人体行为识别的需求越来越迫切，在诸如智能监控、家居安全、智能机器人等系统中，行为识别起到了越来越重要的作用。另外，早期的人体行为识别大多是利用普通的色彩(Red Green Blue，简称RGB)图像序列进行行为识别，但是这种人体识别行为会受到光照、阴影、色度、环境变化等因素的干扰。因此，为了解决早期人体识别行为所带来的问题，结合深度图像的优点，利用深度图像与RGB图像序列一起进行人体行为识别，该深度图像与色彩RGB图像不同，由于深度图像像素值仅与物体空间位置有关，因此不会受光照、阴影、色度、环境变化等因素的干扰，从而能够有效地突破色彩RGB图像识别遇到的问题和瓶颈。

现有技术中的基于深度与RGB信息和多尺度方向等级层次特征的行为识别方法，提出了采用差值运动历史图像和深度限制RGB图像来表征和描述人体行为变化过程，并对两种图像进行多尺度和多方向等级层次的特征提取。现有技术的方案中采用深度图像距离差值法，进行背景减除，并采用多尺度多方向等级层次进行特征提取，最终采用支持向量机模型(Support Vector Machine，简称SVM)进行分类识别。

现有技术的问题是，主要通过视频采集设备中预先设置的图像灰度阈值方法进行背景减除。在复杂的环境下或者距离精度较低，无法通过阈值来判别背景时，就很难完成背景减除，例如行为人不同的衣服穿装，就很难区分。采用多尺度多方向等级层次的特征提取，提取速度慢，特征信息量较大，不利于后面的模型分类，并影响识别速度。

发明内容

本发明提供一种三维人体行为识别方法及装置，以解决现有技术中背景减除精度低，特征提取速度慢，特征信息量较大，分类识别速度较慢的问题。

第一方面，本发明提供一种三维人体行为识别方法，包括：

分别对待识别三维人体行为的深度视频序列和色彩RGB视频序列进行背景减除以及像素二值化处理，获取与所述深度视频序列对应的二值深度视频序列和与所述色彩RGB视频序列对应的二值RGB视频序列；

分别提取所述二值深度视频序列和二值RGB视频序列对应的行为轮廓历史图像；

对所述二值深度视频序列的行为轮廓历史图像和二值RGB视频序列的行为轮廓历史图像进行图像融合，并将融合后的图像进行分块处理；

对分块处理后的图像进行均匀局部二值模式的特征提取，获取所述均匀局部二值模式的特征向量；

将获取到的所述均匀局部二值模式的特征向量进行行为分类识别，判断出所述待识别三维人体行为所属的行为类型。

可选地，所述分别对待识别三维人体行为的深度视频序列和色彩RGB视频序列进行背景减除以及像素二值化处理，获取与所述深度视频序列对应的二值深度视频序列和与所述色彩RGB视频序列对应的二值RGB视频序列，包括：

采用视觉背景提取ViBe算法分别检测所述深度视频序列和所述RGB视频序列；若检测到所述深度视频序列的连续T帧图像中中每帧图像的像素点的像素值与前一帧图像中的对应位置的像素点的像素值不同，则所述像素点为前景像素点，否则所述像素点为背景像素点；所述T为预设的背景减除阈值；

若检测到所述RGB视频序列的连续T帧图像中每帧图像的像素点的像素值与前一帧图像中的对应位置的像素点的像素值不同，则所述像素点为前景像素点，否则所述像素点为背景像素点；

分别将所述深度视频序列和所述RGB视频序列中的背景像素点的像素值设置为0，将所述深度视频序列和所述RGB视频序列中的前景像素点的像素值设置为255，得到与所述深度视频序列对应的二值深度视频序列和与所述色彩RGB视频序列对应的二值RGB视频序列。

可选地，所述分别提取所述二值深度视频序列和二值RGB视频序列对应的行为轮廓历史图像，包括：

提取所述二值深度视频序列包括的多帧深度图像中相同位置的像素点的像素值的最大值，将所述最大值设置为所述二值深度视频序列对应的行为轮廓历史图像中对应位置的像素点的像素值，得到所述二值深度视频序列对应的行为轮廓历史图像；

提取所述二值RGB视频序列包括的多帧RGB图像中相同位置的像素点的像素值的最大值，将所述最大值设置为所述二值RGB视频序列对应的行为轮廓历史图像中对应位置的像素点的像素值，得到所述二值RGB视频序列对应的行为轮廓历史图像。