[发明专利]三维人体行为识别方法及装置

权利要求书

1.一种三维人体行为识别方法，其特征在于，包括：

分别对待识别三维人体行为的深度视频序列和色彩RGB视频序列进行背景减除以及像素二值化处理，获取与所述深度视频序列对应的二值深度视频序列和与所述色彩RGB视频序列对应的二值RGB视频序列；

分别提取所述二值深度视频序列和二值RGB视频序列对应的行为轮廓历史图像；

对所述二值深度视频序列的行为轮廓历史图像和二值RGB视频序列的行为轮廓历史图像进行图像融合，并将融合后的图像进行分块处理；

对分块处理后的图像进行均匀局部二值模式的特征提取，获取所述均匀局部二值模式的特征向量；

将获取到的所述均匀局部二值模式的特征向量进行行为分类识别，判断出所述待识别三维人体行为所属的行为类型。

2.根据权利要求1所述的方法，其特征在于，所述分别对待识别三维人体行为的深度视频序列和色彩RGB视频序列进行背景减除以及像素二值化处理，获取与所述深度视频序列对应的二值深度视频序列和与所述色彩RGB视频序列对应的二值RGB视频序列，包括：

采用视觉背景提取ViBe算法分别检测所述深度视频序列和所述RGB视频序列；若检测到所述深度视频序列的连续T帧图像中中每帧图像的像素点的像素值与前一帧图像中的对应位置的像素点的像素值不同，则所述像素点为前景像素点，否则所述像素点为背景像素点；所述T为预设的背景减除阈值；

若检测到所述RGB视频序列的连续T帧图像中每帧图像的像素点的像素值与前一帧图像中的对应位置的像素点的像素值不同，则所述像素点为前景像素点，否则所述像素点为背景像素点；

分别将所述深度视频序列和所述RGB视频序列中的背景像素点的像素值设置为0，将所述深度视频序列和所述RGB视频序列中的前景像素点的像素值设置为255，得到与所述深度视频序列对应的二值深度视频序列和与所述色彩RGB视频序列对应的二值RGB视频序列。

3.根据权利要求1或2所述的方法，其特征在于，所述分别提取所述二值深度视频序列和二值RGB视频序列对应的行为轮廓历史图像，包括：

提取所述二值深度视频序列包括的多帧深度图像中相同位置的像素点的像素值的最大值，将所述最大值设置为所述二值深度视频序列对应的行为轮廓历史图像中对应位置的像素点的像素值，得到所述二值深度视频序列对应的行为轮廓历史图像；

提取所述二值RGB视频序列包括的多帧RGB图像中相同位置的像素点的像素值的最大值，将所述最大值设置为所述二值RGB视频序列对应的行为轮廓历史图像中对应位置的像素点的像素值，得到所述二值RGB视频序列对应的行为轮廓历史图像。

4.根据权利要求1或2所述的方法，其特征在于，所述对所述二值深度视频序列的行为轮廓历史图像和二值RGB视频序列的行为轮廓历史图像进行图像融合，包括：

确定所述二值深度视频序列的行为轮廓历史图像和所述二值RGB视频序列的行为轮廓历史图像中相同位置的像素点的像素值；

将所述相同位置的像素点的像素值中最小的像素值作为融合后的图像的对应位置的像素点的像素值。

5.根据权利要求4所述的方法，其特征在于，所述将融合后的图像进行分块处理，包括：

将所述融合后的图像分成G×G大小的块，获取多个图像块；

将所述多个图像块中的像素值进行平均得到平均像素值，并将所述平均像素值与预设的阈值进行比较，若大于所述阈值，则将所述平均像素值作为所述图像块的像素值；

其中，G为整数，且大于1。

6.根据权利要求1、2或5所述的方法，其特征在于，所述对分块处理后的图像进行均匀局部二值模式的特征提取，获取所述均匀局部二值模式的特征向量，包括：

计算所述分块处理后的图像的各个图像块的均匀局部二值模式的特征值，并将所述特征值乘以所述图像块的邻近边缘梯度向量之和的模值除以所述特征值出现的次数形成B×(B-1)+3维的特征向量；所述均匀局部二值模式的特征值的取值属于区间[0，B×(B-1)+2]，所述B的大小为等间距分布于以所述图像块为圆心，半径为R的圆周上的像素点的个数；所述R大于等于1。