[发明专利]一种复杂动态环境下目标行为识别与预测方法

说明书

本发明提供一种复杂动态环境下目标行为识别与预测方法，首先建立人体行为数据库和科大讯飞语音识别数据库；然后安防巡视机器人在巡视时，通过视觉传感器和声音传感器对周围环境进行实时采集；接着将语音信息与视觉视频图像信息进行融合，通过目标识别判断将目标由整体判别到区域锁定，再到个体识别，最后将锁定目标人体动作数据与人体行为数据库数据进行实时匹配，对目标人体行为进行识别和预测，当目标人体行为高于一定危险级别时，机器人进行预警。本发明安防巡视机器人能够自动、有效准确地提取和理解监控范围内人体的行为动作，并能及时发现可疑人员或可疑行为发出预警通知安全人员，最大程度地减少和阻止危险事件的发生。

技术领域

本发明属于机器人智能安防领域，特别涉及基于视觉人体动作捕捉技术和视觉与听觉相结合的人体危险行为动作智能识别技术的复杂动态环境下目标行为识别与预测方法。

背景技术

智能安防巡视机器人工作中，急需提高处理突发事件的基本能力，因此对视频监控系统的智能化提出了越来越高的要求。当前的安防巡视机器人监控系统主要依靠人工对视频图像进行辨别和监视，其缺点是人工很难长时间对大量的视频图像进行实时监控，从而造成对一些突发危险性事件不能进行及时的预警和预防。而且在复杂动态环境下，即人流量较大的巡视区域，即使人工通过视频进行监控，也很难做到对整个监控范围内的人体行为做出全面的分析和准确的识别判断，事实上，我们希望机器人视觉能象人眼一样时刻保持警戒，对巡视下的周围环境有识别和预测危险的能力。然而目前大部分视频监控通常仅作为威慑和事后取证的工具。

发明内容

针对上述现有技术中描述的不足，本发明提供一种复杂动态环境下目标行为识别与预测方法，本发明安防巡视机器人能够自动、有效准确地提取和理解监控范围内尤其是复杂环境下人体的行为动作，并能及时地发现可疑人员或者可疑行为并发出预警通知安全人员，快速有效地采取措施，最大程度地减少和阻止危险事件的发生。

为解决上述技术问题，本发明所采用的技术方案如下：

一种复杂动态环境下目标行为识别与预测方法，步骤如下：

S1，建立数据库。

所述数据库包括人体行为数据库和语音识别数据库。

S1.1，建立人体行为数据库。

S1.1.1，获得训练样本视频。

S1.1.2，对训练样本视频采用HOG3D描述子方法得到描述时空兴趣点的特征向量。

S1.1.2.1，首先进行Harris3D兴趣点检测，建立视频序列f(x,y,t)的时空结构，并将训练视频与时空高斯核函数进行卷积运算：

S1.1.2.2，给定空间和时间尺度因子，并使用由时间和空间求导构成的三阶方阵和一个3D时空高斯窗口构造观测矩阵μ：

S1.1.2.3，定义兴趣点响应函数H：

其中，为观测矩阵μ的特征值；

其中，为观测矩阵μ的特征值；

表示分别对应视频序列f(x,y,t)在x、y、t、3个方向上的变化，取较大值时表示检测到了时空兴趣点，

S1.1.2.4，根据步骤S1.1.2.3计算训练视频所有像素点的H值。

S1.1.2.5，从得到的所有H值中选择正局部最大值对应的像素点为时空兴趣点。

S1.1.2.6，对时空兴趣点周围局部区域内的时空特征分别采用梯度计算、梯度方向量化、直方图计算和描述符计算的方法以获得HOG3D描述子梯度方向直方图特征向量