[发明专利]一种异常行为识别方法及装置

权利要求书

1.一种异常行为识别方法，其特征在于，包括：

检测阶段和识别阶段；

所述检测阶段包括：

检测待处理视频图像中目标对象的数量以及所述目标对象之间的距离；

在所述目标对象的数量大于1且所述目标对象之间的距离小于预设阈值的情况下，提取所述视频图像的目标区域；

获取所述视频图像的RGB图，分别对所述RGB图进行处理得到光流图与视差图；

所述识别阶段包括：

分别确定所述RGB图、所述光流图以及所述视差图的图像特征；

分别根据所述RGB图、所述光流图以及所述视差图的图像特征确定所述视频图像中存在异常行为的第一概率、第二概率以及第三概率；

根据所述第一概率、所述第二概率、所述第三概率以及预先设置的所述RGB图的权重、所述光流图的权重、所述视差图的权重确定所述视频图像存在所述异常行为的目标概率；

在所述目标概率大于或等于预设阈值的情况下，确定所述视频图像中存在所述异常行为。

2.根据权利要求1所述的方法，其特征在于，分别确定所述RGB图、所述光流图以及所述视差图的图像特征包括：

分别将所述RGB图、所述光流图以及所述视差图输入到预先训练好的第一目标神经网络模型中，得到所述第一目标神经网络模型输出的所述RGB图、所述光流图以及所述视差图的图像特征。

3.根据权利要求1所述的方法，其特征在于，分别根据所述RGB图、所述光流图以及所述视差图的图像特征确定所述视频图像中存在异常行为的第一概率、第二概率以及第三概率包括：

分别将所述RGB图、所述光流图以及所述视差图的图像特征输入到预先训练好的第二目标神经网络模型中，得到所述第二目标神经网络模型输出的所述第一概率、所述第二概率以及所述第三概率。

4.根据权利要求3所述的方法，其特征在于，分别将所述RGB图、所述光流图以及所述视差图的图像特征输入到预先训练好的第二目标神经网络模型中，得到所述第二目标神经网络模型输出的所述第一概率、所述第二概率以及所述第三概率包括：

分别将所述RGB图、所述光流图以及所述视差图的图像特征输入到所述第二目标神经网络模型的至少一层LSTM，得到所述至少一层LSTM输出的图像特征；

分别将所述光流图、所述RGB图以及所述视差图的所述至少一层LSTM输出的图像特征输入到所述第二目标神经网络模型的softmax层，得到所述softmax层输出的所述第一概率、所述第二概率以及所述第三概率。

5.根据权利要求1所述的方法，其特征在于，在分别确定所述RGB图、所述光流图以及所述视差图的图像特征之前，所述方法还包括：

获取第一预定数量的双目图像采集装置采集的视频图像对应的RGB图、光流图以及视差图；

分别通过所述第一预定数量的RGB图、光流图以及视差图对第一原始神经网络模型进行训练，其中，所述第一预定数量的RGB图、光流图以及视差图分别为所述第一原始神经网络模型的输入，训练好的第一目标神经网络模型输出的所述RGB图、所述光流图以及所述视差图的图像特征的损失函数满足第一预定收敛条件。

6.根据权利要求1所述的方法，其特征在于，在分别确定所述RGB图、所述光流图以及所述视差图的图像特征之前，所述方法还包括：

获取第一预定数量的双目图像采集装置采集的视频图像对应的RGB图、光流图以及视差图；

分别通过所述第一预定数量的RGB图、光流图以及视差图对第一原始神经网络模型进行训练，其中，所述第一预定数量的RGB图、光流图以及视差图分别为所述第一原始神经网络模型的输入，训练好的第一目标神经网络模型输出的所述RGB图、所述光流图以及所述视差图的图像特征的损失函数满足第一预定收敛条件。