[发明专利]基于视觉和加速度信息实现监所暴力行为检测的方法

权利要求书

1.一种基于视觉和加速度信息实现监所暴力行为检测的方法，其特征在于，所述的方法包括以下步骤：

(1)对训练用的加速度数据集进行预处理；

(2)对预处理的加速度数据进行数据增强；

(3)通过训练加速度特征提取1D-CNN网络；

(4)通过softmax函数获得1D-CNN网络暴力行为的后验概率；

(5)对训练用的视频数据集进行预处理，获取RGB图和稠密光流差异图；

(6)对预处理的RGB图和稠密光流差异图进行数据增强；

(7)训练RGB图特征提取2D-CNN网络；

(8)训练稠密光流差异图特征提取2D-CNN网络；

(9)通过判别相关分析算法将异构网络进行特征融合，判定是否存在暴力行为。

2.根据权利要求1所述的基于视觉和加速度信息实现监所暴力行为检测的方法，其特征在于，所述的步骤(1)具体包括以下步骤：

(1.1)对传感器原始数据进行数据匹配；

(1.2)通过线性插值补全缺失数据；

(1.3)进行采样，实现数据匹配；

(1.4)通过移动窗口均值平滑进行数据平滑。

3.根据权利要求1所述的基于视觉和加速度信息实现监所暴力行为检测的方法，其特征在于，所述的步骤(1)中的加速度特征为3轴加速度信息，包括x轴、y轴和z轴特征。

4.根据权利要求1所述的基于视觉和加速度信息实现监所暴力行为检测的方法，其特征在于，所述的步骤(2)中通过增加信号高斯噪声进行数据扩增。

5.根据权利要求1所述的基于视觉和加速度信息实现监所暴力行为检测的方法，其特征在于，所述的步骤(3)中1D-CNN网络包括5层卷积包、最大池化层和2层FC层，所述的5层卷积包相互连接，所述的2层FC层相互连接，第2层卷积包和第3层卷积包之间以及第5层卷积包和FC层之间分别连接最大池化层；所述的每层卷积包包括卷积层和BatchNorm层，以及激活函数ReLU。

6.根据权利要求1所述的基于视觉和加速度信息实现监所暴力行为检测的方法，其特征在于，所述的步骤(4)中计算后验概率，具体为：

根据以下公式计算后验概率：

其中，C为所属行为类型。

7.根据权利要求1所述的基于视觉和加速度信息实现监所暴力行为检测的方法，其特征在于，所述的步骤(5)具体包括以下步骤：

(5.1)对RGB视频数据计算光流图，并分析视频中物体运动的光流量，选择视频中光流移动次数最少的视频帧作为提取到的关键帧RGB图，作为行为的空间信息图；

(5.2)通过对该段视频类的水平光流、垂直光流和水平光流和垂直光流平方和的平方根进行堆栈叠加成运动光流图，即为稠密光流差异图，作为行为的时间信息图。

8.根据权利要求1所述的基于视觉和加速度信息实现监所暴力行为检测的方法，其特征在于，所述的步骤(6)具体包括以下步骤：

通过对RGB图和光流差异图进行大小调整至480像素×640像素，通过平移、缩放等方法进行数据扩增。

9.根据权利要求1所述的基于视觉和加速度信息实现监所暴力行为检测的方法，其特征在于，所述的步骤(7)和步骤(8)中的2D-CNN通过预训练的2D-CNN网络进行微调，并在全局平均池化层增加两层FC层和Softmax函数层。

10.根据权利要求1所述的基于视觉和加速度信息实现监所暴力行为检测的方法，其特征在于，所述的步骤(9)具体包括以下步骤：

将RGB图特征与稠密光流差异图特征进行融合，将RGB图特征与加速度特征进行融合，并进行串联，判定是否存在暴力行为。