[发明专利]一种基于3D卷积和光流的挖掘机行为分析方法

说明书

本发明提供了一种基于3D卷积和光流的挖掘机行为分析方法，包括：S1、首先获取数据集，并对数据集中的数据加强处理；S2、训练样本，利用caffe训练，用python层做数据输入层；S3、搭建基于resnet18‑3D深度学习的目标分类的网络架构；S4、配置训练模型的参数，训练检测模型。本发明所述的基于3D卷积和光流的挖掘机行为分析方法结合深度学习的方法，利用视频的时间序列提高准确率,可以产生很大的应用价值。

技术领域

本发明属于视频监控分析技术领域，尤其是涉及一种基于3D卷积和光流的挖掘机行为分析方法。

背景技术

目前，监控摄像头随处可见，但是在监控过程中都是人为监控，这样将浪费很多人力、物力、财力，其效率低下。其次，最近深度学习比较火热，然而针对视频行为分析的可行性技术少之又少。针对目前视频分析现有的技术有以下几点不足：

1)当前大多数生产和生活中使用的都是传统的视频监控系统，针对视频结果人为保存并回放，而且有时候不能实时发生报警。

2)针对视频分析传统方法的研究，都是基于人工的特征提取，其中特征提取的过程比较繁琐，尤其针对复杂场景中的视频分析，实现起来比较困难。

3)针对视频分析深度学习的研究，目前大都是针对视频中单帧图片做判断，很难融合视频中的时间维度，而且行为分析技术主要针对的是人与人，人与物等动作上的分析。仅仅单张图片很难判断出行为的结果，导致准确率很低。而利用视频中的时间信息将有效提高准确率。另外，我们针对目前计算机硬件的限制，提出了一种有效的快速分类的方法。且保证了准确率的同时也提高了运行速度。

4)针对目前CNN+LSTM，虽然速度比较快，但是准确率不高而且训练时间比较长，并且很难收敛。TSN网络虽然准确率高，但是速度比较慢。而目前流行的3D卷积是一个不仅速度快，而且融合了视频的空间和时间的信息，使速度和准确率达到了平衡。

发明内容

有鉴于此，为克服上述缺陷，本发明旨在提出一种基于3D卷积和光流的挖掘机行为分析方法，

为达到上述目的，本发明的技术方案是这样实现的：

一种基于3D卷积和光流的挖掘机行为分析方法，包括：

S1、首先获取数据集，并对数据集中的数据加强处理；

S2、训练样本，利用caffe训练，用python层做数据输入层；

S3、搭建基于resnet18-3D深度学习的目标分类的网络架构；

S4、配置训练模型的参数，训练检测模型。

进一步的，所述步骤S1中，从监控设备中获取数据集，从UCF101、HMDB51网上开源数据集中获取数据。

进一步的，所述步骤S1中对数据加强处理包括包括图像的亮度处理、图像的锐化处理、随机椒盐处理、微调图像的旋转角度([-10°，10°])。

进一步的，所述步骤S3的具体方法如下：

数据集分别送入到两个分支，一个接收RGB格式的3D网络，一个接收光流的3D网络；

基础backbone网络采用resnet18-3D残差3D网络，网络输入每次16帧图片，并且卷积核大小为[N×H×W×C×T],其中T为时间通道，将16张图片的时间序列进行融合卷积；

最后的损失函数为两个网络的损失和，然后把总损失送入到SoftmaxWithLoss层做分类。

进一步的，所述步骤S4的具体方法如下：