[发明专利]一种基于3D卷积和光流的挖掘机行为分析方法

权利要求书

1.一种基于3D卷积和光流的挖掘机行为分析方法，其特征在于，包括：

S1、首先获取数据集，并对数据集中的数据加强处理；

S2、训练样本，利用caffe训练，用python层做数据输入层；

S3、搭建基于resnet18-3D深度学习的目标分类的网络架构；

S4、配置训练模型的参数，训练检测模型。

2.根据权利要求1所述的基于3D卷积和光流的挖掘机行为分析方法，其特征在于：所述步骤S1中，从监控设备中获取数据集，从UCF101、HMDB51网上开源数据集中获取数据。

3.根据权利要求1所述的基于3D卷积和光流的挖掘机行为分析方法，其特征在于，所述步骤S1中对数据加强处理包括图像的亮度处理、图像的锐化处理、随机椒盐处理、微调图像的旋转角度([-10°，10°])。

4.根据权利要求1所述的基于3D卷积和光流的挖掘机行为分析方法，其特征在于，所述步骤S3的具体方法如下：

数据集分别送入到两个分支，一个接收RGB格式的3D网络，一个接收光流的3D网络；

基础backbone网络采用resnet18-3D残差3D网络，网络输入每次16帧图片，并且卷积核大小为[N×H×W×C×T],其中T为时间通道，将16张图片的时间序列进行融合卷积；

最后的损失函数为两个网络的损失和，然后把总损失送入到SoftmaxWithLoss层做分类。

5.根据权利要求1所述的基于3D卷积和光流的挖掘机行为分析方法，其特征在于，所述步骤S4的具体方法如下：

网络的学习率刚开始设置为0.01，每迭代10000次学习率下降0.1，总共迭代40000次；Dropout值分别设置为0.7和0.9；优化函数选择SGD算法，训练过程中查看Loss值和测试集的准确率，获取合适的分类模型。

6.根据权利要求5所述的基于3D卷积和光流的挖掘机行为分析方法，其特征在于：loss值的计算方法如下：

训练过程中的损失分为两个，一个是空间网络的损失函数，一个是光流网络的损失函数，损失函数利用标准分类的交叉熵损失；

Loss_总＝Loss_RGB+Loss_光流

其中，在Loss_光流中，C为类别数，N样本数，P_i为样本i的概率值，P_i^*为真实样本i的概率值，G_i为每个类别的得分值，y_i为第i个类别的预测值，Loss_光流为光流的损失值，Loss_RGB为RGB的损失值，最终的计算得分概率值计算公式如下，其中k为类别数：

y_t＝argmax(output(x_j))

其中，[x₁、x₂...x_i]为每个类别的特征值，argmax()求解最大值函数；

网络最后的输出结果为空间网络得分和时间网络的得分之和x_i，然后经过SoftMax层求解各个类别的概率值，概率最大的为最终预测结果y_t。