[发明专利]一种面向公交巡检视频的关键帧获取方法

权利要求书

1.一种面向公交巡检视频的关键帧获取方法，其特征在于：所述方法具体过程按如下步骤进行：

步骤一、对公交巡检视频利用改进的YOLOX算法对每一帧进行目标检测；

步骤二、根据步骤一获得的检测结果，去除其中的无效数据；

步骤三、根据步骤二所得的处理后的检测结果，利用可用帧查找算法，获得可用帧序列；

步骤四、将可用帧序列输入DGoogLeNet网络，获得公交巡检视频中的关键帧。

2.根据权利要求1所述一种面向公交巡检视频的关键帧获取方法，其特征在于：所诉步骤一中根据公交巡检视频的特点，构建改进的目标检测模型。具体过程为：

1)制作目标检测数据集

对公交巡检视频提取部分帧，进行人工标记数据集，标记的类别有bus_station、board_ok、board_wrong、box、leave、ad，分别代表公交站牌中的站牌整体、报站区(正常)、报站区(异常)、箱体区、树叶及广告；

1)建立目标检测模型

利用目标检测算法(YOLOX)构建目标检测模型，选择PhotoMetricDistortion、RandomExpand、MinloURandomCrop、RandomFlip数据增强方法增强数据集；

3)实验环境

实验环境设置，系统为Ubuntu18.0.4、GPU为GTX1080Ti、CPU为Core i7、内存为64G、深度学习框架为PyTorch；

4)Focal Loss损失函数

在训练过程中，数据集中容易分类的样本的准确率可以达到99％，而那些难分类的样本的准确率则很差。Focal loss减小了正确分类的样本的权值，而不是给所有的样本同样的权值。这和给与训练样本更多的难分类样本时一样的效果。因此我们将YOLOX中的损失函数替换为Focal Loss损失函数；

5)训练参数

训练参数设置如下，epoch为128、SGD作为优化器、初始learning rate设置为0.02，momentum设置为0.9，weight_delay设置为0.0001，batch_size为4；

6)验证模型性能

使用验证数据集(包括100张在不同公交站牌巡检视频中提取的图片)在训练好的模型上验证，输出评价指数AP的值。

3.根据权利要求1所述一种面向公交巡检视频的关键帧获取方法，其特征在于：所诉步骤二根据步骤一的检测结果，利用交并比策略去除无效数据，具体过程为：

1)去除低置信度框

在目标检测输出结果中，置信度代表模型认为该框确实包含一个目标的可能性，我们要筛选掉分数低于某个阈值的框；

2)将超出范围的bounding box尺度归一化

在目标检测输出结果中，存在部分检测框超出图片尺度，影响后续步骤，具体归一化策略为：尺度小于0的部分归一化为0，大于图片长宽的统一改为相应长宽尺度；

3)去除置信度较低的board_ok/board_wrong检测框

由于被处理的结果只能保留正常报站区或异常报站区，而通常检测结果中这两部分都会存在，因此需要去除其中之一，在本发明中我们通过比较置信度来保留相应的结果；

4)去除bus_station域外部分检测框

公交巡检视频中，部分检测框(ad和leave)会出现在bus_station框以外，要对该部分检测框剔除，通过计算bus_station检测框与ad和leave检测框的交并比，将该值小于阈值的ad或leave检测框去除。