[发明专利]一种营销现场作业状态检测方法及系统

权利要求书

1.一种营销现场作业状态检测方法，其特征在于，包括：

采集营销现场作业图片；

对营销现场作业图片进行图像增强以及降低检测复杂度的预处理；

将预处理后的图片输入到预先训练好的基于迁移学习与Mask-RCNN算法的检测模型，输出检测预测结果。

2.根据权利要求1所述的营销现场作业状态检测方法，其特征在于，所述基于迁移学习与Mask-RCNN算法的检测模型的训练过程，包括：

采集历史营销现场作业图片；

对历史营销现场作业图片进行图像增强以及降低检测复杂度的预处理；

利用数据增强方法对预处理后的历史营销现场作业图片进行数据扩充，得到扩充数据集，对扩充数据集中的营销现场作业图片中的异常信息进行标注，得到json文件格式的营销现场作业不安全、接线不规范特征；

将标注后的json文件转换成mask文件，并扩充数据集按预设比例分成训练集和测试集；

基于Mask-RCNN物体检测框架，利用迁移学习在COCO数据集预训练的基模型上，搭建基于迁移学习与Mask-RCNN算法的检测模型；

利用转换成mask文件的训练集训练基于迁移学习与Mask-RCNN算法的检测模型，并利用转换成mask文件的测试集对训练后的检测模型进行验证，确定训练好的基于迁移学习与Mask-RCNN算法的检测模型。

3. 根据权利要求2所述的营销现场作业状态检测方法，其特征在于，所述迁移学习与Mask-RCNN算法的检测模型包括： ResNet 101+ FPN网络和RPN++RoIAlign网络；

ResNet 101+ FPN网络为检测模型的主干网络，用于提取目标特征，RPN++RoIAlign网络，用于对目标特征进行过滤，获取检测预测数据。

4.根据权利要求2所述的营销现场作业状态检测方法，其特征在于，采用适用于图像分割任务的深度学习图像标注工具Labelme对扩充数据集中的营销现场作业图片中的异常信息进行标注。

5.根据权利要求3所述的营销现场作业状态检测方法，其特征在于，所述利用转换成mask文件的训练集训练基于迁移学习与Mask-RCNN算法的检测模型，包括：

步骤1，将营销现场作业标注过的图片通过Mask掩码制作转换成Mask图片输入到ResNet 101+FPN神经网络中，提取训练样本图片的特征图；

步骤2，针对特征图中的每一个点设定预定的兴趣区域ROI，得到多个候选ROI；

步骤3，将步骤2中获得的候选ROI送入区RPN进行二值分类和BB回归过滤，过滤掉一部分候选ROI；

步骤4，对步骤3过滤后剩余的ROI进行RoIAlign操作，得到对齐之后的候选ROI；

步骤5，重复3、4步骤，直至训练完所有样本，得出该训练集下训练得到的检测模型。

6.一种营销现场作业状态检测系统，其特征在于，包括：

采集模块，用于采集营销现场作业图片；

预处理模块，用于对营销现场作业图片进行图像增强以及降低检测复杂度的预处理；

检测模块，用于将预处理后的图片输入到预先训练好的基于迁移学习与Mask-RCNN算法的检测模型，输出检测预测结果。