[发明专利]用于视觉概念检测的自监督数据增强方法、系统、设备

说明书

本发明属于图像处理技术领域，公开了一种用于视觉概念检测的自监督数据增强方法、系统、设备，用于视觉概念检测的自监督数据增强方法包括：对数据集中的图像数据进行预处理，进行数据集的初步扩充；对图像对应标注信息进行修改与新增；新增旋转后图像对应的标注文件信息。本发明使用自监督中图像自身旋转的方法处理了MSCOCO数据集中的所有图像(包括训练集、验证集、测试集)。本发明修改并增加了MSCOCO数据集中用于目标检测与实例分割的标注信息。将本发明处理好的数据集应用于YOLOv3模型上，证明了处理后标注信息的可用性，并实现旋转后图像的检测，得到理想的检测效果。

技术领域

本发明属于图像处理技术领域，尤其涉及一种用于视觉概念检测的自监督数据增强方法、系统、设备。

背景技术

近年来，深度神经网络(Deep neural network，DNN)在目标检测、图像分类等计算机视觉任务上得到了广泛应用并取得了显著成果。然而，目标检测领域存在检测图像有一定角度的倾斜或者检测图像中的目标有一定角度倾斜的问题，从而导致此类图像检测精准度较低。目前，解决这一问题的可行方法是在不影响检测精度的情况下对数据集进行有效的数据增强操作。数据增强是一种常见的数据处理方法，并在处理目标检测模型上展现其显著优势，增强模型的泛化能力。

图像数据增强即让一张图片变得更加多样，数据增强是人工扩充数据集的一种方法，让有限的数据产生更多有价值的数据。通过寻找这些样本中的相似特征，放入神经网络中进行训练从而提高网络模型的鲁棒性，降低外界因素对目标检测的影响，解决模型过拟合等问题。图像的数据增强操作包含水平翻转、平移、旋转、裁剪、视角变换、jpeg压缩、尺度变换、颜色变换、cutout等。自监督任务是一种基于数据变换的任务，也是一种数据增强的方法，自监督学习的出发点是考虑在缺少标签或者没有标签的情况下，依然能够学习到原始图像中有意义的特征。在数据增强的过程中，这些常用的变换方法可以被全部使用。然而还要考虑图像中目标的标注框(box)位置变换的情况。

目标检测任务是把图像输入到网络中，经特征提取后输出目标的类别及位置信息。目标检测比较流行的算法可以分为两类，一类是基于Region Proposal的R-CNN系算法(R-CNN，Fast R-CNN，Faster R-CNN等)，首先生成候选区域，然后对候选区域进行分类和调整，最终获得检测结果。而另一类是Yolo，SSD等算法，其仅仅使用一个卷积神经网络CNN直接预测不同目标的类别与位置信息。目标检测有两个主要任务：物体分类和定位。检测过程中，需要依赖于图像的标注文件，其中的标注信息(annotations)主要包括图像中目标物体的矩形标注框、标注框对应的坐标值、目标类别、图像名字及目标类别等。

现有技术的缺陷如下：MSCOCO数据集中物体尺度占比均衡，即small、middle、large object的尺度占比平均；MSCOCO数据集相比于其他数据集而言，bounding box的数量几乎是ImageNet Det数据集中的两倍，而图像数量不足ImageNet Det中的三分之一，说明MSCOCO数据集中每张图像上存在多个目标。在实际的检测任务中出现检测精度低及漏检的问题，导致MSCOCO数据集在目标检测任务上检测效果不理想。

现有方法存在严重的标签依赖性，当待检图像存在倾斜或图像中的目标倾斜时，目标物体的标注框(标注信息)位置改变从而导致标注信息(标签)缺失，进而影响检测的精度。

通过上述分析，现有技术存在的问题及缺陷为：现有的数据增强方法存在严重的标签依赖性，且无法精准的进行数据集的扩充。

解决以上问题及缺陷的难度为：在自监督旋转的基础上，如何把原始数据集中每张图片上涉及到的所有object坐标信息进行准确的标注，且坐标信息格式符合原始数据集格式。