[发明专利]一种基于数据增强的生活垃圾数据集生成方法

权利要求书

1.一种基于数据增强的生活垃圾数据集生成方法，其特征在于，方法具体步骤如下：

将生活垃圾分作若干批次，每一批次为相同类别，并且分批将生活垃圾稀疏放置在传送带上；

使用RGB-D采集系统对物体进行彩色图和高度图的图像采集；所述的RGB-D采集系统分为彩色成像模块和高度成像模块，所述的彩色成像模块，由Linea Color Camera和同轴光源组成，用于采集物体的彩色图；所述的高度成像模块，为Laser Line-Scaning Sensor，其内部包含一个激光发射器和两台单色相机，用于采集物体的深度图；所述的图像采集为RGB-D系统使用编码器将输送带的位移按固定的比例转换为脉冲信号，然后同时触发彩色成像模块和高度成像模块进行数据的采集；

利用高度图中物体的轮廓信息和高度信息，对彩色图进行自动标注；

通过Copy-Paste将N个物体随机粘贴到图像模板上，N为整数，生成第一批生活垃圾数据集A1；

使用第一批生活垃圾数据集A1对深度学习模型进行训练；

使用训练好的深度学习模型对未标注的生活垃圾数据集D进行预测；

以带有伪标签的数据集作为图像模板，通过Copy-Paste对第一批生活垃圾数据集A1进行数据增强，生成第二批生活垃圾数据集A2；

合并第一批生活垃圾数据集A1和第二批生活垃圾数据集A2，形成合并生活垃圾数据集B1。

2.根据权利要求1所述的一种基于Copy-Paste数据增强的生活垃圾数据集生成方法，其特征在于，所述的利用高度图中物体的轮廓信息和高度信息，对彩色图进行自动标注，包括如下步骤：

读取需要进行自动标注的生活垃圾图像，获取采集的高度图中物体的轮廓信息以及高度信息；

利用高度图的高度信息将传送带上的干扰物进行去除；

通过高度图生成物体的掩膜图像，得到物体的轮廓标签；

对同一批次的物体进行自动标注类别，并将标签信息保存在json文件中。

3.根据权利要求2所述的一种基于Copy-Paste数据增强的生活垃圾数据集生成方法，其特征在于，对高度图生成的掩膜图像使用OpenCV的findContours函数得到物体的轮廓标签，并标注类别。

4.根据权利要求1所述的一种基于Copy-Paste数据增强的生活垃圾数据集生成方法，其特征在于，所述的图像模板选择污染程度不同、没有生活垃圾的纯传送带背景。

5.根据权利要求1所述的一种基于Copy-Paste数据增强的生活垃圾数据集生成方法，其特征在于，所述的深度学习模型包括但不限于实例分割模型和目标检测模型。

6.根据权利要求1所述的一种基于Copy-Paste数据增强的生活垃圾数据集生成方法，其特征在于，所述的生活垃圾数据集Copy-paste数据增强，包括如下步骤：

读取需要进行Copy-Paste数据增强的生活垃圾数据集的标签，分离出生活垃圾数据集中每个物体以及物体的标签信息；

选择所要粘贴的图像模板并生成分布点，将N个增强之后的物体随机粘贴到所选的图像模板上，同时将该N个物体的标签信息存入该模板对应的标签文件当中，N为整数。

最后，移除图像模板中被完全遮挡的对象，并更新被部分遮挡的对象的掩膜和矩形框。

7.根据权利要求9所述的一种基于Copy-Paste数据增强的生活垃圾数据集生成方法生活垃圾数据集，其特征在于，所述标签信息包括物体的轮廓信息以及物体的类别信息。