[发明专利]基于CycleGAN网络的三维模型约束故障图像数据生成系统及方法

说明书

本发明涉及一种基于CycleGAN网络的三维模型约束故障图像数据生成系统，包括数据采集制作单元、数据处理单元、改进CycleGAN训练单元、权重生成图像单元；一种基于CycleGAN网络的三维模型约束故障图像数据生成方法包括以下步骤：A、采集故障图像，建立3D模型；B、制作故障图像数据集，3D模型图像数据集；C、训练改进CycleGAN网络模型；D、训练权重与3D模型图像数据集生成图像。本发明所生成的故障图像具有多样性，鲁棒性强，数量无限制等特点。提供一种基于CycleGAN网络的三维模型约束故障图像数据生成系统及方法，以带式输送机跑偏图像生成任务为实例。

技术领域

本发明属于计算机视觉技术领域，尤其涉及一种基于CycleGAN网络的三维模型约束故障图像数据生成系统及方法。

背景技术

随着深度学习的发展，GAN网络、目标检测等相关技术在工业生产中得到广泛应用。基于深度学习的目标检测技术相较于传统检测算法,它可以随着数据集（训练样本）的增加提升精确度,降低漏检率。但其需要在大量的训练样本前提下,才能保证识别物体的精确度。数据集是深度学习领域至关重要的组成部分，而在矿山，矿井下等工业生产环境中，数据集的采集较为困难，尤其是故障数据集（因安全生产，很难获取故障图像数据），因此需要为有限的的数据集进行技术扩增。

传统的数据集扩增方法有旋转﹑裁剪等,这些方法与生成对抗网络(GAN)的不同之处在于,GAN是基于多维随机噪声来学习生成样本,内容变化无法预测,传统的旋转方法则是图像像素点整体位移，相比之下由GAN网络生成的图片多样性强，但GAN网络通过随机噪声生成的图像存在模糊的问题，为有效解决此问题引入三维模型来约束输出的图像。在循环一致性生成对抗网络(CycleGAN)中将3D模型样本风格迁移后生成的图像存在轮廓边缘失真的问题，将U-net与ResNet结合作为生成器后能有效解决该问题。

例如在扩增带式输送机跑偏数据集中，在CycleGAN网络结构上改进，将ResNet与U-net结合作为生成器,使3D图像在上、下采样时保留更多的轮廓特征信息，整体轮廓特征权重更大，加快了生成图像的轮廓结构收敛速度，所生成图像质量更好。经实验结果表明改进的CycleGAN扩增数据集的方法相较于其他扩增方法在轮廓边缘失真的问题上有较大提升。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种基于CycleGAN网络的三维模型约束故障图像数据生成系统及方法，其要解决的技术问题为：

1.采集困难的图像具有扩增需求，数量需求大，精度要求高。

2.传统GAN网络模型生成的图像存在模糊的问题。

3.CycleGAN网络模型生成的图像在轮廓边缘存在失真问题。

本发明是通过以下技术方案实现的：

一种基于CycleGAN网络的三维模型约束故障图像数据生成系统，包括数据采集制作单元、数据处理单元、改进CycleGAN训练单元、权重生成图像单元；

所述数据采集制作单元用于获取故障图像与3D建模图像；

所述数据处理单元收集数据采集制作单元图像，并通过图像处理模块将其制作成故障图像数据集与3D建模图像数据集；

所述改进CycleGAN训练单元用于将数据处理单元获得的数据集在改进CycleGAN网络中训练，获得权重文件。

所述权重生成图像单元用于将改进CycleGAN训练单元获得的权重文件载入改进CycleGAN网络，并将3D建模数据集作为输入由改进CycleGAN网络生成故障图像。

为了进一步实现本发明，可优先选用以下技术方案：

优选的，所述数据采集制作单元包括摄像机设备与PC，所述PC设备中运行3D建模模块与图像处理模块以及后续所有模块。

一种基于CycleGAN网络的三维模型约束故障图像数据生成方法，包括以下步骤：