[发明专利]基于神经网络的虚拟食品盒缺陷生成方法及系统

说明书

本申请涉及缺陷图像样本生成技术领域，特别地涉及一种基于神经网络的虚拟食品盒缺陷生成方法及系统。该方法包括：通过预先训练得到的生成对抗网络，获取图像数据；筛选图像数据，获取第一样本、第二样本；获取原始贴图；其中，原始贴图，由图像分割网络模型接收生成对抗网络输出的模拟缺陷图像，并提取特征获得；基于原始贴图，转化为法线贴图，并输出于三维虚拟食品盒中预选区域中，实现虚拟食品盒的缺陷生成。通过生成对抗网络生成图像数据，然后筛选出第一样本、第二样本分别来训练图像分割网络、生成对抗网络，图像分割网络模型可以输出大量的模拟缺陷图像，实现生成大量食品盒缺陷数据集，克服了缺陷模型样本需求不足的问题。

技术领域

本申请涉及缺陷图像样本生成技术领域，特别地涉及一种基于神经网络的虚拟食品盒缺陷生成方法及系统。

背景技术

缺陷图像常用于工业仿真中进行模拟。工业仿真就是对实体工业的一种虚拟，将实体工业中的各个模块转化成数据整合到一个虚拟的体系中去，在这个体系中模拟实现工业作业中的每一项工作和流程，并与之实现各种交互。

近些年来，随着工业物联网的快速发展，对工业仿真技术中模型的逼真度要求越来越高。但是利用传统方法获取的高精度带有缺陷的模型样本仍然存在诸多问题。例如：

目前，手工建模工作量巨大，且绘制出的缺陷类型单一，无法满足模型样本中缺陷的多样性和随机性，同时手工建模效率低下，尤其针对无规则缺陷的绘制耗时耗力，往往效果并不佳，无法满足缺陷模型样本大量需求的情况。

发明内容

为了解决或至少部分地解决上述技术问题，本申请提供了一种基于神经网络的虚拟食品盒缺陷生成方法，其中，该方法包括以下步骤：

通过预先训练得到的生成对抗网络，获取图像数据；

筛选所述图像数据，获取第一样本、第二样本；

其中，所述第一样本用于训练图像分割网络，以获取图像分割网络模型；

第二样本用于迭代训练所述生成对抗网络；

获取原始贴图；

其中，所述原始贴图，由所述图像分割网络模型接收所述生成对抗网络输出的模拟缺陷图像，并提取特征获得；

基于所述原始贴图，转化为法线贴图，并输出于三维虚拟食品盒中预选区域中，实现虚拟食品盒的缺陷生成。

通过生成对抗网络生成图像数据，然后筛选出第一样本、第二样本分别来训练图像分割网络、生成对抗网络，图像分割网络模型可以输出大量的模拟缺陷图像，实现生成大量食品盒缺陷数据集，克服了缺陷模型样本需求不足的问题；

而原始贴图将转化为法线贴图，并输出于三维虚拟食品盒中预选区域中，避免因图像背景差异较大造成模型仿真度下降，影响使用。

可选的，所述生成对抗网络的预先训练过程包括：

将所述食品盒的真实缺陷图像和缺陷类型标签编码后输入到鉴别器中进行训练，并通过损失函数更新所述鉴别器；

将随机噪声z与随机缺陷类型标签输入生成器，由所述生成器生成随机的模拟缺陷图像，同时所述生成器指定与输入数据相同的模拟缺陷类型标签，将所述模拟缺陷图像与所述模拟缺陷类型标签输入到所述鉴别器中进行训练，并通过所述损失函数更新所述鉴别器。

通过真实缺陷样本训练的生成对抗网络可以根据指定缺陷类型和输入随机噪声得到大量可用的不同类型的模拟缺陷图像，提高了可用缺陷样本的获取效率，同时生成的缺陷纹理与真实缺陷相似度高，同时又具备随机性，符合现实中缺陷样本的生成规律。

可选的，所述生成对抗网络的预先训练过程还包括：

训练所述生成器：将所述随机噪声z与所述随机缺陷类型标签输入所述生成器后，由所述生成器生成随机图像并指定与输入数据相同的缺陷类型标签，将实时随机图像与所述缺陷类型标签输入到所述生成器中进行训练，最后通过损失反向传播更新所述生成器权重。