[发明专利]一种基于深度卷积生成对抗网络的多类别多视图数据生成方法

说明书

一种基于深度卷积生成对抗网络的多类别多视图数据生成方法，包括如下步骤：1.中心剪裁图片，2.在通道维度叠合多视图。3.提取多视图类别标签。4.用叠合多视图、类别标签、外加随机高维噪声共同训练DC‑GAN网络。5.用高维随机噪声和自定义标签传入训练好的网络，生成多视图叠合数据。6.剪裁并填充背景，得到符合原尺寸的多视图。本发明所述方法通过多视图叠合和带标签训练生成对抗网络的方法，实现了只需修改输入即可通过一个模型生成不同类别多视图的功能，所生成的数据可作为训练数据的扩充，来增加训练数据的多样性。

技术领域

本发明涉及深度学习、图像处理领域，有关数据(尤其是图像数据)的生成技术，特别针对多种类别、多个视角的单物体图片数据，例如珍珠产业中不同类别珍珠的多视图。

背景技术

近年来，深度学习技术不断发展，在分类、目标检测等一系列问题上取得了巨大突破，多层神经网络结构层出不穷。然而越是复杂的神经网络，其对训练数据的数量和多样性的需求就越高，神经网络的最终性能在很大范围内和训练数据的丰富程度呈正相关。

为了增加训练数据的丰富程度，最保险可靠的方法是通过人工对同类数据的其他个体进行采集和标注，以获得新一批的扩充数据，但是这种方法效率过低，且成本巨大；最简单的方法是在原数据上加一些噪声进行简单的扩充，但这种方法，就增加多样性而言十分有限，因为加噪声并不能体现个体间的差异，而这里说的多样性很大程度上体现在同一类别的不同个体之间。将训练数据集看成一种高维度的概率分布，应用某种方法生成与此分布相似的数据分布成为一种很好的思路。生成对抗网络在此方面表现优秀，其中深度卷积生成对抗网络(DC-GAN)参考文献(Radford A,Metz L,Chintala S.Unsupervisedrepresentation learning with deep convolutional generative adversarialnetworks[J].arXiv preprint arXi v:1511.06434,2015，即Radford A,Metz L,ChintalaS，使用深度卷积生成对抗网络进行无监督学习，arXiv preprint arXiv:1511.06434,2015)在针对图像的数据上表现十分出色。

目前，在图像数据的生成上，更多的是基于大体量数据集的单图像生成，而在一些实际物体的分类问题上，如珍珠分类，使用多视图数据能取得更好的结果，但存在的一个问题是数据量不大，采集成本高，因此，进行多类别多视图数据的生成是一个迫切的需要。

发明内容

为了克服现有的图像数据生成方式在多类别多视图数据场合的数量不大、采集成本较高的不足，为了实现多视图数据的生成，同时，针对不同的类别又能生成类似于该类别的数据，本发明提出了一种基于深度卷积生成对抗网络(DC-GAN)的多类别多视图数据生成方法。由于数据集的限制，本发明特别针对珍珠图像的生成，但其核心方法可以推广到其他数据。

本发明实现上述发明目的所采用的技术方案如下：

一种基于深度卷积生成对抗网络的多类别多视图数据生成方法，包括以下步骤：

训练数据预处理阶段：

步骤1：中心剪裁：

在不影响图中物体的前提下，对每张图片进行中心剪裁；

步骤2：多视图叠合：

在图像的通道维度上对同一物体的多视图按顺序进行叠合，每个物体的所有多视图形成一份数据；

步骤3：提取类别标签：

分别对步骤2后的每份数据的类别进行onehot编码，获取对应的类别标签序列；

训练阶段：

步骤4：训练DC-GAN网络：