[发明专利]融合多层信息的花粉图像合成方法、装置及电子设备

说明书

本发明提供一种融合多层信息的花粉图像合成方法、装置及电子设备，该方法包括：获取通过扫描同一花粉内容得到的与焦平面对应的多层花粉图像；计算多层花粉图像各自的真实感知分数，将多层花粉图像分为多对图像，在每对图像中进行真实感知分数大小的对比，并将对比结果作为标签；将每对图像和标签输入孪生神经网络进行处理，得到多层花粉图像的质量分数排序信息；将多层花粉图像及其质量分数排序信息输入条件生成对抗网络进行处理，得到合成的花粉图像。本发明达到了在合成过程中充分融合图像的深度信息、保留重要信息和提高多层信息利用率的目的。

技术领域

本发明涉及计算机图像处理技术领域，尤其涉及一种融合多层信息的花粉图像合成方法、装置及电子设备。

背景技术

在我国，空气传播花粉的季节和地理散播规律，每到换季时节来临，部分人群就会因空气中存在的花粉颗粒而引起强烈的过敏反应，严重影响着其正常的生活。近年来，基于深度学习的花粉检测方法被应用到致敏疾病的预防工作上。

然而，深度学习模型具有众多的可调参数，其性能严重依赖于大量的数据样本。在实际场景中，花粉数据的采集十分复杂且耗时，导致现有的花粉数据样本数量有限，高质量的花粉数据样本更是十分匮乏，无法满足深度学习任务的数据量需求。

为了解决花粉数据匮乏的问题，需要合成花粉图像。现有技术采用图像合成手段都是以单层图像作为输入，这样忽略了多层信息之间的可融合、可互补的特性，容易造成图像的深度信息不精确、重要信息缺失、图像利用率较低等问题，无法生成包含丰富信息的高质量的新数据。

发明内容

本发明提供一种融合多层信息的花粉图像合成方法、装置及电子设备，用以解决现有技术中基于单层图像生成花粉图像，导致生成的花粉图像深度信息不准确、重要信息缺失、图像利用率低的缺陷，实现多层花粉图像之间的有效互补，生成内容丰富、质量高的花粉图像。

本发明提供一种融合多层信息的花粉图像合成方法，包括：

获取通过扫描同一花粉内容得到的与焦平面对应的多层花粉图像；

计算所述多层花粉图像各自的真实感知分数，将所述多层花粉图像分为多对图像，在每对图像中进行真实感知分数大小的对比，并将对比结果作为标签；

将所述每对图像和所述标签输入孪生神经网络进行处理，得到所述多层花粉图像的质量分数排序信息；

将所述多层花粉图像及其质量分数排序信息输入条件生成对抗网络进行处理，得到合成的花粉图像；其中所述条件生成对抗网络使用根据所述多层花粉图像的质量分数排序信息确定的指示质量分数次高的花粉图像的向量作为生成器和判别器的条件约束。

根据本发明提供的融合多层信息的花粉图像合成方法，所述计算所述多层花粉图像各自的真实感知分数包括：使用Tenengrad梯度方法计算所述多层花粉图像各自的真实感知分数。

根据本发明提供的融合多层信息的花粉图像合成方法，所述孪生神经网络的分支网络为Alexnet网络，所述分支网络的输出为所述每对图像各自的质量分数。

根据本发明提供的融合多层信息的花粉图像合成方法，所述条件生成对抗网络的生成器的输入为：

所述多层花粉图像和所述条件约束。

根据本发明提供的融合多层信息的花粉图像合成方法，所述条件生成对抗网络的判别器的输入为：

使用根据所述多层花粉图像的质量分数排序信息确定的质量分数最高的花粉图像、所述生成器生成的花粉图像和所述条件约束。

根据本发明提供的融合多层信息的花粉图像合成方法，所述条件生成对抗网络的判别器包括三层卷积层，每层卷积层均采用LReLU作为激活函数。