[发明专利]一种枸杞虫害跨模态检索数据集的构建方法

说明书

本发明公开了一种枸杞虫害跨模态检索数据集的构建方法，涉及信息检索技术领域，包括：步骤1、枸杞虫害图像数据以及文本数据采集；步骤2、使用图像数据增强技术扩充所述步骤1中建立的枸杞虫害图像数据集；步骤3、使用文本数据增强技术扩充所述步骤2中建立的枸杞虫害文本数据集；步骤4、统计图像及文本数据所属类别，并对类别名称进行数字化处理，构建类别汇总文件；步骤5、构建图像‑文本对，最终构成枸杞虫害跨模态检索数据集。该方法解决了现有数据集构建完全依赖人工标注以及可收集数据量不足的问题。

技术领域

本发明涉及信息检索技术领域，尤其涉及一种枸杞虫害跨模态检索数据集的构建方法。

背景技术

当前，农业信息爆炸式增长，如何将庞大的数据量与先进的计算机技术相结合，从而使农户掌握更加全面、丰富的枸杞虫害信息防治虫害，提高枸杞品质是目前枸杞产业服务信息中一个亟待解决的问题。跨模态检索技术能够实现不同种类数据之间的相互检索，比如，其可以通过图像来检索与之在内容上具有相似性的文本(或通过文本来检索与之相似的图像)。如将其引入枸杞虫害防治领域，农户则可以通过拍摄到的虫害图像获取对应的虫害文本描述(或者通过文本描述获取对应的虫害图像)，有助于加深农户对枸杞虫害的认识，进而有效减少不必要的人力、物力等资源浪费，有利于农民对枸杞虫害展开精准防治工作，从而提高枸杞产业所带来的收益。然而，目前在枸杞虫害研究领域，缺乏同时包含图像及文本两种数据的数据集，缺乏可支持枸杞虫害跨模态检索研究的数据集。加之，在通常的数据集构建过程中，人们主要通过人工手段收集图像与文本数据，当数据量不够充分时，构建的数据集研究价值具有局限性，而在数据量充分时，构建数据集又需要耗费大量时间成本与人工成本。

随着深度学习技术的不断发展，利用大量数据进行各领域研究成为热点，比如图像识别、目标检测、图像生成等，跨模态检索亦不例外。跨模态检索相关研究的展开需要大量不同模态的数据作为支撑，对于纯使用人工手段来构建跨模态检索数据集这一途径而言，其需要耗费大量的时间成本与人工成本，难度较大。

因此，本领域的技术人员致力于开发一种枸杞虫害跨模态检索数据集的构建方法。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题包括：

(1)如何构建可用于枸杞虫害防治研究的跨模态检索数据集；

(2)如何克服现有数据集构建完全依赖人工标注以及某些领域可收集数据量不足的问题。

为实现上述目的，本发明提供了一种枸杞虫害跨模态检索数据集的构建方法，包括以下步骤：

步骤1、采集基础枸杞虫害图像数据集以及基础枸杞虫害文本数据集；

步骤2、使用图像数据增强技术扩充所述步骤1中建立的所述基础枸杞虫害图像数据集，得到扩充后的枸杞虫害图像数据集；

步骤3、使用文本数据增强技术扩充所述步骤1中建立的所述基础枸杞虫害文本数据集，得到扩充后的枸杞虫害文本数据集；

步骤4、统计所述扩充后的枸杞虫害图像数据集中的图像数据的所属类别，统计所述扩充后的枸杞虫害文本数据集中的文本数据的所属类别，并对类别名称进行数字化处理，构建类别汇总文件；其中，所述类别汇总文件中的每一行代表一个类别，每一行中的数据包括：类别的实际名称以及该类别的数字表示；

步骤5、构建图像-文本对，记录于数据对汇总文件，构成枸杞虫害跨模态检索数据集；

其中，所述步骤1包括：

步骤1.1、通过实地调研拍照、利用仪器扫描相关书籍以及利用网络爬虫技术方式获取枸杞虫害图像数据，按照虫害类别对获取到的图像数据进行区分，形成以虫害类别为判别标准的多个图像数据子集，最终共同构成所述基础枸杞虫害图像数据集；