[发明专利]一种蔬菜病虫害图片问答方法及装置

说明书

本发明涉及一种蔬菜病虫害图片问答方法及装置，其方法包括：获取与蔬菜病虫害相关的数据集；使用数据集对蔬菜病虫害图片问答模型进行训练，以得到训练好的蔬菜病虫害图片问答模型，蔬菜病虫害图片问答模型的输出向量为混合了病虫害症状描述文本的文本特征和涉及的农业蔬菜知识信息以及蔬菜症状图片的通道维度特征和空间维度特征之后所得到的，蔬菜症状图片的通道维度特征和空间维度特征分别采用注意力机制所得到；通过训练好的蔬菜病虫害图片问答模型对输入的待识别数据进行处理，以得到蔬菜病虫害类型。本发明能够提升蔬菜病虫害图片问答结果的准确性。

技术领域

本发明属于机器学习技术领域，具体涉及一种蔬菜病虫害图片问答方法及装置。

背景技术

随着计算机视觉与自然语言处理领域的不断进步，人们也希望计算机能够像人一样思考、对话和行动等。像人一样完成人的一些基本行为。在智能问答领域，人们对获取问题答案的形式越来越多样化，图像问答也是其中的一种形式。在蔬菜种植过程种，最难的就是“各种病害的识别”，如果不能辨别病虫害就没办法对蔬菜对症下药，那么会严重的影响作物的生长，蔬菜病虫害的图片问答就是利用用户的病虫害症状描述文本和蔬菜症状图片信息，将分析出的病虫害类型返回给用户作为答案。在现有技术中，由于用户描述文本信息所能提供的信息有限，图像问答的准确度有待提高。

发明内容

本发明的目的是提供一种蔬菜病虫害图片问答方法及装置，能够提升蔬菜病虫害图片问答结果的准确性。

为了解决上述技术问题，本发明公开了一种蔬菜病虫害图片问答方法，包括：

获取与蔬菜病虫害相关的数据集；

使用所述数据集对蔬菜病虫害图片问答模型进行训练，以得到训练好的蔬菜病虫害图片问答模型，所述蔬菜病虫害图片问答模型的输出向量为混合了病虫害症状描述文本的文本特征和涉及的农业蔬菜知识信息以及蔬菜症状图片的通道维度特征和空间维度特征之后所得到的，所述蔬菜症状图片的通道维度特征和空间维度特征分别采用注意力机制所得到；

通过训练好的蔬菜病虫害图片问答模型对输入的待识别数据进行处理，以得到蔬菜病虫害类型。

进一步地，得到所述蔬菜病虫害图片问答模型的输出向量包括：

对所述数据集中的病虫害症状描述文本进行分词和编码，得到词语级向量的文本特征a；

对所述数据集中的病虫害症状描述文本所包含的农业蔬菜知识图谱实体进行编码，得到词语级向量的农业蔬菜知识信息b；

对所述数据集中的蔬菜症状图片在通道维度和空间维度上分别使用注意力机制进行表示，得到通道维度特征d和空间维度特征g；

混合所述文本特征a、农业蔬菜知识信息b、通道维度特征d和空间维度特征g以得到输出向量。

进一步地，所述混合所述文本特征a、农业蔬菜知识信息b、通道维度特征d和空间维度特征g以得到输出向量包括：

对文本特征a基于通道维度特征d的注意力机制表示t₁为：

；

；

；

其中，W₁和W₂为所述数据集对蔬菜病虫害图片问答模型的待训练参数，病虫害症状描述文本S=（ω₁,ω₂,……，ω_M），M为病虫害症状描述文本的特征数量；

对农业蔬菜知识信息b基于通道维度特征d的注意力机制表示t₂为：

；

；

；