[发明专利]一种蔬菜病虫害图片问答方法及装置

权利要求书

1.一种蔬菜病虫害图片问答方法，其特征在于，包括：

获取与蔬菜病虫害相关的数据集；

使用所述数据集对蔬菜病虫害图片问答模型进行训练，以得到训练好的蔬菜病虫害图片问答模型，所述蔬菜病虫害图片问答模型的输出向量为混合了病虫害症状描述文本的文本特征和涉及的农业蔬菜知识信息以及蔬菜症状图片的通道维度特征和空间维度特征之后所得到的，所述蔬菜症状图片的通道维度特征和空间维度特征分别采用注意力机制所得到；

通过训练好的蔬菜病虫害图片问答模型对输入的待识别数据进行处理，以得到蔬菜病虫害类型；

所述混合所述文本特征a、农业蔬菜知识信息b、通道维度特征d和空间维度特征g以得到输出向量包括：

对文本特征a基于通道维度特征d的注意力机制表示t₁为：

其中，W₁和W₂为所述数据集对蔬菜病虫害图片问答模型的待训练参数，病虫害症状描述文本S=（ω₁,ω₂,……，ω_M），M为病虫害症状描述文本的特征数量；

对农业蔬菜知识信息b基于通道维度特征d的注意力机制表示t₂为：

其中，病虫害症状描述文本所包含的农业蔬菜知识图谱实体为（e₁,e₂,……，e_T），T为病虫害症状描述文本所包含的农业蔬菜知识图谱的实体数量；

对文本特征a基于空间维度特征g的注意力机制表示t₃为：

对农业蔬菜知识信息b基于空间维度特征g的注意力机制表示t₄为：

混合所述注意力机制t1、t2、t3、t4以得到输出向量；

所述输出向量表示为：

其中，w₁、w₂、w₃、w₄分别为注意力机制t1、t2、t3、t4对应的权重。

2.如权利要求1所述的一种蔬菜病虫害图片问答方法，其特征在于，得到所述蔬菜病虫害图片问答模型的输出向量包括：

对所述数据集中的病虫害症状描述文本进行分词和编码，得到词语级向量的文本特征a；

对所述数据集中的病虫害症状描述文本所包含的农业蔬菜知识图谱实体进行编码，得到词语级向量的农业蔬菜知识信息b；

对所述数据集中的蔬菜症状图片在通道维度和空间维度上分别使用注意力机制进行表示，得到通道维度特征d和空间维度特征g；

混合所述文本特征a、农业蔬菜知识信息b、通道维度特征d和空间维度特征g以得到输出向量。

3.如权利要求2所述的一种蔬菜病虫害图片问答方法，其特征在于，在使用所述数据集对蔬菜病虫害图片问答模型进行训练之前还包括：

获取农业领域文本语料，对所述农业领域文本语料进行清洗并分词，之后使用Bert模型对分词后的所述农业领域文本语料进行词向量的预训练，得到基于农业领域的词语级向量；

根据构建的农业蔬菜知识图谱，训练以得到所述农业蔬菜知识图谱的TransE向量，所述TransE向量将所述农业蔬菜知识图谱中的实体和关系映射到向量空间；

所述对所述数据集中的病虫害症状描述文本所包含的农业蔬菜知识图谱实体进行编码包括：对所述数据集中的病虫害症状描述文本所包含的农业蔬菜知识图谱实体用训练好TransE向量进行编码。

4.如权利要求2所述的一种蔬菜病虫害图片问答方法，其特征在于，所述对所述数据集中的病虫害症状描述文本和其所包含的农业蔬菜知识图谱实体的编码均为通过BiGRU进行编码。