[发明专利]一种农业语料库的构建方法及装置

说明书

本发明提供了一种农业语料库的构建方法及装置，该方法包括：基于农业语料库的标注体系确定标注工具；基于随机选择的农业样本数据进行第一标注培训，得到机器学习模型；基于主动学习选择的农业样本数据进行第二标注培训，得到训练更新的机器学习模型，并得到更新的标注工具；基于主动学习选择的农业样本数据进行正式标注，得到标注数据；基于农业样本数据及其标注数据构建农业语料库。本发明通过主动学习和标注一致性分析，提升了数据标注的成效，并获得大量规范有效的农业标注数据，解决了当前农业语料库数据混乱的问题。同时，以较少的样本集使机器学习模型训练达到较佳效果，减少了数据标注的消耗，并提升了农业语料库构建的成效。

技术领域

本发明涉及数据处理技术领域，具体涉及一种农业语料库的构建方法及装置。

背景技术

传统的农业知识库大多由领域专家人工编撰，虽然质量较高，但存在规模小、覆盖率低、多冗余、更新迟滞等问题。随着大数据时代的到来，运用文本分析方法从海量的半结构化、非结构化网络数据中自动挖掘农业信息，成为了构建和维护农业领域知识服务平台的切实可行方案。然而，散落在网络数据中的农业知识类型、表现形态各异，需要从海量数据中筛选及分类，从而构建农业知识图谱。但目前还没有成熟的农业知识图谱构建方式。

发明内容

为解决现有技术的问题，本发明提出了一种农业语料库的构建方法及装置。

本发明第一方面提供了一种农业语料库的构建方法，其包括：

基于农业语料库的标注体系确定标注工具；

基于随机选择的农业样本数据进行第一标注培训，得到经过初始训练的机器学习模型；所述机器学习模型用于主动学习选择所述农业样本数据；

基于主动学习选择的所述农业样本数据进行第二标注培训，得到经过训练更新的所述机器学习模型，并得到更新的所述标注体系和所述标注工具用于正式标注；

基于主动学习选择的所述农业样本数据进行所述正式标注，得到所述农业样本数据的标注数据；

基于所述农业样本数据和所述农业样本数据的标注数据构建所述农业语料库。

进一步地，

所述第一标注培训和所述第二标注培训均包括：

选择农业样本数据；其中，所述第一标注培训采用随机方式选择；所述第二标注培训采用基于主动学习的所述机器学习模型选择；

采用所述标注工具对每个样本各标注两次以得到两组所述标注数据；

计算两组所述标注数据的标注一致性值F，并得到两组所述标注数据中标注一致的所述标注数据以及标注不一致的所述标注数据；

分析标注不一致的所述标注数据并确定标注不一致类型，然后，更新所述标注体系及所述标注工具；

将标注一致的所述标注数据及相应的所述样本数据加入训练集，训练所述机器学习模型；

所述第二标注培训还包括：在所述训练所述机器学习模型后，判断是否满足第一预设条件；若是，结束所述第二标注培训；若否，重复进行所述第二标注培训；所述第一预设条件包括计算的所述标注一致性值F连续M次达到设定阈值。

进一步地，所述标注体系用于对包括农业实体、农业实体对和农业非实体的所述农业样本数据进行标注，所述标注体系包括实体类型、实体属性、实体关系和修饰；其中，

所述实体类型包括农作物、农药、肥料、病害、虫害、自然环境和症状，用于标注所述农业实体；

所述实体属性包括所述农作物的别称、科、属，用于标注所述农业非实体；