[发明专利]一种融合领域词典的中文农作物病虫害命名实体识别方法在审
申请号: | 202211259420.2 | 申请日: | 2022-10-14 |
公开(公告)号: | CN115510864A | 公开(公告)日: | 2022-12-23 |
发明(设计)人: | 彭煜栋;刘孝保;刘浩宇;杨林 | 申请(专利权)人: | 昆明理工大学 |
主分类号: | G06F40/295 | 分类号: | G06F40/295;G06F40/242;G06F40/30;G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 天津三元专利商标代理有限责任公司 12203 | 代理人: | 胡畹华 |
地址: | 650500 云南*** | 国省代码: | 云南;53 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 融合 领域 词典 中文 农作物 病虫害 命名 实体 识别 方法 | ||
本发明公开了一种融合领域词典的中文农作物病虫害命名实体识别方法,包括步骤1:建立农作物病虫害命名实体识别的语料库;步骤2:对语料进行预处理获得数据集并进行标注;步骤3:利用ALBERT预训练语言模型进行训练;步骤4:将ALBERT预训练模型的输出进行对抗训练,生成对抗样本;步骤5:得到的文本向量通过BiLSTM层提取上下文特征;步骤6:再结合CRF层得到农作物病虫害命名实体识别的最优标注序列;步骤7:最后辅以自构建的小规模领域词典对遗漏、错误识别实体加以校正。本发明解决了农作物病虫害领域命名实体识别过程中存在的上下文语义特征获取不充分、实体构造较复杂、通用模型迁移效果差的问题。
技术领域
本发明属于农业信息技术领域,涉及信息抽取,更具体地,涉及一种融合领域词典的中文农作物病虫害命名实体识别方法。
背景技术
命名实体识别是自然语言处理任务中实体关系抽取的基础和关键。农作物病虫害防治相关信息存储于海量非结构化文本中,农户无法方便使用该类防治信息,将农业文本数据与科技相融合,形成科学有效的信息化防治体系,对农户提供高质量的防治信息服务,可最大限度的降低病虫害灾害对产量的影响。农作物病虫害领域的命名实体识别主要任务是对非结构化数据中的特定词和专业术语进行识别,如作物、虫害、药剂等实体。同时,农业病虫害领域的命名实体识别是构建农业自动问答系统、农业知识图等下游任务不可或缺的组成部分。
中文农作物病虫害命名实体识别任务传统方法主要采用基于词典和规则的方法和机器学习等方法。虽然这些方法表现尚可,但是依赖于人工特征模板,无法自动的挖掘文本特征,耗时繁琐提高了应用成本。端到端的深度学习速度更快,泛化性能更强,成为了主流方法,开始使用该类方法以解决农业领域的命名实体识别任务。
由于农作物病虫害实体长度较长,与上下文信息联系较强,需充分结合上下文,以丰富语义特征;农作物病虫害实体构造较复杂,实体构成常包括汉字数字字母等;在文本中存在大量的特定词和专业术语,通用模型效果较差,不易将通用模型迁移到该领域。以上所述都会给农作物病虫害的命名实体识别造成困难,使识别效果不理想。
发明内容
针对现有技术存在的不足,本发明的目的在于,提供了一种融合领域词典的中文农作物病虫害命名实体识别方法,提高了对于中文农作物病虫害命名实体识别的准确率、召回率和F1值,提升识别农作物病虫害实体的效果。
为了解决上述技术问题,本发明采用如下技术方案予以实现:
一种融合领域词典的中文农作物病虫害命名实体识别方法,该方法按照以下步骤进行:
步骤1:获取网络中有关农作物病虫害的语料,对语料进行预处理,之后将得到的数据集进行标注,再将数据集划分为训练集和测试集;
步骤2:利用ALBERT预训练模型获得初始化字向量并利用对抗训练生成对抗样本;
步骤3:将步骤2中得到的向量与对抗样本输入到BiLSTM层提取上下文特征;
步骤4:将步骤3得到的结果输入到CRF层得到最优标注序列;
步骤5:构建小规模农作物病虫害领域词典,对步骤4得到的结果中遗漏、错误识别实体进行校正处理,得到最终结果。
所述对语料进行预处理具体为删除农作物病虫害文本语料中重复和不相关的内容,去除文本中的空格、空行,接着对数据进行标注,选择使用YEDDA标注工具对数据进行标注,采用BIO标注格式对作物名称、病害名称、虫害名称、病原、防治药剂五类实体进行标注,其中B表示实体名起点,I表示实体内部,O表示非实体,再将数据集划分为训练集和测试集。
所述ALBERT预训练语言模型语义理解能力强、参数量少、训练速度快,能很好的学习文本特征,提高向量的表征能力。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于昆明理工大学,未经昆明理工大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202211259420.2/2.html,转载请声明来源钻瓜专利网。