[发明专利]一种基于预训练模型的安全事件实体识别方法

说明书

本发明主要是对公共安全领域进行中文命名实体识别研究，提出了改进的命名实体识别模型PreTrain100K+RoBERTa⁺‑BiLSTM‑CRF。在对原始的RoBERTa模型进行任务二次预训练优化过程中，加入公共安全领域词典的全词Mask机制，使PreTrain100K+RoBERTa⁺模型具备更好的中文语言模型能力。然后将生成的预训练语言模型和扩充领域实体的词典输入到BiLSTM‑CRF模型中进行实体识别训练。采用本发明基于预训练模型的安全事件实体识别方法将提高公共安全事件实例信息化水平，能够更好的进行知识表示，存储文本语料中的语义信息，构建公共安全事件领域知识图谱。该图谱可以用于事故案例快速检索，事故关联路径分析及统计分析等，从而提高我国公共事件管理水平，加强公共安全应急管理体系建设。

技术领域

本发明属于人工智能自然语言处理技术领域，涉及一种基于预训 练模型的安全事件实体识别方法。

背景技术

随着我国在经济快速发展，城市中各种各样的安全突发事件也在 不断增多，这些公共安全突发事件给当事人和救援人的生命财产安全 造成严重威胁，也对我国经济和民众生活带来很大的影响。因此，公 共安全应急管理亟待加强。但是，现阶段公共安全事件舆情中的知识 与信息不能有效地抽取和复用，无法为公共安全事件管理提供充分的 协助和预警。

近几年，人工智能的发展成为了行业重要的发展方向，其中自然 语言处理作为该领域的重要研究方向，其研究成果已经应用于医疗、 法律、金融等行业中，大大提高了领域智能化水平。但是，公共安全 事件领域中也存在大量的案例文本信息，在现有的自然语言处理研究 领域，对中文公共安全事件的研究处于起步阶段。本发明借鉴已有行 业的中文自然语言处理方法分析公共安全事件实例文本信息特征。以 公开的中文突发事件语料中的实体和关系等信息提取作为研究重点 进行深入研究，目的是为了将公共安全事件实例信息化，能够更好的 进行知识表示，存储规范中的语义信息，构建公共安全事件领域知识图谱。该图谱可以用于事故案例快速检索，事故关联路径分析及统计 分析等，从而提高我国公共事件管理水平，加强公共安全应急管理体 系建设。

发明内容

本发明的目的是提供一种基于预训练模型的安全事件实体识别 方法，能够解决现有安全事件领域信息无法有效抽取的问题。

本发明所采用的技术方案是，基于预训练模型的安全事件实体识 别方法，首先在对原始的RoBERTa模型进行任务二次预训练优化过 程中，加入公共安全领域词典的全词Mask机制，使 PreTrain100K+RoBERTa⁺模型具备更好的中文语言模型能力；然后将 生成的预训练语言模型和扩充领域实体的词典输入到BiLSTM-CRF 模型中进行实体识别训练；最后，设置深度学习模型作为服务端测试 实体识别模型效果，将测试数据集输入模型可输出测试数据的实体类 别，并根据评价指标判断其效果的好坏。

具体包括以下步骤：

步骤1，从github直接获取CEC数据集及及说明文件；

步骤2，CEC数据集共有332条公共安全事件实例，采用了XML 语言作为标注格式对CEC数据集进行标注，其中包含了六个最重要 的数据标签：Event、Denoter、Time、Location、Participant和Object； Event用于描述事件；Denoter、Time、Location、Participant和Object 用于描述事件的指示词和要素，根据XML标签的不同利用python语言提取标注的实体，构建安全事件实体词典。

步骤3，针对步骤2数据文本中Denoter、Time、Location、 Participant和Object五个标签进行命名实体识别研究，将标签分别简 记为DEN、TIME、LOC、PAR、OBJ，分别表示行为、时间、位置、 参与者和对象。