[发明专利]一种基于深度学习的英文文献污染物信息抽取方法

说明书

本发明公开了一种基于深度学习的英文文献污染物信息抽取方法，包括：构建适用于本土环境监测文献文本挖掘的术语词典；获取原始文献，并对原始文献进行语料分词，构建文献生语料；构建实体抽取模型和关系抽取模型；对文献生语料进行预处理，得到用于实体抽取模型和关系抽取模型的训练集和测试集；通过训练集对实体抽取模型和关系抽取模型进行训练，得到训练完成的实体抽取模型和关系抽取模型；将测试集输入至训练完成的实体抽取模型进行识别，得到实体识别结果；将实体识别结果和测试集数据输入至训练完成的关系抽取模型，得到关系抽取结果。本发明不仅实现了原始英文文献中化学品的命名实体识别，也对化学品及检测浓度进行了关系抽取。

技术领域

本发明涉及环境科学及人工智能的技术领域，尤其涉及到一种基于深度学习的英文文献污染物信息抽取方法。

背景技术

随着环境科学的发展，针对大气、水体、沉积物、土壤等环境介质的监测数据显著增多。大量的前期研究结果提供了区域污染物的环境暴露水平，为相关研究及管理提供了参考。在大数据时代，依靠人工阅读已无法满足当前对数据全面和高效收集的需求，而通过计算机的自动化阅读，以文本挖掘的方法收集文本信息，是近些年相关领域的主要前景。

当前文本挖掘模型的研究主要是泛用式人工智能的学科交叉与拓展，其中深度学习模型针以较深的语言表达层和较高的学习效率，逐渐受到了文献综述工作的关注。当前，已被应用的领域包括结构化数据库建设、知识图谱建设、文献内容分析等。例如专利CN1041999972 B提出了对新闻数据的命名实体识别及关系抽取，构建实体网络，获得了新闻术语之间的关系；专利CN 104298651 B提出了生物医学术语的命名实体识别和蛋白质交互的关系抽取，提供了蛋白质交互关系数据检索的服务。高度依赖于术语词典的文本挖掘模型尚无法通用于不同领域。若能建立起细分领域上污染物及其关键信息的实体关系网络，就可以根据实体网络中的相关污染物信息，检索所有现有的化学品报道信息，构建环境中检出的化学品暴露数据库。因此，基于具有环境风险的化学品名录为参考自建词典，构建适用于环境监测相关文献的污染物信息实体关系网络是当前工作中需要解决的重要任务.

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于深度学习的英文文献污染物信息抽取方法,通过细分化学品名录库及深度学习网络架构对环境监测文献中的污染物信息收集、分析，并构建污染物名称和浓度之间的关系网络，得到可更新的英文术语及污染物暴露浓度信息。

为实现上述目的，本发明所提供的技术方案为：

一种基于深度学习的英文文献污染物信息抽取方法，包括：

基于现有化学品名录，构建适用于本土环境监测文献文本挖掘的术语词典；

获取原始文献，并对原始文献进行语料分词，构建文献生语料；

构建实体抽取模型和关系抽取模型；

对文献生语料进行预处理，得到用于实体抽取模型和关系抽取模型的训练集和测试集；

通过训练集对实体抽取模型和关系抽取模型进行训练，得到训练完成的实体抽取模型和关系抽取模型；

将测试集输入至训练完成的实体抽取模型进行识别，得到实体识别结果；

将实体识别结果和测试集数据输入至训练完成的关系抽取模型，得到关系抽取结果。

进一步地，对原始文献进行语料分词包括：

原始文献经基于互信息和左右熵的短语提取算法处理，得到文本片段的互信息值和左右熵；

根据互信息和左右熵对原始文献中的文本短语进行评分并排名；

提取排名靠前的文本短语加入分词词典进行文本分词，根据分词结果调整文本短语评分，得到词语边界明确的文献生语料。