[发明专利]一种基于双向长短期记忆网络的实体属性值的抽取方法

说明书

本发明属于网络文本数据处理的技术领域，具体涉及一种基于双向长短期记忆网络的实体属性值的抽取方法，包括如下步骤，步骤一、对文档集进行预处理；步骤二、采用类别映射，从包含实体的语句中识别属性值；步骤三、对实体和属性值的语句执行深层句法分析，抽取与相关的句子成分，作为训练语料；步骤四、采用词向量模型对所述训练语料进行向量转化，结合句法特征，训练BLSTM模型参数，将所述实体和所述属性值分类到给定的属性名类别中。本发明采用双向长短期记忆网络，能够精准判别实体、属性名和属性值之间关系。

技术领域

本发明属于网络文本数据处理的技术领域，具体涉及一种基于双向长短期记忆网络的实体属性值的抽取方法。

背景技术

随着各类网络媒体的蓬勃发展，互联网上的非结构化文本数据呈现爆炸式增长，如新闻、微博、博客、聊天记录、电子邮件等。这些数据中蕴含着大量的价值信息，比如实体。实体是文本数据中承载信息的最基本单位，随着数据的大量发布，实体名称的歧义性和多样性问题也日益普遍，仅识别实体名称无法满足人们对文本深层次语义信息的需求。因而，为了描述实体的本质，越来越多的研究者开始关注实体的属性信息，比如人物的年龄、籍贯、出生日期；机构的创办时间、地点、领导成员等。实体属性值抽取作为信息抽取技术的一种任务，为许多技术和互联网应用提供了重要的数据来源，包括实体消歧、用户意图理解、推荐系统、问答系统、知识图谱等。然而互联网上文本数据的海量性、异构性、领域开放性、不规范性等特点，导致实体属性值的类别多样、构成复杂，给实体属性值抽取技术带来了新的研究挑战。

发明人发现现有方案至少还存在以下缺陷：实体、属性名和属性值之间关系难以判别。

发明内容

本发明的目的在于：针对现有技术的不足，提供一种基于双向长短期记忆网络的实体属性值的抽取方法，采用双向长短期记忆网络，能够精准判别实体、属性名和属性值之间关系。

为了实现上述目的，本发明采用如下技术方案：

一种基于双向长短期记忆网络的实体属性值的抽取方法，包括如下步骤：

步骤一、对文档集进行预处理；

步骤二、采用类别映射，从包含实体的语句中识别属性值；

步骤三、对实体和属性值的语句执行深层句法分析，抽取与相关的句子成分，作为训练语料；

步骤四、采用词向量模型对所述训练语料进行向量转化，结合句法特征，训练BLSTM模型参数，将所述实体和所述属性值分类到给定的属性名类别中。

需要说明的是，本发明的抽取方法中，利用长短期记忆网络强大的自学习能力，可以挖掘序列数据内部复杂的结构特征，首先，结合句法分析和设计的基于类别映射方法，自动构建训练语料并进行优化，有效降低了深度学习模型对训练语料规模的依赖性，并摆脱了外部数据资源的限制。然后，结合词向量模型和文本特征，训练双向长短期记忆网络模型参数，有利于实体、属性名和属性值之间关系的精准判别。

作为本发明所述的一种基于双向长短期记忆网络的实体属性值的抽取方法的一种改进，所述步骤一中，所述预处理包括分句、分词、词性标注、依存关系解析及实体缺失处理。

作为本发明所述的一种基于双向长短期记忆网络的实体属性值的抽取方法的一种改进，所述步骤一中，所述预处理包括：

根据给定的实体的文本位置，结合句子结束的标记符号；

通过语料分析，判断部分语句存在实体缺失的情况；

借助HanLP中文自然语言处理工具，对所述语句进行分词、词性标注和依存关系解析操作，然后将每个所述语句表示为自然语言标记的词语序列。

作为本发明所述的一种基于双向长短期记忆网络的实体属性值的抽取方法的一种改进，所述步骤二中，识别所述属性值包括：