[发明专利]一种人物属性抽取训练数据集构建方法

说明书

本发明公开了一种人物属性抽取训练数据集构建方法。首先，下载HTML页面中的文本数据内容，提取描述人物正文内容和属性信息的信息框数据，并进行编码存储和语句切分；然后，对切分后的语句，选取既包含人物名称、人物属性值内容的语句构建人物属性抽取语料数据集；最后，提取人物属性抽取语料数据集中的所有动词，基于信息熵的方法对所有动词进行排序，提取排名靠前的动词作为属性触发词，把人物属性抽取语料数据集中不包含属性触发词的语句删除掉，剩下的语句就组成了人物属性抽取训练数据集。本发明综合利用的网页数据采集、词性分析、词语信息熵计算等技术自动构建人物属性抽取训练数据集，对提高训练数据集构建的效率具有重要意义。

技术领域

本发明涉及一种人物属性抽取训练数据集构建方法，它可以为人物属性各种抽取算法构建模型训练所需的标注数据，适用于网络信息抽取、信息检索等。属于数据挖掘、信息检索技术领域。

背景技术

随着互联网的迅速发展，人们越来越依赖从网上获取所需的知识和信息。然而,网络中的数据都以非结构化形式进行展示,人们很难从如此大规模的非结构化数据中快速找到所需的信息。因此，许多信息抽取算法被提出来，这些算法自动从非结构化数据中抽取出结构化的数据。其中一个重要的信息抽取算法就是人物属性抽取算法，人物属性抽取算法主要用来从给定的文本语句中自动抽取出描述人物各种属性的信息，例如人物的出生地、出生日期、职业、工作单位等。要保证人物属性抽取算法能够准确抽取出用户所需的数据，就需要构建一个大规模的训练数据集对属性抽取算法进行有效地训练。

然而，目前大部分的人物属性抽取训练数据集构建方法都主要依赖于人工标注，这些方法不仅效率低而且对使用者造成极大的物质和人力负担。因此，需要提出一个自动构建人物属性抽取训练数据集的方法，自动收集网络上的人物属性数据，识别其中包含人物属性的语句，进而构建一个训练数据集，为人物属性抽取算法的训练提供数据集。

发明内容

本发明要解决的技术问题：克服现有训练数据集构建技术主要依赖于人工标注的不足，提出一种人物属性抽取训练数据集构建方法。该方法在偏重数据集构建效率的基础上，充分考虑了网络数据中人物属性描述语句的特点，提高了人物属性抽取训练数据集的质量。

本发明的技术解决方案：一种人物属性抽取训练数据集构建方法，它包括网络数据采集、人物属性语料产生、人物属性语料过滤3个部分。网络数据采集部分负责从维基百科网站采集包含人物属性信息的文本数据，并对采集的数据进行预处理。人物属性语料产生部分负责识别采集的文本数据中包含人物属性信息的语句，这些语句组成了人物属性语料。人物属性语料过滤部分负责过滤掉数据集中不包含有效的属性信息的噪音语句，剩下的语句就构成了人物属性抽取训练数据集。

本发明一种人物属性抽取训练数据集构建方法，其具体步骤如下：

步骤一：网络数据采集

在中文维基百科网站中，下载中文人物页面，然后解析页面的内容，保存页面中左侧和右侧信息框里的两部分文本数据，页面左侧的文本数据主要是描述人物详细信息的正文内容，右侧信息框主要描述人物的各种属性及相应的属性值内容，然后将左侧正文内容数据全部以UTF-8格式进行编码，并以句子为单位进行切分；

步骤二：人物属性语料产生

针对步骤一中切分后的语句，选取包含人物名称的句子作为候选语句，然后遍历信息框中各行的属性值内容，如果候选语句包含有信息框中的任何一条属性值内容，则该候选语句被选取出来作为人物属性语料的一条语句。

步骤三：人物属性语料过滤

针对步骤二中得到的人物属性语料中的语句，提取数据集中所有语句中的动词，根据动词在训练数据集中的出现情况进行排序，选取排名靠前的动词作为属性触发词，然后删除掉人物属性语料中不包含属性触发词的语句，剩下的语句就组成了人物属性抽取训练数据集。