[发明专利]一种人物属性抽取训练数据集构建方法

权利要求书

1.一种人物属性抽取训练数据集构建方法，其特征在于：所述方法具体步骤如下：

步骤一：网络数据采集

在中文维基百科网站中，下载中文人物页面，然后解析页面的内容，保存页面中左侧和右侧信息框里的两部分文本数据，页面左侧的文本数据是描述人物详细信息的正文内容，右侧信息框描述人物的各种属性及相应的属性值内容，然后将左侧正文内容数据全部以UTF-8格式进行编码，并以句子为单位进行切分；

步骤二：人物属性语料产生

针对步骤一中切分后的语句，选取包含人物名称的句子作为候选语句，然后遍历信息框中各行的属性值内容，如果候选语句包含有信息框中的任何一条属性值内容，则该候选语句被选取出来作为人物属性语料的一条语句；

步骤三：人物属性语料过滤

针对步骤二中得到的人物属性语料中的语句，提取数据集中所有语句中的动词，根据动词在训练数据集中的出现情况进行排序，选取排名靠前的动词作为属性触发词，然后删除掉人物属性语料中不包含属性触发词的语句，剩下的语句就组成了人物属性抽取训练数据集；

在步骤三中所述的动词排序中,利用哈工大信息检索实验室的LTP语言技术平台对语句中的词语进行词性标注,提取出所有的动词进行排序,排序方法采用基于熵的排序技术,该技术根据词语在人物属性语料数据集中的分布情况来进行排序,如果一个词语在许多的语句中都出现,则该词语的排名靠后，其中，人物属性语料过滤过程为：

1)对构建的训练语料数据集中的每一条语句,利用哈工大信息检索实验室的LTP语言技术平台对语句中的词语进行词性标注,提取出所有语句中所有的动词组成词语集合W＝{w₁,w₂,…,w_n}，其中w_i表示集合里的第i个动词，n表示所有动词的个数；

2)针对每个词语w_i，0in+1，i为整数，为训练语料数据集中每条语句p_j构建一个向量表示0jm+1,j为整数，其中里面每个元素x_k的取值为0或1，0kn+1，k为整数，如果词语集合W中第k个词语w_k语句p_j中出现且w_k不等于词语w_i，则x_k取值为1，否则x_k取值为0；然后基于构建的语句向量，计算词语w_i的熵值E_i，计算公式如下

其中S_i,j表示两条语句p_i和p_j之间的相似度，α表示人物属性语料中所有语句对之间相似度的平均值；

3)依据熵值E_i大小对词语集合W里所有的动词进行排序，选取前5％的动词作为人物属性触发词；然后对训练语料数据集P的语句进行过滤，如果一条语句不包含任何一个触发词，则该条语句从训练语料数据集P中被删除掉；最后，训练语料数据集P剩下的语句就组成了人物属性抽取训练数据集。

2.根据权利要求1所述的一种人物属性抽取训练数据集构建方法，其特征在于：在步骤一中所述的信息框位于网页HTML代码中的class里包含infobox的table标签中，而描述人物详细信息的正文内容位于网页HTML代码中id为mw-content-text的div标签下的段落里，采用开源工具哈工大语言技术平台LTP对人物正文内容进行句子切分。

3.根据权利要求1所述的一种人物属性抽取训练数据集构建方法，其特征在于：在步骤二中所述的信息框属性遍历中，信息框为一个包含两列的数据表格，表格中每一行对应一个属性，第一列表示属性类别名称，第二列表示属性值内容，如果信息框中的属性值内容所在单元格中的语句包含标点符号，则按照标点符号对该语句进行切分，切分后的每个部分称为该行所表示的属性类别的一个属性值。