[发明专利]一种面向评价性文本的核心实体识别方法及装置

摘要

本发明涉及一种面向评价性文本的核心实体识别方法及装置。该方法包括以下步骤：1)输入评价性文本，基于专家规则和行业专有词典识别该评价性文本中的核心实体；2)对步骤1)未识别出核心实体的评价性文本，使用训练好的基于词的双向LSTM模型进行核心实体识别；3)对步骤2)未识别出核心实体的评价性文本，通过对已有实体集的统计并结合文本分词和词性标注，生成候选实体作为核心实体。该装置包括规则匹配模块、模型识别模块和候选实体生成模块。本发明针对多类型混杂的评价性文本，能够准确有效地提取文本中的核心实体，为用户决策判断提供有力依据。

主权项

1.一种面向评价性文本的核心实体识别方法，其特征在于，包括以下步骤：/n1)输入评价性文本，基于专家规则和行业专有词典识别该评价性文本中的核心实体；/n2)对步骤1)未识别出核心实体的评价性文本，使用训练好的基于词的双向LSTM模型进行核心实体识别；在训练双向LSTM模型时使用采样窗口机制来保证训练集中正负采样数量的均衡；训练双向LSTM模型的方法是：/ni)对于标注好的训练文本进行分词处理，以每个词为中心截取定长的上下文作为训练样本，上下文长度不足的补0处理；/nii)如果一个词序列的中心词属于目标核心实体，则该样本为正样本，否则为负样本；/niii)按上述操作后，一条包含N个词的评价性文本被处理成N个定长词序列，然后以核心实体首词和尾词为起点按定长采样窗口分别向前、向后选取词序列，连同核心实体对应的词序列一起作为该评价性文本的训练样本；/niv)训练集分词处理后统计词典并依据词频对词进行编号，根据词编号将训练样本转为数字序列；/nv)处理完所有带标注的文本，生成训练样本集，利用该训练样本集训练基于词的双向LSTM模型；/n3)对步骤2)未识别出核心实体的评价性文本，通过对已有实体集的统计并结合文本分词和词性标注，生成候选实体作为核心实体。/n