[发明专利]一种基于字模型的评论文本实体识别方法及装置

权利要求书

1.一种基于字模型的评论文本实体识别方法，其步骤包括：

1)使用标注好的训练数据训练基于字的双向LSTM模型；训练基于字的双向LSTM模型时，按字对训练文本进行切分，截取定长的上下文一起构成字序列，同时采用采样窗口机制，保证训练集中正负采样数量的均衡；训练基于字的双向LSTM模型模型的步骤包括：

i)对标注好的训练文本按照字进行切分，然后以每个字为中心截取定长的上下文作为训练样本，上下文长度不足的补0处理；

ii)如果一个字序列的中心字属于目标核心实体，则该样本为正样本，否则为负样本；

iii)按上述操作后，一条长度为N的评价性文本被处理成N个定长字序列，然后以核心实体首字和尾字为起点按定长采样窗口分别向前、向后选取字序列，连同核心实体对应的字序列一起作为该评价性文本的训练样本；

iv)训练样本集按字切分后生成字典并依据字频对字进行编号，根据字编号将训练样本转为数字序列；

v)处理完所有带标注的文本，生成训练样本集，训练双向LSTM模型；

2)使用训练好的基于字的双向LSTM模型对输入的评价性文本进行核心实体识别；

3)对基于字的双向LSTM模型输出的非空结果进行字补齐，将补齐后的结果作为最终识别出的核心实体并输出；

4)对基于字的双向LSTM模型输出的结果为空的评价性文本，通过文本分词、词性标注和实体词典生成一个候选实体作为核心实体。

2.如权利要求1所述的方法，其特征在于，步骤v)将训练样本集分为训练和验证两部分，通过设置激活函数、损失函数对LSTM模型进行训练。

3.如权利要求1所述的方法，其特征在于，步骤2)使用基于字的双向LSTM模型模型识别核心实体的步骤包括：对输入的评价性文本同样进行字切分，以每个字为中心截取定长的上下文作为训练样本，上下文长度不足的补0处理，一条长度为N的评价性文本被处理成N个定长字序列，并依据所述字典和编号转化为数字序列，将此N个序列输入到训练好的双向LSTM模型中进行标注。

4.如权利要求1所述的方法，其特征在于，步骤3)进行所述字补齐时，首先对测试文本进行分词，然后依据分词结果找到能够覆盖模型输出结果的最小分词序列，最后依据词性迭代删除最小覆盖序列的首尾词。

5.如权利要求1所述的方法，其特征在于，步骤4)对于模型输出结果为空的测试文本，先对文本进行分词和词性标注，把分词后的文本中首个满足如下条件之一的词作为候选实体：

i)在实体词典中，其中实体词典为用户自定义的核心实体集；

ii)词性为名词且在测试集文本中，该 词词频不超过阈值。

6.一种基于字模型的评论文本实体识别装置，其特征在于，包括：

模型训练模块，负责使用标注好的训练数据训练基于字的双向LSTM模型；训练基于字的双向LSTM模型时，按字对训练文本进行切分，截取定长的上下文一起构成字序列，同时采用采样窗口机制，保证训练集中正负采样数量的均衡；训练基于字的双向LSTM模型模型的步骤包括：

i)对标注好的训练文本按照字进行切分，然后以每个字为中心截取定长的上下文作为训练样本，上下文长度不足的补0处理；

ii)如果一个字序列的中心字属于目标核心实体，则该样本为正样本，否则为负样本；

iii)按上述操作后，一条长度为N的评价性文本被处理成N个定长字序列，然后以核心实体首字和尾字为起点按定长采样窗口分别向前、向后选取字序列，连同核心实体对应的字序列一起作为该评价性文本的训练样本；

iv)训练样本集按字切分后生成字典并依据字频对字进行编号，根据字编号将训练样本转为数字序列；

v)处理完所有带标注的文本，生成训练样本集，训练双向LSTM模型；

实体识别模块，负责使用训练好的基于字的双向LSTM模型对输入的评价性文本进行核心实体识别；

字补齐模块，负责对基于字的双向LSTM模型输出的非空结果进行字补齐，将补齐后的结果作为最终识别出的核心实体并输出；

候选实体生成模块，负责对基于字的双向LSTM模型输出的结果为空的评价性文本，通过文本分词、词性标注和实体词典生成一个候选实体作为核心实体。

7.如权利要求6所述的装置，其特征在于，所述字补齐模块进行所述字补齐时，首先对测试文本进行分词，然后依据分词结果找到能够覆盖模型输出结果的最小分词序列，最后依据词性迭代删除最小覆盖序列的首尾词。