[发明专利]一种基于字模型的评论文本实体识别方法及装置

说明书

本发明涉及一种基于字模型的评论文本实体识别方法及装置。该方法包括：1)使用标注好的训练数据训练基于字的双向LSTM模型；2)使用训练好的基于字的双向LSTM模型对输入的评价性文本进行核心实体识别；3)对基于字的双向LSTM模型输出的非空结果进行字补齐，将补齐后的结果作为最终识别出的核心实体并输出；4)对基于字的双向LSTM模型输出的结果为空的评价性文本，通过文本分词、词性标注和实体词典生成一个候选实体作为核心实体。本发明可以从大规模、表达口语化的评论文本中准确高效地提取文本中实体。

技术领域

本发明属于信息技术领域，具体涉及一种基于字模型的评论文本实体识别方法及装置。

背景技术

评论文本是指用户发布的对消费产品或服务的点评文本，包括但不限于商品，店铺，旅游景点等，具体如购物网站的产品评价，旅游网站的旅游景点评论，观影网站的电影评论等等。评论文本的实体识别是指从评论文本中找出用户点评的对象。评论文本作为消费用户体验的直接反映，可以为产品或服务提供商，及其它消费用户提供重要参考。对该类文本的实体识别，可以快速方便地定位消费产品或服务的评论信息，为相关决策提供有力依据。

用户的评论文本不同于新闻文本，表述不规范，且包含很多噪音，使得传统方法很难应用到该类文本的实体识别中。具体来说，一方面，文本类型丰富多样，语言碎片化严重，导致核心实体的位置分布极不规律。另一方面，不同的用户表达方式，评论习惯差异巨大，对同一实体可能有多个完全不同的表达。鉴于以上两点原因，规则匹配很难从评论文本中准确识别出目标实体。

现有的技术中，基于人工的方法准确率相对较高，但成本高且无法处理海量文本；基于规则的匹配能识别的文本内容很有限，只能识别出规范性表达的文本；基于分词的方法会因为口语表达中的不规范，导致分词结果不准确，进而影响识别效果。

发明内容

本发明的目的在于提供一种基于字模型的评论文本实体识别方法及装置，可以从大规模、表达口语化的评论文本中准确高效地提取文本中实体。

本发明提供的一种基于字模型的评论文本实体识别方法及装置，针对多类型混合的评价性文本能有效地提取文本中的核心实体。该方法的主要步骤包括：使用标注好的训练数据训练基于字的双向LSTM(Long-Short Term Memory，长短期记忆)模型；输入评价性文本，使用训练好的双向LSTM模型进行核心实体识别；对上述模型输出结果进行字补齐，将补齐后的结果作为最后识别出的实体输出；如果模型输出结果为空，则通过实体词典、文本分词和词性生成一个候选实体作为核心实体。该方法中训练基于字的双向LSTM模型时要按字对训练文本进行切分，同时截取定长的上下文一起构成字序列，同时采用采样窗口机制，保证训练集中正负采样数量的均衡。

具体来说，本发明采用的技术方案如下：

一种基于字模型的评论文本实体识别方法，其主要步骤包括:(1)训练模型：使用标注好的训练数据训练基于字的双向LSTM模型；(2)模型识别实体：使用训练好的基于字的双向LSTM模型进行核心实体识别；(3)字补齐：对于模型输出结果非空的进行字补齐，将补齐后的结果作为最后识别出的实体输出；(4)生成候选实体：对于模型输出结果为空的测试文本，通过文本分词、词性标注和实体词典生成一个候选实体作为核心实体。

进一步地，步骤(1)训练模型时主要有以下几步：

i)对于标注好的训练文本，首先按照字进行切分(连续的英文及数字整体作为一个字，标点符号作为一个字)，以每个字为中心截取定长的上下文作为训练样本，上下文长度不足的补0处理；

ii)如果一个字序列的中心字属于目标核心实体，则该样本为正样本，否则为负样本；

iii)按上述操作后，一条长度为N的评价性文本被处理成N个定长字序列，然后以核心实体首字和尾字为起点按定长采样窗口分别向前、向后选取字序列(长度不足的忽略)，连同核心实体对应的字序列一起作为该评价性文本的训练样本；