[发明专利]一种基于字模型的评论文本实体识别方法及装置有效
| 申请号： | 201611129133.4 | 申请日： | 2016-12-09 |
| 公开（公告）号： | CN106776555B | 公开（公告）日： | 2019-11-15 |
| 发明（设计）人： | 李全刚;柳厅文;王玉斌;李柢颖;时金桥;亚静;郭莉 | 申请（专利权）人： | 中国科学院信息工程研究所 |
| 主分类号： | G06F17/27 | 分类号： | G06F17/27 |
| 代理公司： | 11200 北京君尚知识产权代理有限公司 | 代理人： | 邱晓锋<国际申请>=<国际公布>=<进入 |
| 地址： | 100093*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及一种基于字模型的评论文本实体识别方法及装置。该方法包括：1)使用标注好的训练数据训练基于字的双向LSTM模型；2)使用训练好的基于字的双向LSTM模型对输入的评价性文本进行核心实体识别；3)对基于字的双向LSTM模型输出的非空结果进行字补齐，将补齐后的结果作为最终识别出的核心实体并输出；4)对基于字的双向LSTM模型输出的结果为空的评价性文本，通过文本分词、词性标注和实体词典生成一个候选实体作为核心实体。本发明可以从大规模、表达口语化的评论文本中准确高效地提取文本中实体。 | ||
| 搜索关键词： | 一种 基于 字模 评论 文本 实体 识别 方法 装置 | ||
【主权项】：
1.一种基于字模型的评论文本实体识别方法，其步骤包括：/n1)使用标注好的训练数据训练基于字的双向LSTM模型；训练基于字的双向LSTM模型时，按字对训练文本进行切分，截取定长的上下文一起构成字序列，同时采用采样窗口机制，保证训练集中正负采样数量的均衡；训练基于字的双向LSTM模型模型的步骤包括：/ni)对标注好的训练文本按照字进行切分，然后以每个字为中心截取定长的上下文作为训练样本，上下文长度不足的补0处理；/nii)如果一个字序列的中心字属于目标核心实体，则该样本为正样本，否则为负样本；/niii)按上述操作后，一条长度为N的评价性文本被处理成N个定长字序列，然后以核心实体首字和尾字为起点按定长采样窗口分别向前、向后选取字序列，连同核心实体对应的字序列一起作为该评价性文本的训练样本；/niv)训练样本集按字切分后生成字典并依据字频对字进行编号，根据字编号将训练样本转为数字序列；/nv)处理完所有带标注的文本，生成训练样本集，训练双向LSTM模型；/n2)使用训练好的基于字的双向LSTM模型对输入的评价性文本进行核心实体识别；/n3)对基于字的双向LSTM模型输出的非空结果进行字补齐，将补齐后的结果作为最终识别出的核心实体并输出；/n4)对基于字的双向LSTM模型输出的结果为空的评价性文本，通过文本分词、词性标注和实体词典生成一个候选实体作为核心实体。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中国科学院信息工程研究所，未经中国科学院信息工程研究所许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201611129133.4/，转载请声明来源钻瓜专利网。
