[发明专利]构建命名实体标注资源库方法、装置、存储介质和计算机设备

摘要

本发明涉及一种构建命名实体标注资源库方法、装置、存储介质和计算机设备。本发明使用少量种子库与未标注文本集中的未标注文本构成本轮迭代的资源库进行计算，通过计算未标注文本中每个命名实体的平均效用值，生成下一轮迭代的种子库，再将生成的种子库与其他未标注文本构成下一轮迭代的资源库进行计算出再下一轮的种子库，就这样一直计算直到将未标注文本全部计算，发现新的命名实体，并生成命名实体标注资源库。这种方法计算简单，所得结果的置信度高，适合处理大规模文本。文本数据为一种非结构化数据，通常对非结构化数据进行效果评估都比较困难，而该方法可以实现对文本命名实体进行量化评估。

主权项

一种构建命名实体标注资源库方法，所述方法包括：获取已标注文本集作为本轮迭代的种子库，所述已标注文本集包括已标注文本；获取未标注文本集，所述未标注文本集包括未标注文本，从所述未标注文本集中选取预设数量的未标注文本与所述种子库构成本轮迭代的资源库；计算所述未标注文本中每个命名实体的平均效用值；对所述平均效用值按照从大到小进行排序，获取排名靠前的预设数量的命名实体作为候选词；选出包含所述候选词且效用值最大的文本添加到所述种子库中作为下一轮迭代的种子库，再从所述未标注文本集中选取预设数量的未标注文本与所述种子库构成所述下一轮迭代的资源库，直到将所述未标注文本集中的所有未标注文本全部迭代，得到标注资源库；对所述标注资源库中的候选词进行评分；获取评分超过设定阈值的候选词对应的包含所述候选词的文本，将所述文本构成的集合作为命名实体标注资源库。