[发明专利]一种基于异常处理的海量文本自动标注方法

摘要

本发明公开了一种基于异常处理的海量文本自动标注方法，包括如下步骤S1，从知识库中提取命名实体以及存在关系的命名实体对，分别进行存储；S2，根据存储的命名实体，通过使用字符串匹配找出海量文本中每个句子的命名实体，根据存储的命名实体对找出文本中所有命名实体对共现的句子，进行粗标注；S3，对进行过粗标注的句子中的命名实体进行判断，当存在词对异常时，将其删除；当存在命名实体异常时，通过过滤算法将有命名实体异常的命名实体全部去除掉，得到最终的文本标注结果。本发明能够有效解决在标注过程中错误标注的问题，提高了文本标注的准确率。

主权项

一种基于异常处理的海量文本自动标注方法，其特征在于包括如下步骤：S1，从知识库中提取命名实体以及存在关系的命名实体对，分别进行存储；S2，根据存储的命名实体，通过使用字符串匹配找出海量文本中每个句子的命名实体，根据存储的命名实体对找出文本中所有命名实体对共现的句子，进行粗标注；S3，对进行过粗标注的句子中的命名实体进行判断，当存在词对异常时，将其删除；当存在命名实体异常时，通过过滤算法将有命名实体异常的命名实体全部去除掉，得到最终的文本标注结果；其中，所述通过过滤算法将有命名实体异常的命名实体全部去除掉包括使用基于命名实体词性的方法过滤掉词性异常的命名实体；所述使用基于命名实体词性的方法过滤掉词性异常的命名实体，包括如下步骤：对于命名实体e，判断其在文本中的常见词性POSe；当命名实体e是关系r的实例中的第一个实体时，找出关系r所有实例中第一个实体最常见的词性POSr，否则找出关系r所有实例中第二个实体最常见的词性POSr；如果POSe与POSr不相等，则判定命名实体e有异常。