[发明专利]关键词自动抽取的多路评测方法及系统、计算机程序

说明书

本发明属于计算机软件技术领域，公开了一种关键词自动抽取的多路评测方法及系统、计算机程序，将标注语料与原文进行对比，不合格的标注语料修改为与原文一致；与人工标注结果做对比，通过对比抽取成功的关键词的个数和正确性，得出准确度和召回率的信息；对比P(N)与P(N+M)的值，R(N)与R(N+M)的值，分析关键词的抽取，及关键词的排序。本发明采用人工标注的结果与关键词抽取算法给出的结果做对比的方式来评估算法的质量，为减少人为主观性对结果的影响，采用多人(三人以上)对同一文本进行关键词标注，对多份不同的人为标注结果加工处理后作为一份最终标注结果。

技术领域

本发明属于计算机软件技术领域，尤其涉及一种关键词自动抽取的多路评测方法及系统、计算机程序。

背景技术

关键词自动抽取是依靠计算机从文本中抽取出最具有代表性的，反映主题内容的单词或术语，也称作关键词的自动标引，在自然语言处理、文本自动摘要生成、文本分类、文本聚类和信息检索等方面有着重要的应用。关键词的自动抽取能否真实反映文本的内容变得尤为重要。当前主要通过准确度(Precision) 与召回率(Recall)以及F值对关键词自动抽取的质量进行评估，这种评估方式较为单一，具有片面性。由于对判别文本关键词结果没有统一的标准，也缺乏现成的标注的数据集，目前只能通过用人工标注的结果与关键词抽取算法给出的结果做对比的方式来评估算法的质量，人工标注结果通常存在很大的主观性，最终可以归纳为几个问题：如何根据多份标注内容得到一份较为客观的标注结果；如何认定关键词是否匹配；如何计算评测值。

综上所述，现有技术存在的问题是：目前的关键词自动抽取方法评估仅仅靠一版标注答案，通过准确率和召回率来评价算法存在评估方式单一和具有片面性。通过本发明，能降低人为因素对结果的影响，多角度评估算法质量。

发明内容

针对现有技术存在的问题，本发明提供了一种关键词自动抽取的多路评测方法及系统、计算机程序。

本发明是这样实现的，一种关键词自动抽取的多路评测方法，所述关键词自动抽取的多路评测方法将标注语料与原文进行对比，不合格的标注语料修改为与原文一致；与人工标注结果做对比，通过对比抽取成功的关键词的个数和正确性，得出准确度和召回率的信息；对比P(N)与P(N+M)的值，R(N) 与R(N+M)的值，分析关键词的抽取，及关键词的排序。

进一步，所述将标注语料与原文进行对比，不合格的标注语料修改为与原文一致之后需要：将标注的多版关键词进行处理，通过算法，按照规则，合并为关键词，作为最终的标注答案。

进一步，所述合并为关键词，作为最终的标注答案之后需要调用算法接口，分别保存N个关键词和N+M个关键词的结果。

本发明的另一目的在于提供一种所述关键词自动抽取的多路评测方法的关键词自动抽取的多路评测系统，所述关键词自动抽取的多路评测系统包括：

验证模块，用于验证标注语料，将不合格的标注语料修改为与原文一致；

标注模块，用于将标注的多版关键词进行处理；

调用模块，用于用算法接口，保存关键词和关键词的结果；

对比模块，用于将算法结果与人工标注结果做对比，通过对比抽取成功的关键词的个数和正确性，得出准确度和召回率的信息；

抽取及排序模块，用于分析关键词的抽取，及关键词的排序。

本发明的另一目的在于提供一种实现所述关键词自动抽取的多路评测方法的计算机程序。

本发明的另一目的在于提供一种搭载有所述计算机程序的计算机。

本发明的另一目的在于提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行所述的关键词自动抽取的多路评测方法。