[发明专利]一种进行学术人物信息抽取和聚合的方法

说明书

本发明公开了一种进行学术人物信息抽取和聚合的方法，要解决的是现有学术人物信息的检索方式获取信息速度慢的问题。本发明步骤如下：步骤一，数据获取：通过训练的网页分类器从搜索引擎中爬取搜索学术人物主页，得到数据；步骤二，数据预处理：对步骤一中得到的数据进行预处理和切块，得到预处理的数据；步骤三，信息块预标记：采用fastText模型对预处理的信息块进行预标注，得到预标注后的信息块；步骤四，采用HMM对预标记后的网页信息块进行序列化标注；步骤五，信息聚合：采用计算BLEU值的方式来评价预标注后的数据的相似度，从而达到去重合并的目的，将聚合后的数据展示出来即可。本发明的方法操作简单，可以快速准确的得到所需的学术人物信息。

技术领域

本发明涉及学术人物信息领域，具体是一种进行学术人物信息抽取和聚合的方法。

背景技术

在互联网上，几乎所有的数据都会以web中网页的形式存在，web中大部分网页由超文本标记语言编写的一种半结构化的形式。由于各种脚本语言美化网页，各种版本的HTML、CSS样式和AJAX构造网页，网络中的网页变得各式各样。通常情况下我们用搜索引擎来检索信息，但是不能被搜索引擎索引的网页的数量是能搜索网页数量的400到500倍。因此，随着互联网的高速发展，在海量数据存在于互联网上并且其数据规模还在不断增长的背景下，研究人员能够得到自己所需学术信息的难度和时间开销也在不断变大。

学术人物信息就是研究人员经常需要得到的一种信息，目前的搜索方法需要人为的去筛选自己需要的信息，这种方式的时间和精力开销是现在处于快速生活和工作节奏的人们所不能接受的，人们在进行更加快速的学术人物信息的检索方式的研究。

发明内容

本发明实施例的目的在于提供一种进行学术人物信息抽取和聚合的方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明实施例提供如下技术方案：

一种进行学术人物信息抽取和聚合的方法，具体步骤如下：

步骤一，数据获取：通过训练的网页分类器对搜索引擎的返回结果进行分类，从而发现学术人物主页，得到数据；

步骤二，数据预处理：对步骤一中得到的数据进行预处理和切块，得到预处理后的数据；

步骤三，信息块预标记：采用fastText对预处理的数据进行预标注，得到预标注后的数据；

步骤四，信息标注：将预标记后的标签作为输入，采用HMM对信息块进行序列化标注，得到标注后的数据；

步骤五，信息聚合：采用计算BLEU(bilingual evaluation understudy)值的方式来评价标注后的数据的相似度，从而达到去重合并的目的，将聚合后的数据展示出来即可。

作为本发明实施例进一步的方案：步骤一的数据中学术人物姓名均采用英文姓名，便于获取国内外学术人物的信息。

作为本发明实施例进一步的方案：步骤二中预处理为对步骤一中得到的数据采用正则处理、分词处理和去停用词处理，方便后续工作中将预处理的数据进行向量化等的切块步骤。

作为本发明实施例进一步的方案：步骤一中网页分类过程包括采用tf-idf算法对数据进行向量化表示和训练SVM(支持向量机)分类器模型参数。

作为本发明实施例进一步的方案：步骤三中预标注包括通过fastText预标注和隐马尔可夫模型(Hidden Markov Model)进行序列标注，本申请称为F-HMM。