[发明专利]一种利用分布式技术实现的数据采集与处理方法

说明书

技术领域

本发明涉及利用分布式技术实现信息搜集及信息处理的方法，属于计算机网络和和分布式计算的交叉技术应用领域。

背景技术

分布式技术是一种基于网络的计算机处理技术，由于个人计算机的性能得到极大的提高及其使用的普及，使处理能力分布到网络上的所有计算机成为可能。

Hadoop(一种并行运算编程工具)是一个开源的可运行于大规模集群上的分布式并行编程框架，基于Hadoop，可以轻松地编写可处理海量数据的分布式并行程序，并将其运行于由成百上千个结点组成的大规模计算机集群上。Hadoop框架中最核心的设计就是MapReduce(映射与化简)和HDFS(分布式文件系统)。MapReduce的思想是由Google(谷歌)的一篇论文所提及而被广为流传的，简单的说MapReduce就是“任务的分解与结果的汇总”。“Map(映射)”就是将一个任务分解成为多个任务，“Reduce(化简)”就是将分解后多任务处理的结果汇总起来，得出最后的分析结果。在Map前还可能会对输入的数据有Split(分割)的过程，保证任务并行效率，在Map之后还会有Shuffle(混合)的过程，对于提高Reduce的效率以及减小数据传输的压力有很大的帮助。HDFS则为分布式计算存储提供了底层支持。使用Hadoop进行分布式计算的优势有：

1.可扩展：不论是存储的可扩展还是计算的可扩展都是Hadoop的设计根本。

2.经济：框架可以运行在任何普通的个人电脑上。

3.可靠：分布式文件系统的备份恢复机制以及MapReduce的任务监控保证了分布式处理的可靠性。

4.高效：分布式文件系统的高效数据交互实现以及MapReduce结合本地数据处理的模式，为高效处理海量的信息作了基础准备。

发明内容

技术问题：本发明的目的是提供一种利用分布式技术实现的数据采集与排序处理方法，利用Hadoop技术从网络上的数据库中搜集与对象有关的数据，并对相关数据进行运算，进而对对象进行排名的方法。

技术方案：本发明利用分布式技术实现的数据采集与排序处理方法的具体步骤如下：

步骤1).通过分布式计算工具，向各大网络论文搜索引擎发送用户请求，从某一类列表中依次读取该类列表中各子目录名称，并以此为关键字利用搜索引擎搜索与该子目录名称相关的数据情况；

步骤2).抓取各搜索引擎返回的查询结果，并将其保存为超文本传输协议文件；

步骤3).利用分布式计算工具的超文本传输协议文件分析器分析得到的文件，将其转换成爪哇对象，并通过遍历对象，获取需要的关键信息；

步骤4).通过数据清洗，去除与排序无关的信息，只保留所需排序的有关若干种信息的收录情况，并按照此格式将处理过的数据保存入文档，每个子目录名称对应一个文件；

步骤5).遍历每个子目录名称对应的文件，查询其中是否有重复数据，若有则将重复数据删除；

步骤6).遍历每个子目录名称对应的文件，统计每个子目录名称中各种数据，

步骤7)以每个子目录名称中各种数据计算每个子目录名称下的总得分，公式为：

其中p、q、s、t为各个子目录名称下的4项统计数据，x、y、z、w为各个子目录名称中分别对应4种统计数据中最大的一个统计数，p、q、s、t在总得分中的权重分别为20％，20％，30％，30％。

步骤8).根据每个子目录名称下的总得分，对所有总得分进行排序，得到排序结果。

有益效果：本发明提出了一种通过分布式工具从网络数据库中采集相关数据，对这些数据进行分析，然后利用数据分析的结果计算对象的得分并对其进行排名的方法，并利用此方法可实现了一个大学学术排名系统。本方法具有如下几个优点：

(1)采用Hadoop技术，通过分布式计算可以快速地处理海量数据，并得到所需结果。

(2)同时在五大论文搜索引擎中搜索，可以全面地获得待排名对象的信息，从而使排序结果可信度更高。

(3)通过运行此大学排名系统，可以实时掌握各大学论文发表情况，从而掌握最新学术动态。

具体实施方式

本发明利用Hadoop技术，通过网络搜索引擎获得待排名对象的相关数据，并对得到的数据进行分析处理，计算待排名对象的得分，并据此得到排名结果。在大学学术排名系统中，通过五大论文搜索引擎获得各高校论文发表情况，并对其进行分析处理，得出每所大学的学术得分(满分为100分)，并据此对各大学进行学术排名。