[发明专利]网络数据采集方法及装置

说明书

技术领域

本发明涉及网络技术，尤其涉及一种网络数据采集方法及装置。

背景技术

随着计算机和网络技术的发展，网络上信息量呈爆炸式增长，搜索引擎已经成为人们在互联网上搜索数据的主要手段。而搜索引擎的数据源是通过网络采集器采集互联网上的数据获得的。

但是，由于网络上的数据更新速度块，而现有的网络采集器已经无法跟上高速更新的网络数据，从而导致了大量数据的丢失。因而，如何提高网络数据的采集效率已经成为了亟待解决的技术问题。

发明内容

本发明实施例提供一种网络数据采集方法及装置，以提高网络数据的采集效率。

本发明实施例采用如下技术方案：

一种网络数据采集方法，包括：

获取各个采集节点的性能效益参数值，其中所述性能效益参数值用于表示所述各个采集节点处理性能的优劣；

根据所述性能效益参数值，确定具有最大性能效益参数值的采集节点；

为所述具有最大性能效益参数值的采集节点分配任务。

一种网络数据采集装置，包括：

信息获取单元，用于周期性获取各个采集节点的性能指标参数，其中所述性能指标参数为CPU使用率、网络带宽使用率以及任务完成率；

节点选取单元，用于根据所述性能指标参数计算加权性能效益参数值，确定具有最大性能效益参数值的采集节点；

任务分配单元，用于为所述具有最大性能效益参数值的采集节点分配任务。

本发明实施例提供的网络数据采集方法及装置，首先获取各个采集节点的性能指标参数，并利用性能效益函数计算加权性能效益参数值，该值用于表示所述各个采集节点处理性能的优劣，然后根据所述加权性能效益参数值，确定具有最大性能效益参数值的采集节点，为所述具有最大性能效益参数值的采集节点分配任务。通过上述可以看出，具有最大性能效益参数值的采集节点的处理性能最优，也就是说它当前所要处理的任务最少，因此，可为所述具有最大性能效益参数值的采集节点分配任务，从而减轻其他采集节点的负担。那么这样，利用本发明实施例的技术方案，可保证在进行网络采集的过程中，各个采集节点都能正常的工作，采集到的数据全面，避免了现有技术中网络采集过程中数据丢失的缺陷，从而提高了网络采集的效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一网络数据采集方法的流程图；

图2为本发明实施例二网络数据采集方法的流程图；

图3为本发明实施例三网络数据采集装置的示意图；

图4为本发明实施例三网络数据采集装置的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例一提供了一种网络数据采集方法，包括：

步骤11、获取各个采集节点的性能效益参数值。

其中，所述性能效益参数值用于表示所述各个采集节点处理性能的优劣。当某个采集节点的处理性能好，它的性能效益参数值相对较大，而当某个采集节点的处理性能差，它的性能效益参数值相对较小。

在本发明实施例中，在获取各个采集节点的性能效益参数值时，可首先获取各个采集节点的各个性能指标参数，然后再分别对所述各个采集节点的各个性能指标参数加权求和，获取所述各个采集节点的性能效益参数值。

其中，所述性能指标参数可以包括采集节点的CPU使用率、网络带宽使用率、任务完成率。或者为了更全面的体现各个采集节点的处理性能，所述性能指标参数还可包括内存使用率。当所述性能指标参数所包括的参数种类越多，对各个采集节点性能的评价越全面，相应的获得的性能效益参数值越能反映出各个采集节点处理性能的优劣，从而使得对各采集节点之间任务的调度更准确。当然，所述性能指标参数还可不仅限于包括在此所列举的几种。

其中，对于各个采集节点中的任何一个采集节点，CPU使用率的计算方式为：U(c)＝exp(-μ×CS)，其中U(c)表示CPU使用率，CS表示所述采集节点当前的CPU使用率，μ为常数；