[发明专利]数据收集分发方法及装置

说明书

本发明实施例提供一种数据收集分发方法及装置，属于数据处理领域。该方法通过获取多个数据源，然后获取所述多个数据源的优先级，再基于所述多个数据源的优先级将所述多个数据源分为多个队列，基于所述多个数据源的不同的数据分类将每个队列分为多个子队列，然后基于每个队列的优先级及每个子队列的优先级，对所述多个数据源进行发送，因此，本方案中将数据源分为不同的多个队列及多个子队列，根据多个队列和多个子队列的优先级对数据源进行发送，由此提高了数据源的有效处理，避免了因数据量过大而无法对数据源进行及时有效的处理的问题。

技术领域

本发明涉及数据处理领域，具体而言，涉及一种数据收集分发方法及装置。

背景技术

随着云计算、大数据技术的发展，数据的来源多样，数据格式不尽相同，运用大数据技术从海量数据中获取潜在的有用信息已得到了各方面的广泛关注。在全球化的数据系统中同时存在着日志数据的中转和汇总、分发等。

现有技术中对数据的收集和分发未有一个有效的方式，一般都是通过提升设备的性能来加快数据的传输，但是在数据量巨大的情况下，还是无法保证数据能有效的传输，因此，如何有效的收集、分发不同来源的数据，从而保证数据及时有效地处理，越来越受到重视。

发明内容

有鉴于此，本发明实施例的目的在于提供一种数据收集分发方法及装置，以改善上述技术问题。

第一方面，本发明实施例提供了一种数据收集分发方法，所述方法包括：

获取多个数据源；

获取所述多个数据源的优先级；

基于所述多个数据源的优先级将所述多个数据源分为多个队列；

基于所述多个数据源的不同的数据分类将每个队列分为多个子队列；

基于每个队列的优先级及每个子队列的优先级，对所述多个数据源进行发送。

进一步地，获取所述多个数据源的优先级，包括：

判断所述多个数据源中是否携带有优先级标签；

若是，则从所述多个数据源中获取所述多个数据源的优先级；

若否，则为未携带有所述优先级标签的数据源按照预设规则分配对应的优先级。

进一步地，基于所述多个数据源的优先级将所述多个数据源分为多个队列，包括：

将具有相同优先级的数据源分为同一个队列，以获得多个队列。

进一步地，基于所述多个数据源的不同的数据分类将每个队列分为多个子队列，包括：

将所述同一个队列中的数据源按照不同的数据类型分为多个子队列；或者

将所述同一个队列中的数据源按照不同的数据主题分为多个子队列；或者

将所述同一个队列中的数据源按照不同的数据源IP分为多个子队列。

进一步地，基于所述多个数据源的不同的数据分类将每个队列分为多个子队列之后，基于每个队列的优先级及每个子队列的优先级，对所述多个数据源进行发送之前，所述方法还包括：

为每个子队列分配对应的CPU资源及内存资源；

基于每个子队列的CPU资源及内存资源确定每个子队列的优先级。

第二方面，本发明实施例提供了一种数据收集分发装置，所述装置包括：

数据获取模块，用于获取多个数据源；

优先级获取模块，用于获取所述多个数据源的优先级；