[发明专利]使一类实体的数据同时分布在与之关联的多种实体所在的集群节点中的方法

说明书

技术领域

本发明涉及集群分布式计算领域

背景技术

在信息技术高速发展的今天，无论是互联网还是企业内部的数据量，都呈指数速度的发展和增加中。海量数据的计算和处理日趋重要，其中大规模集群分布式数据处理和分布式计算两项技术成为海量数据处理的关键性技术。

为了使数据的处理更加透明和更有效率，发明了实体数据关联分发方法，该方法会通过关联性分析，将需要处理的数据分发至多个关联数据所在的集群节点，使得关联数据的提取、合并、搜索和分析都集中在单一集群节点，这样不仅能够充分利用单一节点的运算能力，同时还能够很大程度上节约网络传输的时间和带宽，提升系统整体吞吐量。

发明内容

本发明的目的是提供一种数据分发方法，通过理解关联数据之间的关系，来进行数据分发，将相关数据分发多份至其关联数据所在节点，从而提升数据提取、合并、搜索和分析性能，降低分布式集群的网络传输时间并节约网络带宽。

为达到上述目的，本发明设定了一种分发策略。

1.对数据进行关联关系设置，用于了解数据之间的主从关系，同时一种实体会有多种关联实体。

2.对关联数据设置分发算法，用来计算数据分发到节点。

3.对多个关联数据进行分发，通过分发算法，计算出分法节点，并把该数据写入到相应节点。

4.对与多种数据有关联的数据进行分发，写入与多个数据有关联的数据时，将数据复制写入至多个数据所在的多个节点。

5.关联数据的提取、合并、搜索和分析，相关数据的操作即可在同一节点完成。

附图说明

图1为本发明的工作流程示意图，为写入关联数据的流程，关联数据会分别写入至两个数据节点，与这两个数据相关联的数据，会写入与这两个数据相同的数据节点，达到充分利用计算和存储资源又能够节省计算的目的。

具体实施方式

下面结合附图1对本发明所述的技术方案做进一步详细描述。

图1为使数据同时分布在与之关联的多种实体所在的集群节点所涉及的各个模块的方框图，其中包括数据分发中心节点和集群节点。

数据分发的步骤如下：

1)用户进行系统设置，标识数据之间关联的字段

2)对关联数据设置分发算法

3)主节点1数据分发

4)主节点2数据分发

5)关联实体数据分布，分别分发至主节点1数据所在节点和主节点2数据所在节点。

6)数据搜索及后续处理都可以分别在集群节点1和集群节点4上面完成，不需要进行集群多节点通信。