[发明专利]一种实时数据合并方法和装置

说明书

本公开提供一种实时数据合并方法和装置，其中方法包括：前置分组模块在接收到数据时，将具有处理关联性的数据发送至同一个数据处理节点，所述具有处理关联性的数据是待合并的关联数据；所述数据处理节点利用本地暂存，存储所述关联数据；所述数据处理节点合并所述关联数据。本公开节省了资源成本，提升了实时数据合并的效能。

技术领域

本公开涉及计算机技术领域，特别涉及一种实时数据合并方法和装置。

背景技术

在实时数据的处理中，对于具有处理关联性(某些数据在处理过程中有一定的依赖关系)的数据，可以进行数据合并。例如，当需要同时处理下单数据和支付数据时，具有相同订单号的下单数据和支付数据即为具有处理关联性的数据，可以将这两种数据合并后再进行后续处理。

现有技术中，需要进行合并的实时数据可能会分布在不同的数据处理节点，例如，下单数据在节点A，支付数据在节点B，并且数据到达节点的时间也可能不同，这种情况下为了实现数据的合并可以使用共享暂存。例如，各数据处理节点可以将自己接收到的数据发送至一个所有节点都可以访问的数据库，然后再向数据库查询获取其他节点接收的数据。比如，上述例子中，节点A将下单数据存储至数据库，并查询数据库中是否有支付数据，若节点B先于节点A已将接收到的支付数据存储至数据库，那么节点A可以获取到支付数据，并执行支付数据和下单数据的合并。但是，上述方法需要使用数据库资源，成本较高，而且数据库的吞吐量限制也制约了实时数据合并的速度，增加了数据处理延迟。

发明内容

有鉴于此，本公开提供一种实时数据合并方法和装置，以加快实时数据合并的速度，并降低资源成本。

具体地，本公开是通过如下技术方案实现的：

第一方面，提供一种实时数据合并方法，所述方法包括：

前置分组模块在接收到数据时，将具有处理关联性的数据发送至同一个数据处理节点，所述具有处理关联性的数据是待合并的关联数据；

所述数据处理节点利用本地暂存，存储所述关联数据；

所述数据处理节点合并所述关联数据。

第二方面，提供一种实时数据合并系统，所述系统包括：前置分组模块和分布式数据处理集群，所述分布式数据处理集群中包括多个数据处理节点，所述前置分组模块用于将数据送达所述各个数据处理节点；

所述前置分组模块，用于在接收到数据时，将具有处理关联性的数据发送至同一个数据处理节点，所述具有处理关联性的数据是待合并的关联数据；

所述数据处理节点，用于利用本地暂存，存储所述关联数据，并合并所述关联数据。

第三方面，提供一种计算机可读存储介质，所述介质上存储有计算机指令，该指令被处理器执行时，用于实现如下步骤：

前置分组模块在接收到数据时，将具有处理关联性的数据发送至同一个数据处理节点，所述具有处理关联性的数据是待合并的关联数据；

所述数据处理节点利用本地暂存，存储所述关联数据；

所述数据处理节点合并所述关联数据。

第四方面，提供一种实时数据合并设备，所述设备包括存储器、处理器，以及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述指令时实现如下步骤：

前置分组模块在接收到数据时，将具有处理关联性的数据发送至同一个数据处理节点，所述具有处理关联性的数据是待合并的关联数据；

所述数据处理节点利用本地暂存，存储所述关联数据；

所述数据处理节点合并所述关联数据。