[发明专利]一种用于多数据源的数据处理方法和装置

说明书

本发明公开了一种用于多数据源的数据处理方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：接收来自第一数据源的订单标识和目标参数改变量；在第一缓存集中根据所述目标参数改变量更新所述订单标识对应的目标参数值；接收来自第二数据源的订单标识和活动标识；将所述订单标识与所述活动标识的对应关系保存至第二缓存集；根据第二缓存集中订单标识与活动标识的对应关系，在第一缓存集中查询与所述活动标识对应的订单标识的目标参数值，并根据所述目标参数值计算所述订单标识对应的总目标参数值。该实施方式能够提高数据处理的实时性和容错性。

技术领域

本发明涉及计算机技术领域，尤其涉及一种用于多数据源的数据处理方法和装置。

背景技术

在使用流式计算过程中，在同时处理两个或以上数量的流，而分析的指标分别存在不同数据流中时，需要进行流的关联，如何在关联多个数据流的同时，能够保证结果的实时性，成为技术的关键。现有技术将来自不同数据源的数据流缓存至数据表中，并在需要时进行联表查询。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

现有的处理方法由于需要采用联表查询，因此实时性较差；此外，在联表查询时需要确保数据表中对应数据的完整，因此可能出现数据流消费积压或延迟，容错性较差。

发明内容

有鉴于此，本发明实施例提供一种用于多数据源的数据处理方法和装置，能够提高数据处理的实时性和容错性。

为实现上述目的，根据本发明实施例的一个方面，提供了一种用于多数据源的数据处理方法，包括：

接收来自第一数据源的订单标识和目标参数改变量；在第一缓存集中根据所述目标参数改变量更新所述订单标识对应的目标参数值；

接收来自第二数据源的订单标识和活动标识；将所述订单标识与所述活动标识的对应关系保存至第二缓存集；根据第二缓存集中订单标识与活动标识的对应关系，在第一缓存集中查询与所述活动标识对应的订单标识的目标参数值，并根据所述目标参数值计算所述订单标识对应的总目标参数值。

在一些可选的实施例中，在第一缓存集中根据所述目标参数改变量更新所述订单标识对应的目标参数值的步骤包括：

在第一缓存集中查询所述订单标识；

若查询到，则将所述订单标识对应的原目标参数值叠加所述目标参数改变量，作为所述订单标识的当前目标参数值；

若未查询到，则将所述目标参数改变量作为当前目标参数值，将所述订单标识和所述当前目标参数值的对应关系保存至第一缓存集。

在一些可选的实施例中，在第一缓存集中根据所述目标参数改变量更新所述订单标识对应的目标参数值的步骤后，还包括：

生成当前版本号，使用所述当前版本号替换所述目标参数值的原版本号；

在第二缓存集中查询与所述订单标识对应且版本号与所述当前版本号不同的活动标识，根据所述目标参数改变量更新该活动标识对应的总目标参数值；

在将所述订单标识与所述活动标识的对应关系保存至第二缓存集的步骤前，还包括：

在第一缓存集中查询所述订单标识的目标参数值的版本号；

在将所述订单标识与所述活动标识的对应关系保存至第二缓存集的步骤后，还包括：

将所述订单标识的目标参数值的版本号作为所述活动标识的版本号。

在一些可选的实施例中，生成当前版本号的步骤包括：

将当前时间戳作为当前版本号；或者，

预设版本号变量，获取版本号变量的值作为当前版本号，然后将所述版本号变量的值叠加一正实数。