[发明专利]一种保障计算数据一致性的处理方法、装置及系统

说明书

本申请提供一种保障计算数据一致性的处理方法、装置及系统。所述方法包括：读取离线数据库中的离线数据，根据所述离线数据的存储统计时间确定所述离线数据同步延迟的延迟时间；从预先设置的实时流计算结果数据库中读取当前统计时间的实时数据，并读取出与所述延迟时间相对应的实时数据作为业务计算的补偿数据；基于所述离线数据、实时数据和补偿数据执行业务计算。利用本申请各个实施例，可以实现解决因数据同步时间的不确定和延迟导致数据的不一致问题，保证推荐排序分计算准确性，降低业务计算的性能损耗，提高计算效率。

技术领域

本申请属于数据库数据处理技术领域，尤其涉及一种保障计算数据一致性的处理方法、装置及系统。

背景技术

在目前的许多业务系统中，如商品推荐、精华帖推荐等，许多业务的统计、计算等常常需要使用离线存储的历史数据和当前实时数据相结合来计算输出结果，以保障统计、计算结果的准确性。

例如在商品推荐系统中，可以根据用户商品浏览的历史记录和当前浏览的商品，向用户精确推荐用户可能需要/正在寻找的商品。在商品推荐系统中，存储的商品浏览次数特征数据通常既有第t-1天的历史浏览次数hpv，也有实时统计的当日t实时浏览次特征数据rpv。目前在根据浏览次数进行统计计算时只是简单的将这两个特征数据简单的加权计算a*hpv(t-1)+b*rpv。同样的，在例如社区高质量帖子推荐系统中，在计算帖子的质量分时需要用到用户对帖子的互动行为作为帖子质量分的计算因子，具体的通常可以包括历史互动次数和实时互动次数(可以按天为同步时间单位)。

在如上述使用历史离线数据和实时数据的商品或帖子推荐系统中，在计算推荐结果的数据处理时需要将历史离线数据和实时数据进行同步合并，如将实时数据存入到历史离线数据库中，由业务系统调用读取历史离线数据库中的次数数据进行计算处理。但在实际的数据存储应用时，当天t生成的实时数据需要转化为当天t的历史离线数据同步存储到数据库中，但由于延时或网络故障以及其他数据处理需求等，并不能保障每天生成的数据在设定时刻内都能进行同步存储。假如设置将当天生成的历史数据在每日零点开始同步，由于故障原因导致历史数据延迟同步一天。那么在紧接着的第二天的商品或帖子推荐计算时，计算的值就变成a*hpv(t-2)+b*rpv，中间就会缺失了第t-1天的统计数据。目前来说，历史数据延迟同步多长时间，通常就会有多长时间的统计数据缺失。

在如上述使用历史离线数据和实时数据的帖子推荐系统中，由于帖子的更新频率较快，尤其是帖子最近几日的互动行为对帖子质量分的计算影响较大，如果计算第t天的统计结果时中间缺少了例如第t-1天的统计数据，那么显然会严重影响帖子最终质量分计算的准确性。同样的如用户商品推荐、热点关键词搜索等这些需要将历史离线数据和实时数据同步后结合统计计算输出结果的系统中，因数据同步时间的延迟或不确定等，常常会导致计算处理的数据不一致，缺少延迟同步的数据，不能保证计算结果的准确性，甚至使得无法正常完成数据计算。

发明内容

本申请目的在于提供一种保障计算数据一致性的处理方法、装置及系统，可以让历史离线数据与实时流计算的结果数据能够实现无缝的结合，不会因数据同步时间的不确定和延迟导致数据的不一致，保证业务计算结果的准确性，降低业务计算的性能损耗，提高计算效率。

本申请提供的一种保障计算数据一致性的处理方法、装置及系统是这样实现的：

一种保障计算数据一致性的处理方法，所述方法包括：

读取离线数据库中的离线数据，根据所述离线数据的存储统计时间确定所述离线数据同步延迟的延迟时间；

从预先设置的实时流计算结果数据库中读取当前统计时间的实时数据，并读取出与所述延迟时间相对应的实时数据作为业务计算的补偿数据；

基于所述离线数据、实时数据和补偿数据执行业务计算。

一种保障计算数据一致性的处理装置，所述装置包括：