[发明专利]时间窗口累计的实现方法

摘要

本发明公开一种时间窗口累计的实现方法，首先通过滑动时间窗口累计算法对交易数据信息进行统计分析，然后判断时间窗口的位置变换范围、窗体或步长的大小来选择适用加法引擎算法算法或减法引擎算法算法，最后在Redis Cluster数据库或Hbase数据库中完成交易数据累计值和获取值的统计分析与快速查询。本发明解决了多维度多场景组合下，SQL查询算法不灵活、查询吞吐量不高、查询粒度不够精确的问题，实现了获取时间窗口累计值的快速响应，提高了准确性。

主权项

1.一种时间窗口累计的实现方法，其特征在于，包括以下步骤：S1：实时获取交易数据信息并加以存储；S2：通过滑动时间窗口累计算法对所述交易数据信息进行统计分析；S3：通过所述滑动时间窗口累计算法统计分析到的数据根据下列次序进行计算：A.商户累计优先执行步骤S4，用户累计优先执行步骤S5；B.年、月窗体单位优先执行步骤S4，天、时、分、秒窗体单位优先执行步骤S5；C.步长n>10的优先使用执行步骤S4，反之优先执行步骤S5；S4：选择减法引擎算法计算Redis Cluster数据库中的数据累计值和获取值，如果Redis Cluster数据库异常则执行步骤S6，若否，则结束；计算数据累计值的步骤包括：S41：查看需要插入的分数列上是否有值；S42：删除同分数维度下的数据并返回最大成员；S43：修复插入时间后面的数据；S44：插入累计数据；S45：删除无效时间数据；S46：设置Map的过期时间；计算数据获取值的步骤包括：S47：获取有效时间范围内的最大值；S48：获取无效时间范围内的最小值；S49：用最大值减去最小值获取时间窗口之间有效的累计数据；S5：选择加法引擎算法计算Redis Cluster数据库中的数据累计值和获取值，如果Redis Cluster数据库异常则执行步骤S7，若否，则结束；计算数据累计值的步骤包括：S51：转换存储的field；S52：增加increment累计数据；S53：删除无效时间数据；S54：设置Map的过期时间；计算数据获取值的步骤包括：S55：判断需要查询时间段；S56：获取Map中的所有数据；S57：判断有效时间范围内的部分累计数据，逐个统计；S6：选择减法引擎算法计算Hbase数据库中的数据累计值和获取值；计算数据累计值的步骤包括：S61：查询需要插入的时间列，并返回当前列上的值；S62：修复有效时间数；S63：存储滑动时间窗口累计值；S64：删除无效时间数据；计算数据获取值的步骤包括：S65：获取有效时间范围内的最大值；S66：获取无效时间范围内的最小值；S67：用最大值减去最小值获取时间窗口有效时间的值；S7：选择加法引擎算法计算Hbase数据库中的数据累计值和获取值；计算数据累计值的步骤包括：转换存储的field；增加increment累计数据；删除无效时间数据；设置Map的过期时间；计算数据获取值的步骤包括：判断需要查询时间段；获取Map中的所有数据；判断有效时间范围内的部分累计数据，逐个统计。