[发明专利]一种高并发下存储大数据的分片及聚合控制方法

说明书

本发明公开了一种高并发下存储大数据的分片及聚合控制方法，包括以下：配置平台，配置需要切片的指标的分片单位：分片是取整计算，每笔数据进入统计时都有其自带业务属性的时间戳，这个时间戳是一个Long类型的数据，然后定义切片单位为毫秒，秒，分钟，小时，天，则这些时间单位对应的时间跨度分别是1，1000，60000，360000，86400000，然后时间跨度duration＝入参时间戳/切片单位，则每个duration都是整个时间跨度的一部分，且各个duration都不相交。本发明解决了非关系型数据库大value存储问题；进行初步聚合计算，减少后期取数的计算，同时减少数据的存储空间；用时间戳分段存储，取数可直接取区间，减少与缓存交互；支持lua算法，将过期数据从缓存中清除。

技术领域

本发明涉及计算机软件应用领域，特别涉及一种高并发下存储大数据的分片及聚合控制方法。

背景技术

在现有技术中，由于非关系型数据库(key-value数据库)取数的高效性，在使用中十分普遍，但是存储的value不能无限大，如果value用序列化，数据超过10M还是会序列化报错，如果value不序列化，那么取value的时候也会造成io的阻塞，影响其他线程读写的效率。在当前业务中，如大商户的交易信息，同一个商户短时间内可能就有百万级的交易量级；某个热点Ip 下所有个人手机号；爆款活动的交易分布等等，由于时效性的要求，这些数据一般都缓存在系统中，用于规则使用。基于这个背景，为了保证非关系型数据库的正常使用，以及规则的准确性，故需将大的存储value切片分段存储，保证每段的数据不重合，同时将数据序列化，减少存储空间，还可以将分段内的数据进行聚合计算，减少数据的重复抽取，但是由于切片-聚合模式对数据的处理，必须保证在高并发情况下数据的一致性。

发明内容

本发明要解决的技术问题是克服现有技术的缺陷，提供一种高并发下存储大数据的分片及聚合控制方法。

本发明提供了如下的技术方案：

本发明提供一种高并发下存储大数据的分片及聚合控制方法，包括以下：

(1).配置平台，配置需要切片的指标的分片单位：

分片是取整计算，每笔数据进入统计时都有其自带业务属性的时间戳，这个时间戳是一个Long类型的数据，然后定义切片单位为毫秒，秒，分钟，小时，天，则这些时间单位对应的时间跨度分别是1，1000，60000，360000，86400000，然后时间跨度(分片)duration＝入参时间戳/切片单位，则每个 duration都是整个时间跨度的一部分，且各个duration都不相交；

(2).2.数据切割分片：

数据流进入系统时，先判断是否需要分片，如果需要分片，则先计算出所属切片的值sort，然后以维度_真实数据_切片单位为缓存的key，先判断该key下面的该切片是否存在，不存在就新建，存在就merge新的的值，zset 一个所属切片的值，排序为sort；

(3).高并发下merge值：

高并发下每次从缓存中取数可能不一样，造成数据失真；这里提供一种快照加自旋锁的方法，确保数据一致，并减少数据计算等待时间。

与现有技术相比，本发明的有益效果如下：

1.解决非关系型数据库大value存储问题；

2.进行初步聚合计算，减少后期取数的计算，同时减少数据的存储空间；

3.用时间戳分段存储，取数可直接取区间，减少与缓存交互；

4.支持lua算法，将过期数据从缓存中清除。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：