[发明专利]一种毫秒级时序流数据精准切片方法

说明书

本发明公开了一种毫秒级时序流数据精准切片方法。该方法分为四个部分：精准切片的创建、精准切片的聚合、聚合数据的持久化存储和毫秒级切片的查询。首先对时序流数据的处理，包括毫秒级精准切片的创建以及毫秒级精准切片内聚合计算和存储，其次是对时序流数据的查询。本发明提出的毫秒级时序流数据精准切片方法能够在毫秒级时间范围内精准地实时处理用户流式数据，利用不同时序下的切片聚合技术提升系统吞吐量和应对海量数据的高可用性，并根据时间局部性原则将切片聚合数据存入分布式数据库从而高效利用内存空间，最后优化设计了针对时序流数据的查询接口。

技术领域

本发明涉及对时序流数据处理领域，提供一种毫秒级时序流数据精准切片方法。

背景技术

时序数据流是按照原始数据生成时间源源不断流入处理系统的数据流，在金融风控、移动互联网、IoT等面向海量数据的实时计算领域中，我们通常会涉及到处理“一天内用户交易金额总量”、“一小时内某网站每分钟的实时流量”等问题。随着事件时间的推进，往往针对用户需要查询的一段时间的行为需要能够根据当前时间戳对数据进行实时更新计算，保证查询操作的准确性和有效性。这类场景特点主要为：

1)计算处理的实时性。要求系统能够在毫秒级实时处理数据源产生的源源不断的流数据。

且能够随时提供实时处理的信息。

2)处理精度的灵活性。要求系统既能够提供毫秒级细粒度的实时处理信息，也能够高效提供一小时、一天等粗粒度时间范围的数据处理信息。

3)系统的高可用和高并发能力。要求系统能够对海量数据持续稳定地提供高效计算能力，

有效利用系统存储、计算资源，能够应对高并发密集性访问的场景。

传统处理方式通常是将这些实时用户行为和事件存储在持久化数据库，如MYSQL，Oracle等。存储时通常以事件发生的时间戳为主键，基于用户对时间范围的查询窗口进行条件查询。这种查询处理方式比较简单，但缺点也显而易见。首先需要预先规定好用户查询的最小精度，因此查询的灵活性低，如果以细粒度的方式存储，则会造成庞大的数据量，一般数据库的查询时间会随数据项的数量指数型增长，因此在实时的大批量高并发密集型访问场景下这种方案显然不可行。同时随着时间的增长，通常较早时间的数据没有太大的利用价值，产生的冗余数据对内存或是磁盘空间无疑造成不必要的浪费。

针对传统模式，Flink、Spark Streaming、Storm等流式大数据实时处理系统被提出用来解决传统数据库存在的问题，通过数据驱动的时间片实现针对事件特征的有状态实时计算。在金融风控等领域中，对用户的资产状况、交易流水、信用指标等多个特征构建的高维度特征体系在这些基于时间驱动的时间切片体系下的流式计算框架性能不足，且时间片伸缩性差，难以做到对多精度任意时序的支持。其次这些框架通常仅仅提供一种计算框架，而不提供底层存储的管理实现，因此针对实时查询业务性能不高，且对数据存储的运维成本要求高。

发明内容

针对传统对实时流数据处理方法产生的问题，本发明的目的是利用毫秒级精准时间切片方法，通过细粒度的时间切片在多个指标下的聚合处理提高流数据处理的计算实时性和准确性，提高系统吞吐量和面向海量高并发数据的可用性，并在大数据处理中高效利用内存，适用于金融、移动互联网、物联网等多种复杂的应用场景。本发明通过定义每个时间切片上的属性进行聚合计算，并对中间态数据利用外存持久化存储，实现对海量流数据的实时高效效应。用于金融风控分析、流水数据处理、在线行为挖掘等场景。

本发明的目的是通过以下技术方案实现的：一种毫秒级时序流数据精准切片方法，该方法包含如下步骤：

(1)对时序流数据的处理，具体包括以下步骤：