[发明专利]一种实时数据流聚合查询的实现方法

说明书

本发明提供了一种实时数据流聚合查询的实现方法，包括以下步骤：分析聚合查询语句，提取查询语句中的关键字段信息，并确定聚合算法；根据计算需求定义实时数据流的window宽度，从实时数据流中不断读取数据，按window宽度筛选出数据；对筛选出的数据，根据关键字段信息，计算得到第一数据集合和第二数据集合；通过scard算法将第一数据集合和第二数据集合进行聚合计算，并拼合成聚合结果集合；将聚合计算后的聚合结果集合存入关系型数据库或者分布式文档存储数据库中供应用系统调用。本发明采用redis集群作为计算中间结果存储介质，有效结合实时数据流window的概念，并充分利用redis高效的特性，实现了一套快速、准确、通用的实时大数据流的聚合方法。

技术领域

本发明涉及一种数据处理方法，更具体的说，涉及一种实时数据流聚合查询的实现方法。

背景技术

目前大数据的处理方式主要有两种：基于内存的流式处理和基于磁盘的存储处理。流式处理就好象是在经过的数据面前建一道水闸。数据流过这里，经过闸门的时候，就进行筛选过滤，分析出有价值的内容，然后丢弃，以后也不再使用。实时大数据流处理除了像非实时处理的需求(如计算结果准确)以外，还需要能够实时响应计算结果(一般要求为秒级)。

流式处理定义为：将数据看作是数据流的形式来处理。数据流则是在时间分布和数量上无限的一系列数据记录的集合体；数据记录是数据流的最小组成单元。举个例子，对于大型网站，活跃的流式数据非常常见，这些数据包括网站的访问PV/UV、用户访问了什么内容，搜索了什么内容等。实时的数据计算和分析可以动态实时地刷新用户访问数据，展示网站实时流量的变化情况，分析每天各小时的流量和用户分布情况，这对于大型网站或者APP来说具有重要的实际意义。window定义为：实时大数据流的window是一个时间窗口的概念。对于数据流来说某一个特定的window内(如：5秒)会包含一定量的正在通过该窗口的数据。Window内的数据是动态的是不断变化的。目前实现基于磁盘的存储处理实现聚合计算有比较成熟的解决方案，比如传统的关系型数据库、大数据聚合查询工具hive等。要实现类似：select count(distinct(ip))as uv,date,channel from access_log where date＝20161108group by date,channel的聚合查询操作非常容易。但是，怎样在动态变化的大数据流中实现这样的聚合操作却并非易事。

实时大数据流处理过程可以被划分为以下三个阶段：数据实时采集、实时处理、实时查询服务。

数据实时采集需求：功能上保证可以完整的收集到所有日志数据，为实时应用提供实时数据；响应时间上要保证实时性、低延迟在1秒左右；配置简单，部署容易；系统稳定可靠等。目前，互联网企业的海量数据采集工具，有Facebook开源的Scribe、LinkedIn开源的Kafka、Cloudera开源的Flume，淘宝开源的TimeTunnel、Hadoop的Chukwa等，均可以满足每秒数百MB的日志数据采集和传输需求。

数据实时计算:传统的数据操作，首先将数据采集并存储在DBMS中，然后通过query和DBMS进行交互，得到用户想要的答案。整个过程中，用户是主动的，而DBMS系统是被动的。

但是，对于现在大量存在的实时数据，比如股票交易的数据，这类数据实时性强，数据量大，没有止境，传统的架构并不合适。流计算就是专门针对这种数据类型准备的。在流数据不断变化的运动过程中实时地进行分析，捕捉到可能对用户有用的信息，并把结果发送出去。整个过程中，数据分析处理系统是主动的，而用户却是处于被动接收的状态。

需求：适应流式数据、不间断查询；系统稳定可靠、可扩展性好、可维护性好等。

实时流计算框架：Yahoo开源的S4、Twitter开源的Storm、Hadoop家族的Spark等。