[发明专利]一种基于增量计算的分布式流式数据系统

权利要求书

1.一种基于增量计算的分布式流式数据系统，其特征在于：该系统由存储节点、计算节点组成，存储节点、计算节点之间采取连接池方式保持连接，出错后会自动重新连接，其中：

存储节点REDIS构建，保存了大量的中间结果，保证了随着数据的不断流入，有专用的持久化程序对内存中的数据定期进行持久化保存，为故障恢复做准备；

计算节点负责核心的计算工作，其采用C语言构建的基础HTTP的数据接收端，JSON作为唯一的数据处理格式，LUA作为逻辑编写的脚本语言，在提供高性能的同时，降低了编程的难度；中途出现错误后，原始数据会自动的发送到另外一个处理节点，保证数据能得到处理；

该系统采用增量的计算模型，将计算需求拆分成多个可以依次完成的步骤，避免对全量数据进行处理，每次只将新增的部分加入到之前的计算结果中，存储节点中永远保持最新的计算结果，方便数据的处理。

2.根据权利要求1所述的系统，其特征在于，存储节点被分成了私有变量、公有变量、脚本服务器三种，外部服务和LBS都是系统外的服务，计算节点也有调用的权利。

3.一种采用权利要求1或2所述的系统进行的单条数据的处理方法，其特征在于，该方法包括如下步骤：

(1)当计算节点接收到一条数据请求时，首先对数据包进行分解；

(2)解析成功后进入下一步，为了提高响应速度，完成数据的接收后，立即给出响应，不用等到这条数据处理完毕；

(3)然后开始读取存储节点中的数据，读取完成后开始结合数据包中的最新数据，进行增量计算，最后将结果写回到存储节点中；

(4)最后，根据功能需求，还可以对外部的服务进行调用。