[发明专利]一种基于增量计算的分布式流式数据系统在审
| 申请号： | 201310542870.7 | 申请日： | 2013-11-06 |
| 公开（公告）号： | CN104636327A | 公开（公告）日： | 2015-05-20 |
| 发明（设计）人： | 赵龙飞 | 申请（专利权）人： | 上海语镜汽车信息技术有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 暂无信息 | 代理人： | 暂无信息 |
| 地址： | 201313 上海市浦东新区万祥*** | 国省代码： | 上海;31 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 一种基于增量计算的分布式流式数据系统，该系统由存储节点、计算节点组成，节点之间采取连接池方式保持连接，出错后会自动重新连接，其中：存储节点REDIS构建，保存了大量的中间结果，保证了随着数据的不断流入，有专用的持久化程序对内存中的数据定期进行持久化保存，为故障恢复做准备；计算节点负责核心的计算工作，其采用C语言构建的基础HTTP的数据接收端，JSON作为唯一的数据处理格式，LUA作为逻辑编写的脚本语言，在提供高性能的同时，降低了编程的难度。该系统采用增量的计算模型，将计算需求拆分成多个可以依次完成的步骤，每次只将新增部分加入到之前计算结果中，存储节点中永远保持最新的计算结果，方便数据的处理。 | ||
| 搜索关键词： | 一种 基于 增量 计算 分布式 数据 系统 | ||
【主权项】：
一种基于增量计算的分布式流式数据系统，其特征在于：该系统由存储节点、计算节点组成，存储节点、计算节点之间采取连接池方式保持连接，出错后会自动重新连接，其中：存储节点REDIS构建，保存了大量的中间结果，保证了随着数据的不断流入，有专用的持久化程序对内存中的数据定期进行持久化保存，为故障恢复做准备；计算节点负责核心的计算工作，其采用C语言构建的基础HTTP的数据接收端，JSON作为唯一的数据处理格式，LUA作为逻辑编写的脚本语言，在提供高性能的同时，降低了编程的难度；中途出现错误后，原始数据会自动的发送到另外一个处理节点，保证数据能得到处理；该系统采用增量的计算模型，将计算需求拆分成多个可以依次完成的步骤，避免对全量数据进行处理，每次只将新增的部分加入到之前的计算结果中，存储节点中永远保持最新的计算结果，方便数据的处理。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于上海语镜汽车信息技术有限公司，未经上海语镜汽车信息技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201310542870.7/，转载请声明来源钻瓜专利网。
- 上一篇：一种视频搜索的方法和装置
- 下一篇：用于USB烧录的系统和方法
