[发明专利]一种分布式流数据的处理方法及系统在审
| 申请号： | 201811353095.X | 申请日： | 2018-11-14 |
| 公开（公告）号： | CN109522138A | 公开（公告）日： | 2019-03-26 |
| 发明（设计）人： | 李卫华;张浩海;刘迪;丁学英;郭文静;王昊;韩大为;范利刚;周巍;杨甲明 | 申请（专利权）人： | 北京中电普华信息技术有限公司;国网信息通信产业集团有限公司;国家电网有限公司 |
| 主分类号： | G06F9/54 | 分类号： | G06F9/54;G06F16/2455;G06F16/28 |
| 代理公司： | 北京集佳知识产权代理有限公司 11227 | 代理人： | 王宝筠 |
| 地址： | 100192 北京市海*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 流数据 目标流 数据量 分布式处理 数据分配 并行处理 多个目标 获取目标 历史数据 数据包含 同一数据 长周期 迟滞 预设 侦测 | ||
1.一种分布式流数据的处理方法，其特征在于，包括：
当接收到任意流数据时，获取目标流数据的数据量，其中，所述目标流数据包含已经接收但未经过处理的各个流数据；
判断所述数据量是否达到预设的数据量阈值；
若是，将所述目标流数据分配给各个目标执行任务进行分布式处理。
2.根据权利要求1所述的方法，其特征在于，还包括：
当接收到处理完成指令时，将对应的数据转发至数据库进行存储。
3.根据权利要求1所述的方法，其特征在于，还包括：
统计与每一个目标执行任务对应的流数据的处理时间；
当任意一个处理时间大于预设的处理时长时，将其对应的流数据作为第一流数据，停止对所述第一流数据进行处理。
4.根据权利要求3所述的方法，其特征在于，还包括：
当接收到第二流数据处理请求时，对所述第二流数据进行处理，其中，所述第二流数据在所述目标流数据中的排序在所述第一流数据之后，所述第二流数据和所述第一流数据属于所述目标流数据。
5.根据权利要求1所述的方法，其特征在于，将所述目标流数据分配给各个目标执行任务进行分布式处理，包括：
解析所述目标流数据中包含的各个流数据对应的业务类型；
依据每一个业务类型，查找与其对应的目标执行任务；
将与其对应的流数据发送给对应的目标执行任务进行处理。
6.根据权利要求5所述的方法，其特征在于，将与其对应的流数据发送给对应的目标执行任务进行处理，包括：
解析所述流数据中包含的各个数据分配标识；
分别依据每一个分配标识，查找与其对应的目标处理逻辑；
依据所述目标处理逻辑对对应的流数据进行处理。
7.一种分布式流数据的处理系统，其特征在于，包括：
获取模块，用于当接收到任意流数据时，获取目标流数据的数据量，其中，所述目标流数据包含已经接收但未经过处理的各个流数据；
判断模块，用于判断所述数据量是否达到预设的数据量阈值；
处理模块，用于若是，将所述目标流数据分配给各个目标执行任务进行分布式处理。
8.根据权利要求7所述的系统，其特征在于，还包括：
存储模块，用于当接收到处理完成指令时，将对应的数据转发至数据库进行存储。
9.根据权利要求7所述的方法，其特征在于，所述处理模块包括：
解析单元，用于解析所述目标流数据中包含的各个流数据对应的业务类型；
查找单元，用于依据每一个业务类型，查找与其对应的目标执行任务；
处理单元，用于将与其对应的流数据发送给对应的目标执行任务进行处理。
10.根据权利要求7所述的系统，其特征在于，所述处理单元包括：
解析子单元，用于解析所述流数据中包含的各个数据分配标识；
查找子单元，用于分别依据每一个分配标识，查找与其对应的目标处理逻辑；
处理子单元，用于依据所述目标处理逻辑对对应的流数据进行处理。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京中电普华信息技术有限公司;国网信息通信产业集团有限公司;国家电网有限公司，未经北京中电普华信息技术有限公司;国网信息通信产业集团有限公司;国家电网有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201811353095.X/1.html，转载请声明来源钻瓜专利网。
