[发明专利]数据处理方法及系统有效
申请号: | 201410448683.7 | 申请日: | 2014-09-04 |
公开(公告)号: | CN105468626B | 公开(公告)日: | 2019-12-13 |
发明(设计)人: | 张超 | 申请(专利权)人: | 腾讯科技(北京)有限公司 |
主分类号: | G06F16/27 | 分类号: | G06F16/27 |
代理公司: | 11270 北京派特恩知识产权代理有限公司 | 代理人: | 张振伟;张颖玲 |
地址: | 100080 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种数据处理方法及系统;所述方法包括:数据处理系统根据预设数据源配置信息从数据源获取业务数据;将所获取的业务数据分配到所述数据处理系统的N个数据处理层;在所述数据处理系统的第i处理层,以第i粒度对所接收的业务数据进行合并,得到第i粒度业务数据;利用所述业务数据对应的业务处理策略,对所述第i粒度业务数据进行处理,得到第i业务信息。采用本发明的技术方案,能够提升了数据处理系统的数据吞吐性能;支持多种业务的接入,节约Storm集群的计算资源。 | ||
搜索关键词: | 数据处理 方法 系统 | ||
【主权项】:
1.一种数据处理方法,应用于数据处理系统,其特征在于,所述方法包括:/n所述数据处理系统根据预设数据源配置信息从数据源获取业务数据;/n根据所述业务数据的数据结构,在所述业务数据的数据结构内部封装所述业务数据对应的业务处理策略;/n将所获取的业务数据分配到所述数据处理系统的N个数据处理层,N为所述业务数据对应的业务处理策略指示的不同粒度业务信息的数量,所述粒度为对所述业务数据进行处理以得到所述业务信息的基本单位,N为大于1的整数;/n在所述数据处理系统的第i处理层,以第i粒度对所接收的业务数据进行合并,得到第i粒度业务数据,i为大于等于1且小于等于N的整数;/n利用所述业务数据对应的业务处理策略,对所述第i粒度业务数据进行处理,得到第i业务信息;其中,所述第i粒度大于第i-1粒度,所述第i-1粒度为在所述数据处理系统的第i-1处理层对所接收的业务数据进行合并的粒度。/n
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(北京)有限公司,未经腾讯科技(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201410448683.7/,转载请声明来源钻瓜专利网。
- 上一篇:兴趣点查询方法及装置
- 下一篇:利用虚拟机构建数据库集群的方法