[发明专利]一种分布式实时数据处理政务服务数据的融合与共享方法在审
申请号: | 201711131347.X | 申请日: | 2017-11-15 |
公开(公告)号: | CN107748800A | 公开(公告)日: | 2018-03-02 |
发明(设计)人: | 赵扬 | 申请(专利权)人: | 北京易讯通信息技术股份有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30;G06Q50/26 |
代理公司: | 西安西达专利代理有限责任公司61202 | 代理人: | 李文义 |
地址: | 100000 北京市海淀区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 分布式 实时 数据处理 政务 服务 数据 融合 共享 方法 | ||
1.一种分布式实时数据处理政务服务数据的融合与共享方法,其特征在于,包括以下步骤:
1)提供数据采集接口:数据采集程序通过封装分布式消息订阅系统Kafka提供RestfulAPI数据接口,对所有业务系统提供统一的数据采集格式;
2)提交数据:业务系统向数据采集接口提交业务数据;
3)获取数据:通过SparkStreaming分布式内存数据处理框架,从Kafka中获取不同的业务数据;
4)处理数据:获取后的数据通过Spark On Yarn分布式数据计算程序,进行抽取、加工、转化;
5)存储数据:将处理后的数据存储在高容错分布式的非关系型数据库Hbase中或者传统关系型数据库Sqlserver、Mysql中;
6)共享数据:通过封装RestfulAPI接口提供数据获取和数据查询程序,对所有业务系统提供统一完整的政务服务数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京易讯通信息技术股份有限公司,未经北京易讯通信息技术股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711131347.X/1.html,转载请声明来源钻瓜专利网。