[发明专利]一种分布式实时数据处理政务服务数据的融合与共享方法

摘要

一种分布式实时数据处理政务服务数据的融合与共享方法，包括提供数据采集接口，提交数据，获取数据，处理数据，存储数据，共享数据六个步骤，支持分布式数据存储和处理的集群体系架构；支持海量数据的存储和大量数据并发进行的数据交换，分布式集群架构使得部署的硬件设备也具备高可靠性，多台低成本的PC服务器组成的集群，即使有多台节点出现故障都依然可以不间断的提供数据融合和共享服务，根据存储和性能的需要，按需进行动态的增减节点，数据的存储能力和处理性能都会按照线性的趋势增长。

主权项

一种分布式实时数据处理政务服务数据的融合与共享方法，其特征在于，包括以下步骤：1）提供数据采集接口：数据采集程序通过封装分布式消息订阅系统Kafka提供RestfulAPI数据接口，对所有业务系统提供统一的数据采集格式；2）提交数据：业务系统向数据采集接口提交业务数据；3）获取数据：通过SparkStreaming分布式内存数据处理框架，从Kafka中获取不同的业务数据；4）处理数据：获取后的数据通过Spark On Yarn分布式数据计算程序，进行抽取、加工、转化；5）存储数据：将处理后的数据存储在高容错分布式的非关系型数据库Hbase中或者传统关系型数据库Sqlserver、Mysql中；6）共享数据：通过封装RestfulAPI接口提供数据获取和数据查询程序，对所有业务系统提供统一完整的政务服务数据。