[发明专利]一种数据处理系统

说明书

本发明提出了一种数据处理系统，通过云计算平台和大数据平台以及智能合约体，构建更高效的去中心化数据分析平台，使前端展示、云计算平台技术和大数据平台技术结合的方式，使应用层、算法层与数据层分离，并且通过去智能中心化智能合约体调度，提高估算计算任务工作量的效率和精度，使多云平台工作量负载均衡，解决大数据并发问题，提高资源利用效率、计算检索效率和后端业务开发扩展性，能够应用于社保大数据处理，提高工作效率。

技术领域

本发明涉及大数据的技术领域，具体涉及一种数据处理系统。

背景技术

随着科技进步，信息发展已步入大数据时代，数据、信息以及知识是企业重要的资源，企业内外部海量数据的产生，为企业带来巨大的增值价值，面对会计数据价值挖掘的需要，现有方法系统的弊端开始突显，由于成本高、效率低、建设周期长等因素的影响，现有系统难以获取海量会计数据、挖掘知识，为企业管理者的经营决策及时提供科学依据，例如从事人力资源与社保相关的企业，在社保缴费查询时，对数据检索、加工时面临数据查询、加工效率低下等问题。云计算系统能够提供可靠、高效的计算服务，在云基础设施中，由成千上万台互相连接在一起的计算机构成“云”，再结合大数据技术，可构建更高效的数据分析平台，不仅为人力资源类企业信息与知识发掘利用提供理论依据，同时为增强企业核心竞争力提供现实意义。

数据平台Hadoop是一个由Apache基金会所开发的分布式系统基础架构，可以充分利用集群的威力进行高速运算和存储，Hadoop大数据处理技术已有十多年历史，被看做首选的大数据集群处理的解决方案。Spark是专为大规模数据处理而设计的快速通用的计算引擎，它启用了内存分布数据集。HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，还可以将SQL语句转换为MapReduce任务运行。ZooKeeper是一个分布式应用程序协调服务，是Hadoop和HBase的重要组件，提供Java和C的接口。Sqoop是Apache旗下一款Hadoop和关系数据库服务器之间传送数据的工具，其核心功能有两个：导入和导出数据，导入数据是将MySQL、Oracle数据导入到Hadoop的Hdfs、Hive、HBase等数据存储系统；导出数据从Hadoop文件系统中导出数据到关系数据库MySQL等。

现有技术在中，执行数据检索、计算时，采用计算机辅助软件或前端应用系统与关系型数据库结合的方式，后端算法与数据未分离，并且较为依赖计算人员专业知识水平，在计算过程中，计算效率较低，由于企业内外部海量数据，在数据检索、加工时面临数据查询、加工效率低下等问题。此外，现有技术未充分考虑多云之间工作量分配问题，云平台之间计算量不平衡，无法较好解决大数据并发问题，前端展示、中间业务逻辑层和底层数据层相互混合，计算检索效率较低，开发一种新的逻辑成本较高，并且不具有较好的可维护性与可扩展性，系统可靠性较低，数据存储成本高。

发明内容

基于上述问题，本发明提出了一种数据处理系统，通过云计算平台和大数据平台以及智能合约体模块，构建更高效的去中心化数据分析平台，使前端展示、云计算平台技术和大数据平台技术结合的方式，使应用层、算法层与数据层分离，并且通过去智能合约体模块调度，使多云平台工作量负载均衡，解决大数据并发问题，提高资源利用效率、计算检索效率和后端业务开发扩展性。

本发明提供如下技术方案：

一方面，本发明提供了一种基于云计算和大数据的数据处理系统，所述系统包括智能合约体模块以及至少一个云计算大数据平台。

所述智能合约体模块用于评估计算量、评估云平台功劳声誉度、分配计算工作、提供数据输入输出服务；所述云计算大数据平台包括大数据容器、计算矩阵模块、安全通信模块、虚拟技术池模块以及资源管理模块；