[发明专利]一种数据处理系统

权利要求书

1.一种数据处理系统，其特征在于：所述系统包括智能合约体模块以及至少一个云计算大数据平台；所述智能合约体模块用于评估计算量、评估云平台功劳声誉度、分配计算工作、提供数据输入输出服务；所述云计算大数据平台包括大数据容器、计算矩阵模块、安全通信模块、虚拟技术池模块以及资源管理模块；所述智能合约体模块包括内外信息传递智能合约体、中央处理智能合约体、计算量预估智能合约体、预估提取模块、功劳声誉选择智能合约体、数据存储智能合约体以及比对模块；内外信息传递智能合约体负责信息输入输出交互，中央处理智能合约体负责调度智能合约体与智能合约体之间通信，计算量预估智能合约体负责估算计算任务工作量，功劳声誉选择智能合约体通过查询云平台功劳声誉数据库，选择累计功劳声誉最低并且负载较低的云平台为本次计算任务平台，数据存储智能合约体负责将工作量维护到数据库中；所述预估提取模块提取计算量预估智能合约体的预估量，将所述预估量发送至比对模块，所述比对模块对比数据存储智能合约体模块的数据和预估量的差值，将所述差值反馈回所述预估提取模块，所述预估提取模块根据所述差值信息调整所述计算量预估智能合约体的算法。所述大数据容器模块，提供大数据的存储、分析、挖掘服务；所述计算矩阵模块，将系统所需的算法封装成矩阵，并建立矩阵索引，用于提供算法服务；所述安全通信模块用于平台内各模块通信；所述虚拟技术池用于封装平台内虚拟技术；所述资源管理模块用于资源动态管理。

2.根据权利要求1所述的数据处理系统，其特征在于：所述大数据容器模块，提供大数据的存储、分析、挖掘服务具体包括：制定大数据集群服务框架合约，确定数据并行计算框架和计算集优先顺序；配置大数据集群服务参数，启动大数据集群服务；池化大数据集群服务列表，监控大数据服务执行情况，动态调整服务列表；解析大数据服务请求，拆分分析执行列表；根据所述分析执行列表，建立分析模型，请求计算矩阵服务；存储传递分析结果；请求计算矩阵压缩算法服务，历史数据压缩并建立索引。

3.根据权利要求1所述的数据处理系统，其特征在于：所述计算矩阵模块，将系统所需的算法封装成矩阵，并建立矩阵索引，用于提供算法服务具体包括：对业务逻辑进行建模，并封装在矩阵中的单元格，修改矩阵索引；建立大数据分析逻辑算法，并封装在矩阵中的单元格，修改矩阵索引；对数据压缩算法进行建模，并封装在矩阵中的单元格，修改矩阵索引；持续监测算法正确率、容错率等内容，建立评测算法，并封装在矩阵中的单元格，修改矩阵索引；配置调试功能，实现算法正确性验证，修正和关闭算法单元。

4.根据权利要求1所述的数据处理系统，其特征在于：所述安全通信模块用于平台内各模块通信具体包括：监听服务，接收数据传输，分析执行指令；将指令总结到文件日志中；通过爬虫任务遍历大数据容器索引、计算矩阵索引，完成容器与矩阵之间通信；实现身份认证功能，对不同身份的权限进行验证。

5.根据权利要求1所述的数据处理系统，其特征在于：所述虚拟技术池用于封装平台内虚拟技术具体包括：实现镜像分层映射，实现不同分层之间的复制与交互；实现点对点通信技术实现，将每个网络、服务、中间件建立直接连接。

6.根据权利要求1所述的数据处理系统，其特征在于：所述资源管理模块用于资源动态管理具体包括：采用多任务处理技术，进行资源多线程管理，并解决资源死锁现场；完成负载均衡监测，重启故障模块；进行任务生命周期监测，结束异常进程；建立爬虫任务调度列表，通过给任务分配优先级，以爬虫方式进行任务调度。