[发明专利]一种Spark数据分析服务发布系统有效
申请号: | 201611248761.4 | 申请日: | 2016-12-29 |
公开(公告)号: | CN106657099B | 公开(公告)日: | 2020-06-16 |
发明(设计)人: | 王莹;张立军;孙丙聪 | 申请(专利权)人: | 北京天元创新科技有限公司 |
主分类号: | H04L29/06 | 分类号: | H04L29/06;H04L29/08;G06F16/27 |
代理公司: | 北京路浩知识产权代理有限公司 11002 | 代理人: | 王庆龙 |
地址: | 100193 北京市海淀区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 spark 数据 分析 服务 发布 系统 | ||
1.一种数据分析服务分配系统,其特征在于,包括Spark数据分析模块、服务调度模块、服务标准制定模块;所述服务标准制定模块用于制定统一的服务发布标准;所述服务调度模块用于接收服务请求并将服务请求发送到空闲服务;所述Spark数据分析模块用于构建服务容器,根据服务发布标准对服务请求进行分析处理;
还包括B/S构架,用户采用B/S架构通过浏览器查看服务信息、调整服务状态,并设置服务执行形式、服务规模;
所述Spark数据分析模块包括Spark数据分析单元和分布式集群;
所述Spark数据分析单元用于通过Spark分布式计算系统,对分配的服务请求进行分析计算;
所述分布式集群用于为Spark数据分析单元提供分布式计算的运行环境;
所述Spark数据分析单元还包括业务子单元和流程发布子单元;
所述业务子单元用于根据服务发布标准,将实现服务请求的算法随机组合绘制成流程图;
所述流程发布子单元用于将流程图的各个节点进行组合,生成任务,并将任务制作成服务,对服务请求进行分析处理。
2.根据权利要求1所述的数据分析服务分配系统,其特征在于,所述服务标准制定模块将不同的算法指定统一的服务标准,具体包括服务参数、服务结果组合方式、服务调用模式。
3.根据权利要求1所述的数据分析服务分配系统,其特征在于,所述服务调度模块还用于将数据分析功能制成开放API的HTTP接口。
4.根据权利要求1所述的数据分析服务分配系统,其特征在于,所述分布式集群包括Spark集群和Hadoop集群。
5.根据权利要求1所述的数据分析服务分配系统,其特征在于,所述服务调度模块用于通过分布式集群提供的集群资料数据,根据负载均衡-随机算法将服务请求发送到空闲的服务。
6.根据权利要求1所述的数据分析服务分配系统,其特征在于,所述服务调度模块通过socket与服务进行通信,通信内容包括服务请求数据、服务结果数据、服务状态数据、服务计算进程数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京天元创新科技有限公司,未经北京天元创新科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201611248761.4/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置