[发明专利]一种Spark数据分析服务发布系统

说明书

本发明提供一种数据分析服务分配系统，包括Spark数据分析模块、服务调度模块、服务标准制定模块；所述服务标准制定模块用于制定统一的服务发布标准；所述服务调度模块用于接收服务请求并将服务请求发送到空闲服务；所述Spark数据分析模块用于构建服务容器，根据服务发布标准对服务请求进行分析处理。通过制定统一的服务标准，第三方客户或者业务系统通过调用数据分析服务进行大数据分析，能够有效的隔离业务系统与大数据分析，降低业务系统的开发成本；服务的运行环境采用Spark分布式计算系统，大幅度提高数据分析的速度与效率。

技术领域

本发明涉及数据分析挖掘技术领域，更具体地，涉及一种Spark数据分析服务发布系统。

背景技术

随着信息时代的到来，数据的积累成几何倍增长。为了从已有的海量数据中挖掘有效信息，出现了各种不同的数据分析算法。在数据分析的实际操作过程中，无法立即确定最合适的算法，需要通过不断的尝试不同的算法，或者算法组合来获得不同的计算结果。根据对不同的计算结果进行对比，从而获得最佳的算法方案、以及最优的分析结果，以获得最效的数据反馈信息。

数据分析人员需要既懂算法的原理，又要懂算法的具体代码实现。对技术人员要求较高，同时实现不同的算法组合分析数据时候，需要不断调整编码，较为繁琐。当前的互联网已经进入信息数据时代，随着数据的快速增长，公司、科研机构越来越重视从已有的数据中挖掘有效信息，出现了各种不同的数据挖掘体系架构。

在传统业务系统中很少涉及数据挖掘，为了适应大数据的发展，传统的软件公司需要花费很大的时间和代价去构建分析挖掘平台。

发明内容

本发明提供一种克服上述问题或者至少部分地解决上述问题的数据分析服务分配系统，将服务形式统一，合理利用集群资源，通过Spark分布式架构设计，构建便宜使用的大数据分析服务。

根据本发明的一个方面，提供包括Spark数据分析模块、服务调度模块、服务标准制定模块；所述服务标准制定模块用于制定统一的服务发布标准；所述服务调度模块用于接收服务请求并将服务请求发送到空闲服务；所述Spark数据分析模块用于构建服务容器，根据服务发布标准对服务请求进行分析处理。

作为优选的，用户采用B/S架构通过浏览器查看服务信息、调整服务状态，并设置服务执行形式、服务规模。

作为优选的，所述服务标准制定模块将不同的算法指定统一的服务标准，具体包括服务参数、服务结果组合方式、服务调用模式。

作为优选的，所述服务调度模块还用于将数据分析功能制成开放API的HTTP接口。

作为优选的，所述Spark数据分析模块包括Spark数据分析单元和分布式集群；

所述Spark数据分析单元用于通过Spark分布式计算系统，对分配的服务请求进行分析计算；

所述分布式集群用于为Spark数据分析单元提供分布式计算的运行环境。

作为优选的，所述分布式集群包括Spark集群和Hadoop集群。

作为优选的，所述Spark数据分析单元包括业务子单元和流程发布子单元；

所述业务子单元用于根据服务发布标准，将实现服务请求的算法随机组合绘制成流程图；

所述流程发布子单元用于将流程图的各个节点进行组合，生成任务，并将任务制作成服务，对服务请求进行分析处理。

作为优选的，所述服务调度模块用于通过分布式集群提供的集群资料数据，根据负载均衡-随机算法将服务请求发送到空闲的服务。

作为优选的，所述服务调度模块通过socket与服务进行通信，通信内容包括服务请求数据、服务结果数据、服务状态数据、服务计算进程数据。