[发明专利]一种解耦WEB客户端与大数据挖掘分析的数据挖掘平台及实现方法

说明书

本发明公开了一种解耦WEB客户端与大数据挖掘分析的数据挖掘平台及实现方法，本方案由WEB客户端，数据挖掘服务单元，以及数据挖掘开发平台配合构成，数据挖掘服务单元分别与WEB客户端和数据挖掘开发平台数据连接，其接收并管理WEB客户端的请求，以及感知数据挖掘开发平台开发打包的相关数据挖掘算法，在WEB客户端和数据挖掘开发平台之间搭建调用通道；WEB客户端通过数据挖掘服务单元调用数据挖掘开发平台开发的相关数据挖掘算法。本方案能够将WEB客户端开发技术与大数据挖掘分析技术进行解耦，通过R数据挖掘服务把前端及分析人员的工作连接了起来，这样使得大数据挖掘分析人员专注实现R函数。

技术领域

本发明涉及计算机数据技术领域，具体计算机数据挖掘技术。

背景技术

数据挖掘是从大量的数据中，抽取出潜在的、有价值的知识的过程。随着信息化时代的不断发展，数据挖掘技术在各行各业中的应用也随之越来越广泛。

数据挖掘是利用各种技术从海量的信息中发现知识，好让各行各业从所获取的知识中，预测发展趋势等，可见数据挖掘技术具有广阔的应用和发展前景。

R语言集成了大量的开源的数据挖掘算法，利用好R提供的算法，在各行各业中发挥出知识的价值。同时，大数据技术也层出不穷，以Hadoop/Spark为代表的大数据技术是目前技术主流，大数据技术本身就是通过扩展机器的数量来增加计算及存储资源。SparkR是Spark其中的一个模块，可以利用R作为Spark的运行环境来进行大数据集的数据挖掘。

通过数据挖掘分析产生的结果，需要在WEB客户端页面展现。根据目前开发技术的现状，即懂数据挖掘分析又懂得WEB客户端技术的开发人员非常的少，这大大制约了数据挖掘分析的进一步发展。

因此，本领域亟需一种能够将这两类技术有机的结合起来，利用这两类技术开发人员的各自专长，配合完成数据挖掘相关的数据平台。

发明内容

针对现有数据挖掘分析技术与WEB客户端技术在开发过程中所存在的问题，需要一种实现数据挖掘分析技术与WEB客户端技术解耦的新方案。

为此，本发明的目的在于提供一种解耦WEB客户端与大数据挖掘分析的数据挖掘平台及实现方法。

为了达到上述目的，本发明提供的解耦WEB客户端与大数据挖掘分析的数据挖掘平台，包括：WEB客户端，数据挖掘服务单元，以及数据挖掘开发平台，所述数据挖掘服务单元分别与WEB客户端和数据挖掘开发平台数据连接，其接收并管理WEB客户端的请求，以及感知数据挖掘开发平台开发打包的相关数据挖掘算法，在WEB客户端和数据挖掘开发平台之间搭建调用通道；所述WEB客户端通过数据挖掘服务单元调用数据挖掘开发平台开发的相关数据挖掘算法。

进一步的，所述WEB客户端支持HTTP协议。

进一步的，所述数据挖掘服务单元提供RESTful API接口，支持异步执行，以任务的方式运行，支持的运行环境是R及Spark。

进一步的，所述数据挖掘开发平台提供代码编辑、运行及打包功能。

进一步的，所述数据挖掘开发平台提供R及SparkR的开发测试及打包环境。

为了达到上述目的，本发明提供的解耦WEB客户端与大数据挖掘分析的实现方法包括：

步骤1：在数据挖掘开发平台上开发数据挖掘相关算法，进行调试，保存并打包部署；

步骤2：数据挖掘服务单元自动感知数据挖掘开发平台已打包的数据挖掘算法；

步骤3：WEB客户端通过RESTful API调用数据挖掘算法，异步等待数据挖掘服务单元返回结果。