[发明专利]一种大数据集群的部署方法、数据交互方法及对应装置

说明书

本发明实施例提供一种大数据集群的部署方法、数据交互方法及对应装置，用以解决现有技术中使用大数据计算平台的计算结果，需要受限于各种因素所以耗时较长的技术问题。其中，所述部署方法包括：基于获得的安装指令，在集群本地安装Greenplum数据库系统和大数据计算平台；基于获得的配置指令，确定Greenplum数据库系统存储计算结果的位置为集群本地，以及确定大数据计算平台读取数据的位置为集群本地，以使得Greenplum数据库系统和大数据计算平台基于集群本地存储的内容实现数据共享。

技术领域

本发明涉及信息技术领域，尤其涉及一种大数据集群的部署方法、数据交互方法及对应装置。

背景技术

集群(Cluster)是由一组计算机设备构成的一种松散耦合的计算节点集合，作为整体向对外提供统一的服务平台，在用户看来，集群就像是一个服务器。集群提供服务时，可以把任务分到多台计算机设备上，利用这些计算机设备的共同资源来完成任务，从而可以解决单机不能胜任的工作。并且，由于采用了多节点的设计，集群具有较高的容错性和可靠性。

由于大数据计算平台的运行需要较高的计算能力支撑，因而目前的大数据计算平台往往部署在集群上，而大数据计算平台产生的计算结果通常是存储到大数据计算平台提供的HIVE数据仓库或HBase数据库。

现有技术中，从HIVE数据仓库或HBase数据库将计算结果导出以用于使用的过程中，受限于网络带宽的限制和集群系统的运行速度，往往需要耗费大量的时间。

发明内容

本发明实施例提供一种大数据集群的部署方法、数据交互方法及对应装置，用以解决现有技术中使用大数据计算平台的计算结果，需要受限于各种因素所以耗时较长的技术问题。

第一方面，提供一种大数据集群的部署方法，应用于一集群，所述方法包括：

基于获得的安装指令，在所述集群本地安装Greenplum数据库系统和大数据计算平台；

基于获得的配置指令，确定所述Greenplum数据库系统存储计算结果的位置为所述集群本地，以及确定所述大数据计算平台读取数据的位置为所述集群本地，以使得所述Greenplum数据库系统和所述大数据计算平台基于所述集群本地存储的内容实现数据共享。

在一种可能的实现方式中，基于获得的配置指令，确定所述Greenplum数据库系统存储计算结果的位置为所述集群本地，以及确定所述大数据计算平台读取数据的位置为所述集群本地，包括：

通过所述Greenplum数据库系统，在所述集群中创建第一数据表，并确定所述Greenplum数据库系统从所述第一数据表读取数据的方式为与预设存储格式对应的读取方式；

确定所述大数据计算平台存储计算结果的位置为所述第一数据表，以及确定所述大数据计算平台存储计算结果的格式为所述预设存储格式，以使得所述Greenplum数据库系统可以从所述第一数据表读取所述计算结果进行展示。

在一种可能的实现方式中，基于获得的配置指令，确定所述Greenplum数据库系统存储计算结果的位置为所述集群本地，以及确定所述大数据计算平台读取数据的位置为所述集群本地，包括：

使用所述Greenplum数据库系统中用于创建外部表的语句模式，在所述集群中创建第一数据表；

确定所述Greenplum数据库系统使用的集群地址为本地location；

确定所述Greenplum数据库系统读取数据的方式为与预设存储格式对应的读取方式；

确定所述大数据平台存储计算结果的位置为所述第一数据表，以及确定所述大数据计算平台存储计算结果的格式为所述预设存储格式，以使得所述Greenplum数据库系统可以从所述第一数据表读取所述计算结果进行展示。