[发明专利]一种数据平台系统的扩展方法、系统及电子设备

说明书

技术领域

本发明涉及计算机通信及互联网、软件管理后台技术领域，特别是涉及一种数据平台系统的扩展方法、系统及电子设备。

背景技术

近几年来，随着计算机和信息技术的迅猛发展和普及应用，行业应用系统的规模迅速扩大，行业应用所产生的数据呈爆炸性增长，动辄数百TB甚至数十至数百PB规模的行业/企业大数据已远远超出了现有传统的计算技术和信息系统的处理能力，因此，寻求有效的大数据处理技术、方法和手段已经成为现实世界的迫切需求。

鉴于大数据处理需求的迫切性和重要性，近年来大数据技术已经在全球学术界、工业界和各国政府得到高度关注和重视，全球掀起了一个可与20世纪90年代的信息高速公路相提并论的研究热潮。美国和欧洲一些发达国家政府都从国家科技战略层面提出了一系列的大数据技术研发计划，以推动政府机构、重大行业、学术界和工业界对大数据技术的探索研究和应用。

大数据的处理需要大量的硬件支撑，没有硬件支撑就没有大数据的各种数据分析管理。当数据量呈现几何量级的增长，如果硬件不能快速的部署变为大数据的节点，就无法满足日常系统的使用情况。如何快速部署大数据系统，方便地增加大数据服务器的节点数量，是亟待解决的一重要课题。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种数据平台系统的扩展方法、系统及电子设备，用于快速地将硬件设备部署为大数据处理系统中的计算节点，从而为大数据的分析和管理提供硬件支撑。

为实现上述目的及其他相关目的，本发明提供一种数据平台系统的扩展方法，应用于所述数据平台系统，其中，所述数据平台系统包括：所述管理节点、及与所述管理节点通信连接的至少一个数据节点，所述方法包括：所述管理节点向待添加数据节点发送用于配置系统环境的脚本文件，以供所述待添加数据节点执行所述脚本文件后完成相应的系统环境设置；所述管理节点为所述待添加数据节点安装相关应用，从而完成所述待添加数据节点向所述数据平台系统的添加。

于本发明一实施例中，所述数据平台系统的类型包括：CDH系统。

于本发明一实施例中，所述脚本文件的内容包括：安装执行所述脚本文件的命令的工具编译包、编辑所述待添加数据节点的名称、关闭安全设置、安装常用软件包、开启ntp时间服务并加入自动启动项、修改swappiness以降低对swap缓存的使用、安装CDH系统运行环境及语言环境、强制刷新、及重启所述待添加数据节点中的一种或多种组合。

于本发明一实施例中，所述为待添加数据节点安装相关应用，包括：添加CDH管理员账号、开启CDH客户端服务、进行所述待添加数据节点的功能安装、及开启所述待添加数据节点的计算功能中的一种或多种组合。

于本发明一实施例中，所述至少一个数据节点分别关联有与其一一对应的至少一个预设负荷值，在所述向待添加的数据节点发送脚本文件之前，所述方法还包括：获取所述至少一个数据节点的实际负荷值，并分别与对应的预设负荷值比对；若检测到存在实际负荷值不小于预设负荷值的数据节点，则开始扩展所述数据平台系统。

为实现上述目的及其他相关目的，本发明提供一种数据平台系统的扩展系统，应用于所述数据平台系统，其中，所述数据平台系统包括：所述管理节点、及与所述管理节点通信连接的至少一个数据节点，所述系统包括：脚本发送模块，用于所述管理节点向待添加数据节点发送用于配置系统环境的脚本文件，以供所述待添加数据节点执行所述脚本文件后完成相应的系统环境设置；应用安装模块，用于所述管理节点为所述待添加数据节点安装相关应用，从而完成所述待添加数据节点向所述数据平台系统的添加。

于本发明一实施例中，所述数据平台系统的类型包括：CDH系统。

于本发明一实施例中，所述脚本文件的内容包括：安装执行所述脚本文件的命令的工具编译包、编辑所述待添加数据节点的名称、关闭安全设置、安装常用软件包、开启ntp时间服务并加入自动启动项、修改swappiness以降低对swap缓存的使用、安装CDH系统运行环境及语言环境、强制刷新、及重启所述待添加数据节点中的一种或多种组合。

于本发明一实施例中，所述为待添加数据节点安装相关应用，包括：添加CDH管理员账号、开启CDH客户端服务、进行所述待添加数据节点的功能安装、及开启所述待添加数据节点的计算功能中的一种或多种组合。