[发明专利]一种基于Hue实现数据加载的方法，系统，设备及可读存储介质

说明书

本发明提供一种基于Hue实现数据加载的方法，系统，设备及可读存储介质，在大数据平台上添加Hue模块以及Oozie服务模块；通过Hue模块配置管理节点；基于管理节点调取EXT模块，将EXT模块下的目录及所述目录下所有文件的用户名及用户组配置为支持oozie服务操作的端口；配置数据库的访问端口。本发明将Sqoop、Oozie进行整合，实现访问大数据平台中的Hue界面，来实现对Oozie服务模块以及Sqoop组件的操作访问，完成传统数据库至大数据平台的调度，并能够提供了目友好的可视化界面，实现可视化操作ETL功能丰富了用户的体验。

技术领域

本发明涉及大数据处理技术领域，尤其涉及一种基于Hue调用Sqoop实现数据库加载的方法，系统，设备及可读存储介质。

背景技术

Hue是一个开源的Apache Hadoop UI系统，由Cloudera Desktop演化而来，Cloudera公司将其贡献给Apache基金会的Hadoop社区，它是基于Python Web框架Django实现的。通过使用Hue可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据。

目前Hue仅仅是做为查询大数据平台数据的工具来使用，传统关系型参数进入大数据平台只能通过开发Java程序及后台写Shell脚本实现，费时费力，可复用性不高并且学习成本很高；如何将三大组件进行整合发挥各自的优势，是目前迫切解决的问题。

发明内容

为了克服上述现有技术中的不足，本发明提供一种基于Hue实现数据加载的方法，方法包括：

步骤一，在大数据平台上添加Hue模块以及Oozie服务模块；

步骤二，通过Hue模块配置管理节点；

步骤三，基于管理节点调取EXT模块，将EXT模块下的目录及所述目录下所有文件的用户名及用户组配置为支持oozie服务操作的端口；

步骤四，刷新Hue模块以及Oozie服务模块；

步骤五，配置数据库的访问端口。

优选地，基于Hue模块对大数据平台的数据进行操作。

优选地，步骤基于Hue模块对大数据平台的数据进行操作包括：

调取Oozie服务模块的编辑界面；

创建大数据处理工作流程任务及名称，并调取Sqoop组件；

配置Sqoop组件的控制指令及输入指令，并保存；

调取Oozie服务模块的工作计划编辑单元；

将创建好的大数据处理工作流程添加为所述工作计划编辑单元中的定时任务；

通过浏览器查看所述定时任务的运行情况。

优选地，步骤通过浏览器查看所述定时任务的运行情况之后还包括：

通过运行日志查询报错的大数据处理工作流程，并对报错进行定位。

优选地，基于Hue模块对大数据平台的数据进行操作还包括：对数据进行抽取、转换、加载至目的端的过程。

优选地，步骤调取Oozie服务模块的编辑界面还包括：

进入Oozie服务模块的编辑界面；

选择操作控制端口；

创建大数据处理工作流程名称；

调取Sqoop组件，并将Sqoop组件拖动至编辑界面中。

本发明还提供一种基于Hue实现数据加载的系统，包括：服务添加模块，系统配置模块，系统操作模块以及系统刷新模块；