[发明专利]一种基于sqoop的数据抽取方法

摘要

本发明特别涉及一种基于sqoop的数据抽取方法。该基于sqoop的数据抽取方法，首先通过web界面配置sqoop任务，立即执行或者定时执行sqoop任务，然后通过ganymed远程登录到sqoop所在的Linux服务器并执行sqoop命令，任务执行界面每隔1秒读取一次内存中的执行日志，并实时显示在界面上，Sqoop任务执行结束后，日志存入数据库供以后查看。该基于sqoop的数据抽取方法，可以通过web界面统一配置，调度好查看sqoop任务，实现了关系数据库与大数据集群的数据双向导入导出功能，解决了云计算技术不断发展过程中多数据源数据的管理和维护难题，对于云计算技术的发展和推广具有重要意义，适宜推广应用。

主权项

一种基于sqoop的数据抽取方法，其特征在于包括以下步骤：（1）首先通过web界面配置sqoop任务，系统自动生成sqoop命令并存入数据库；（2）Sqoop任务配置好后有两种选择，可以选择单击按钮，立即执行sqoop任务，也可以选择通过界面配置定时器，系统生成定时规则，并启用quartz定时器；（3）当直接执行sqoop任务或定时器到时后，系统先读取数据库中的sqoop命令，然后通过ganymed远程登录到sqoop所在的Linux服务器并执行sqoop命令，Sqoop命令的执行日志由ganymed捕获，并存入内存；（4）任务执行界面每隔1秒读取一次内存中的执行日志，并实时显示在界面上，同在linux命令行中的执行效果一致；（5）Sqoop任务执行结束后，日志存入数据库供以后查看。