[发明专利]一种基于Sqoop技术的海量数据同步系统及方法

说明书

本发明公开了一种基于Sqoop技术的海量数据同步系统及方法，其结构包括页面配置模块，用于通过URL调用，输入操作参数，并将输入参数传输给逻辑处理模块；逻辑处理模块，解析传输过来的输入操作参数，根据输入操作参数，在数据库中查找并生成相应的sqoop命令以及任务信息，并传输给任务执行模块；任务执行模块，根据任务类型执行任务；数据库，存储sqoop命令及与其对应的输入操作参数，和每次操作时的具体信息。本发明的一种基于Sqoop技术的海量数据同步系统及方法与现有技术相比，解决了Sqoop命令复杂，人工编写不利、容易出错的问题，进一步简化了执行任务时用户成本，输入变得更为简单，并且可以配置定时任务与周期任务，实用性更好。

技术领域

本发明涉及计算机技术领域，具体地说是一种基于Sqoop技术的海量数据同步系统及方法。

背景技术

Sqoop是用于大数据存储和传统关系型数据库数据导入/导出的工具，目前已经有个两个大版本，分别简称为sqoop1和sqoop2，Sqoop2本身提供的开发是用的SDK以及API接口，用户可以较为方便的使用它来进行数据操作，但是对于Sqoop1，本身并没有提供相关功能，用户使用的时候需要用sqoop本身提供的shell命令来进行相关操作，命令复杂，而且容易编写出错，并且针对不同场景，需要生成不同的命令来进行配置。

虽然Sqoop1的使用较为复杂，但是现在常用的大数据集成平台，如Ambari，的稳定版本中提供的Sqoop都是sqoop1的版本，导致实际使用的时候很不方便。

现有的Sqoop1本身提供的数据导入导出方法有如下缺点：

所使用的命令复杂，编写成本高、容错率低；不支持跨节点执行；对sqoop服务的依赖高，必须执行命令的节点上可以运行Sqoop命令；任务调度相关内容需要进行额外开发。

基于此，本发明提出一种可解决上述问题、基于Sqoop技术的海量数据同步系统及方法。

发明内容

本发明的技术任务是针对以上不足之处，提供一种实用性强、基于Sqoop技术的海量数据同步系统及方法。

一种基于Sqoop技术的海量数据同步系统，基于rest架构，其结构包括，

页面配置模块，用于通过URL调用，输入操作参数，并将输入参数传输给逻辑处理模块；

逻辑处理模块，解析传输过来的输入操作参数，根据输入操作参数，在数据库中查找并生成相应的sqoop命令以及任务信息，并传输给任务执行模块；

任务执行模块，根据任务类型执行任务；

数据库，存储sqoop命令及与其对应的输入操作参数，和每次操作时的具体信息。

所述页面配置模块通过通过rest架构搭建好的服务将输入操作参数传输到后台逻辑处理模块，该输入操作参数包括具体的数据导入方式、源数据库、目标库、操作命令。

所述任务执行模块执行的任务类型包括一次任务和周期任务，其中，对于一次执行的程序任务，任务执行模块通过Java的远程SSH调用一次执行；对于周期任务，任务执行模块按照一次的执行完成后，等待指定周期，进行下一次任务。

所述任务执行模块执行的任务信息为首次任务时，都将配置好的任务信息存储在数据库中，在任务执行模块执行的任务信息为非首次任务时，用户通过URL访问，自动查询出已经配置好的任务信息，按照首次任务执行过程再执行一遍。

一种基于Sqoop技术的海量数据同步方法，基于上述系统，其实现过程为，

一、首先配置Sqoop命令，使该Sqoop命令根据任务信息自动生成需要执行的Sqoop语句；

二、获取任务信息，通过URL调用，自动生成Sqoop语句并执行该Sqoop命令。