[发明专利]一种基于ApacheSqoop的从关系型数据库到Kafka的数据导入装置及方法

权利要求书

1.一种基于Apache Sqoop的从关系型数据库到Kafka的数据导入装置，其特征在于，包括分析模块、参数注入模块、输入模块、校验模块、任务判断模块、数据切分模块、映射模块、存储模块，其中：

分析模块，用于分析从关系型数据库导入数据到Kafka需要的参数，参数包括用于指定Kafka服务器地址的第一参数和用于指定数据接收topic的第二参数；

参数注入模块，用于根据分析模块的分析结果进行第一参数和第二参数的注入；

输入模块，用于用户对参数进行输入；

校验模块，用于对用户输入的第一参数和第二参数进行校验；

任务判断模块，用于根据用户的输入判断是否是导入Kafka的任务；

数据切分模块，用于Sqoop将从关系型数据库中读出的数据进行切分；

映射模块，用于从数据切分模块逐行提取数据，并将数据发送到第一参数指定的地址；

存储模块，Kafka将接收的消息存储到“topic”相应的目录。

2.根据权利要求1所述的基于Apache Sqoop的从关系型数据库到Kafka的数据导入装置，其中Kafka服务器地址为消息推送目的地址。

3.根据权利要求1所述的基于Apache Sqoop的从关系型数据库到Kafka的数据导入装置，其中任务判断模块根据用户输入的参数，检测输入的参数是否包含第一参数和第二参数来决定是否是导入Kafka的任务。

4.根据权利要求1所述的基于Apache Sqoop的从关系型数据库到Kafka的数据导入装置，其中通过对从数据切分模块提取的数据进行处理并将其发送到Kafka进行并行运算，来保证映射模块的运行，数据处理包括增加数据产生的时间戳、来自的数据库名以及表名信息。

5.一种基于Apache Sqoop的从关系型数据库到Kafka的数据导入方法，其特征在于，包括：

SS1：分析从关系型数据库导入数据到Kafka需要的参数，参数包括用于指定Kafka服务器地址的第一参数和用于指定数据接收topic的第二参数；

SS2：根据分析模块的分析结果进行第一参数和第二参数的注入；

SS3：用户对参数进行输入；

SS4：对用户输入的第一参数和第二参数进行校验；

SS5：根据用户的输入判断是否是导入Kafka的任务；

SS6：Sqoop将从关系型数据库中读出的数据进行切分；

SS7：逐行提取数据，并将数据发送到第一参数指定的地址；

SS8：Kafka将接收的消息存储到“topic”相应的目录。

6.根据权利要求5所述的基于Apache Sqoop的从关系型数据库到Kafka的数据导入方法，其中步骤SS1中Kafka服务器地址为消息推送目的地址。

7.根据权利要求5所述的基于Apache Sqoop的从关系型数据库到Kafka的数据导入方法，其中步骤SS5根据用户输入的参数，检测输入的参数是否包含第一参数和第二参数来决定是否是导入Kafka的任务。

8.根据权利要求5所述的基于Apache Sqoop的从关系型数据库到Kafka的数据导入方法，其中通过对提取的数据进行处理并将其发送到Kafka进行并行运算，来保证步骤SS7的运行，数据处理包括增加数据产生的时间戳、来自的数据库名以及表名信息。