[发明专利]一种基于ApacheSqoop的从关系型数据库到Kafka的数据导入装置及方法在审
| 申请号： | 201710619621.1 | 申请日： | 2017-07-26 |
| 公开（公告）号： | CN107609008A | 公开（公告）日： | 2018-01-19 |
| 发明（设计）人： | 尚平平 | 申请（专利权）人： | 郑州云海信息技术有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 济南舜源专利事务所有限公司37205 | 代理人： | 张亮 |
| 地址： | 450000 河南省郑州市*** | 国省代码： | 河南;41 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供一种基于Apache Sqoop的从关系型数据库到Kafka的数据导入装置及方法，在Sqoop原有的连接数据库并读取数据的基础上，增加将数据发送到Kafka的MapReduce模块，实现高效便捷的数据导入，一方面避免了重新开发导入所需所有模块的重复劳动，另一反面进一步完善了Sqoop作为一个数据转移工具的功能。 | ||
| 搜索关键词： | 一种 基于 apachesqoop 关系 数据库 kafka 数据 导入 装置 方法 | ||
【主权项】：
一种基于Apache Sqoop的从关系型数据库到Kafka的数据导入装置，其特征在于，包括分析模块、参数注入模块、输入模块、校验模块、任务判断模块、数据切分模块、映射模块、存储模块，其中：分析模块，用于分析从关系型数据库导入数据到Kafka需要的参数，参数包括用于指定Kafka服务器地址的第一参数和用于指定数据接收topic的第二参数；参数注入模块，用于根据分析模块的分析结果进行第一参数和第二参数的注入；输入模块，用于用户对参数进行输入；校验模块，用于对用户输入的第一参数和第二参数进行校验；任务判断模块，用于根据用户的输入判断是否是导入Kafka的任务；数据切分模块，用于Sqoop将从关系型数据库中读出的数据进行切分；映射模块，用于从数据切分模块逐行提取数据，并将数据发送到第一参数指定的地址；存储模块，Kafka将接收的消息存储到“topic”相应的目录。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于郑州云海信息技术有限公司，未经郑州云海信息技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201710619621.1/，转载请声明来源钻瓜专利网。
- 上一篇：食品安全提示系统
- 下一篇：文本情感分析方法、装置、存储介质和计算机设备
