[发明专利]一种基于字节流格式的kudu数据导入系统及方法在审
申请号: | 201811031094.3 | 申请日: | 2018-09-05 |
公开(公告)号: | CN109165225A | 公开(公告)日: | 2019-01-08 |
发明(设计)人: | 许作亮;邓光超;李朝铭 | 申请(专利权)人: | 浪潮软件股份有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/27 |
代理公司: | 济南信达专利事务所有限公司 37100 | 代理人: | 高经 |
地址: | 250100 山东*** | 国省代码: | 山东;37 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种基于字节流格式的kudu数据导入系统及方法,属于软件服务数据同步技术领域。本发明的基于字节流格式的kudu数据导入系统,包括源数据库、源数据库抽取服务模块、消息中间件集群模块、kudu入库服务模块和kudu数据库,源数据库抽取服务模块获取源数据库的数据流,消息中间件集群模块转发源数据库的数据流,kudu入库服务模块解析出源数据库的表结构数据、源数据库的全量数据、源数据库的增量数据,并保存到kudu数据库。该发明的基于字节流格式的kudu数据导入系统支持分布式部署,能充分利用机器性能,有效提高数据入库速度,具有很好的推广应用价值。 | ||
搜索关键词: | 源数据库 数据导入系统 字节流格式 服务模块 数据库 消息中间件 数据流 集群 抽取 入库 数据同步技术 表结构数据 分布式部署 机器性能 全量数据 软件服务 数据入库 增量数据 获取源 解析 保存 | ||
【主权项】:
1.一种基于字节流格式的kudu数据导入系统,其特征在于:该系统包括源数据库、源数据库抽取服务模块、消息中间件集群模块、kudu入库服务模块和kudu数据库,源数据库抽取服务模块获取源数据库的数据流,消息中间件集群模块转发源数据库的数据流,kudu入库服务模块解析出源数据库的表结构数据、源数据库的全量数据、源数据库的增量数据,并保存到kudu数据库。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浪潮软件股份有限公司,未经浪潮软件股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201811031094.3/,转载请声明来源钻瓜专利网。