[发明专利]基于日志解析技术的MySQL数据库到Hadoop平台的数据同步复制方法在审
| 申请号： | 201711397461.7 | 申请日： | 2017-12-21 |
| 公开（公告）号： | CN108228755A | 公开（公告）日： | 2018-06-29 |
| 发明（设计）人： | 张珂珩;龚长平;吴志勇;黄伟;金发秀 | 申请（专利权）人： | 江苏瑞中数据股份有限公司;南瑞集团有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 南京知识律师事务所 32207 | 代理人： | 刘丰 |
| 地址： | 210000 江苏*** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明属于电力系统数据库技术领域，公开了一种基于日志解析技术的MySQL数据库到Hadoop平台的数据同步复制方法。本发明开启MySQL的二进制日志记录功能，并修改为基于行的复制模式，采用日志解析模块对所需要处理的MySQL数据库的逻辑日志进行规则过滤，并按照事务完整性发送完整的数据；采用消息接收模块根据配置的接收信息，接收来自日志解析模块的数据，并按照本地规则写入到本地用于数据加载的缓存数据文件中；采用SQL适配模块读取缓存数据文件，并根据Hadoop平台的类型，转换成通用标准SQL数据语句格式，将数据加载进入Hadoop平台。本发明提高了数据库同步复制的效率。 | ||
| 搜索关键词： | 缓存 日志解析模块 日志解析 数据加载 数据同步 数据文件 复制 消息接收模块 读取 二进制日志 事务完整性 数据库技术 数据库同步 电力系统 复制模式 规则过滤 记录功能 逻辑日志 适配模块 数据语句 通用标准 配置的 写入 发送 转换 | ||
【主权项】：
1.基于日志解析技术的MySQL数据库到Hadoop平台的数据同步复制方法，其特征在于，包括以下步骤：1）开启MySQL的二进制日志记录功能，并修改为基于行的复制模式；2）采用日志解析模块对所需要处理的MySQL数据库的逻辑日志进行规则过滤，并按照事务完整性发送完整的数据；3）采用消息接收模块根据配置的接收信息，接收来自日志解析模块的数据，并按照本地规则写入到本地用于数据加载的缓存数据文件中；4）采用SQL适配模块读取缓存数据文件，并根据Hadoop平台的类型，转换成通用标准SQL数据语句格式，将数据加载进入Hadoop平台。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于江苏瑞中数据股份有限公司;南瑞集团有限公司，未经江苏瑞中数据股份有限公司;南瑞集团有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201711397461.7/，转载请声明来源钻瓜专利网。
