[发明专利]基于日志解析技术的PG数据库到Hadoop平台的数据同步复制方法在审
| 申请号： | 201711398111.2 | 申请日： | 2017-12-21 |
| 公开（公告）号： | CN108228756A | 公开（公告）日： | 2018-06-29 |
| 发明（设计）人： | 蒋元晨;徐增荣;李贤慧;何阳;黄伟 | 申请（专利权）人： | 江苏瑞中数据股份有限公司;南瑞集团有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 南京知识律师事务所 32207 | 代理人： | 刘丰 |
| 地址： | 210000 江苏*** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明属于电力系统数据库技术领域，公开了一种基于日志解析技术的PostgresSQL数据库到Hadoop平台的数据同步复制方法。本发明开启PostgresSQL数据库的逻辑复制功能，并保证最大日志发送进程数大于设定的次数，修改数据库用户设置使得能直接使用流复制协议，采用日志解析模块对所需要处理的PostgresSQL数据库的逻辑日志进行规则过滤，并按照事务完整性发送完整的数据；采用消息接收模块根据配置的接收信息，接收来自日志解析模块的数据，并按照本地规则写入到本地用于数据加载的缓存数据文件中；采用SQL适配模块读取缓存数据文件，并根据Hadoop平台的类型，转换成通用标准SQL数据语句格式，将数据加载进入Hadoop平台。本发明提高了数据库同步复制的效率。 | ||
| 搜索关键词： | 数据库 复制 缓存 日志解析模块 日志解析 数据加载 数据同步 数据文件 读取 消息接收模块 事务完整性 数据库技术 数据库同步 数据库用户 电力系统 规则过滤 逻辑复制 逻辑日志 日志发送 适配模块 数据语句 通用标准 配置的 写入 发送 转换 进程 保证 | ||
【主权项】：
1.基于日志解析技术的PostgresSQL数据库到Hadoop平台的数据同步复制方法，其特征在于，包括以下步骤：1）开启PostgresSQL数据库的逻辑复制功能，并保证最大日志发送进程数大于设定的次数，修改数据库用户设置使得能直接使用流复制协议；2）采用日志解析模块对所需要处理的PostgresSQL数据库的逻辑日志进行规则过滤，并按照事务完整性发送完整的数据；3）采用消息接收模块根据配置的接收信息，接收来自日志解析模块的数据，并按照本地规则写入到本地用于数据加载的缓存数据文件中；4）采用SQL适配模块读取缓存数据文件，并根据Hadoop平台的类型，转换成通用标准SQL数据语句格式，将数据加载进入Hadoop平台。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于江苏瑞中数据股份有限公司;南瑞集团有限公司，未经江苏瑞中数据股份有限公司;南瑞集团有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201711398111.2/，转载请声明来源钻瓜专利网。
