[发明专利]一种监控数据库的方法及系统在审
申请号: | 201810581602.9 | 申请日: | 2018-06-07 |
公开(公告)号: | CN108874964A | 公开(公告)日: | 2018-11-23 |
发明(设计)人: | 刘冶;桂进军;叶思聪;李宏浩;周婷;陈宇恒;徐振涛;印鉴 | 申请(专利权)人: | 火烈鸟网络(广州)股份有限公司;中山大学 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 广州骏思知识产权代理有限公司 44425 | 代理人: | 吴静芝 |
地址: | 510630 广东省*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 监控数据库 二进制数据流 变更事件 操作事件 记录 存储 二进制 大规模数据 二进制文件 数据库审计 数据库信息 变更操作 变更信息 实时获取 实时解析 数据篡改 过滤 数据库 采集 安全 维护 | ||
1.一种监控数据库的方法,其特征在于,包括如下步骤:
实时获取待监控数据库中的二进制数据流;
实时解析所述二进制数据流,获得待监控数据库的所有操作事件;
过滤所述所有操作事件,获得待监控数据库中数据表的变更事件;
从所述待监控数据库中数据表的变更事件中提取需记录的数据,并标记所述需记录的数据;
存储所述需记录的数据、二进制数据对应的二进制文件名称以及二进制数据流在二进制文件的位置。
2.根据权利要求1所述的监控数据库的方法,其特征在于,在实时获取待监控数据库中的二进制数据流之前,还初始化待监控数据库中的数据表,并存储所述初始化操作以及数据表的初始数据。
3.根据权利要求2所述的监控数据库的方法,其特征在于,所述初始化待监控数据库中的数据表包括将待监控的数据表的主键、需要监控的字段以及待监控的数据表的名称拼接形成可执行的查询语句。
4.根据权利要求3所述的监控数据库的方法,其特征在于,在初始化待监控数据库中的数据表之前,还获取配置信息;所述配置信息包括待监控数据库的配置信息、用于存储二进制数据流对应的二进制文件名称及二进制数据流在二进制文件中的位置信息的缓存数据库的配置信息、以及用于存储变更事件的下游数据库的配置信息;
所述待监控数据库的配置信息包括待监控数据库所在的服务器信息、待监控的数据表的主键、需要监控的字段;
所述缓存数据库的配置信息包括变更事件所在的数据库名称、待监控数据库所在的服务器信息的前缀名;
所述下游数据库的配置信息包括下游数据库所在的服务器信息以及下游数据库的表的名称信息。
5.根据权利要求4所述的监控数据库的方法,其特征在于,所述待监控数据库中的数据表的变更事件包括插入、删除和更新数据库的基本操作事件;所述需记录的数据包括待监控的数据表的主键、变更事件发生的时间以及待监控的字段的变化值。
6.根据权利要求4所述的监控数据库的方法,其特征在于,通过与待监控数据库建立TCP连接,且通过主从复制协议实时获取待监控数据库的二进制数据流。
7.根据权利要求4所述的监控数据库的方法,其特征在于,在与待监控数据库的TCP连接断开时,停止获取待监控数据库的二进制数据流;在与待监控数据库的TCP连接恢复时,获取存储的二进制数据流对应的二进制文件名称及二进制数据流在二进制文件的位置信息,并在断开的二进制文件位置处,继续获取二进制数据流。
8.根据权利要求4所述的监控数据库的方法,其特征在于,在监控程序与数据库的线上连接终止时,还包括如下步骤:
输出运行异常的日志;
将待监控数据库的二进制数据流对应的二进制文件备份存储到本地服务器;
读取二进制文件中的二进制数据流,且实时解析所述二进制数据流,获得待监控数据库的所有操作事件;
过滤所述所有操作事件,获得待监控数据库中数据表的变更事件;
从所述待监控数据库中数据表的变更事件中提取需记录的数据,并标记所述需记录的数据;
从所述待监控数据库中的数据表的变更事件提取需记录的数据,并标记所述需记录的数据对应的变更事件;
将所述需记录的数据、二进制数据流对应的二进制文件名称及二进制数据流在二进制文件中的位置信息存储至本地服务器。
9.一种监控数据库的系统,其特征在于,包括存储器和服务器;所述服务器设有智能监控模块,所述存储器适于存储多条指令,所述指令适于由所述服务器调用智能监控模块加载并执行:
实时获取待监控数据库中的二进制数据流;
实时解析所述二进制数据流,获得待监控数据库的所有操作事件;
过滤所述所有操作事件,获得待监控数据库中数据表的变更事件;
从所述待监控数据库中数据表的变更事件中提取需记录的数据,并标记所述需记录的数据;
存储所述需记录的数据、二进制数据对应的二进制文件名称以及二进制数据流在二进制文件的位置。
10.根据权利要求9所述监控数据库的系统,其特征在于,还包括缓存数据库和下游数据库;所述服务器调用智能监控模块加载并执行:
调用缓存数据库接口,将二进制数据流对应的二进制文件名称及二进制数据流在二进制文件中的位置信息存储至缓存数据库;
调用下游数据库接口,将所述初始化操作、对应的数据表的初始数据以及需记录的数据存储至下游数据库。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于火烈鸟网络(广州)股份有限公司;中山大学,未经火烈鸟网络(广州)股份有限公司;中山大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810581602.9/1.html,转载请声明来源钻瓜专利网。