[发明专利]基于MapReduce的MYSQL数据库的变化数据捕获方法

摘要

本发明公开了一种基于MapReduce的MYSQL数据库的变化数据捕获方法，包括：（1）生成摘要的查询语句“select into outfile”，根据FIELDS子句设置标志位；将“select into outfile”从数据库查询得到的一行元组插入“属性值分隔符”；根据标志位值对“select into outfile”查询执行的结果生成摘要md5value和产生输出格式；将查询结果写到磁盘文件outfile；（2）采用Hadoop MapReduce并行框架求差分；从map端读入两个快照文件old.txt和new.txt，MapReduce的shuffle函数对Key/value结构中相同key的value值存入迭代器iterator，将reduce的输出文件合并成insert文件和delete文件，即CDC的结果。本发明对MYSQL中的查询语句从语法到实现上作了改进，使其一次查询数据库数据文件就能生成带摘要的快照文件，一个快照文件的生成就减少了一次I/O，连续多次的快照差分过程可以减少大量的I/O。

主权项

基于MapReduce的MYSQL数据库的变化数据捕获方法，其特征在于，包括下述步骤：（1）生成摘要的查询语句“select into outfile”，其具体步骤如下：（1‑1）词法和语法分析“select into outfile”，根据FIELDS子句设置标志位；（1‑2）将“select into outfile”从数据库查询得到的一行元组插入“属性值分隔符”；（1‑3）根据标志位值对“select into outfile”查询执行的结果生成摘要md5value和产生输出格式；（1‑4）将查询结果写到磁盘文件outfile；（2）采用Hadoop MapReduce并行框架求差分；(2‑1)从map端读入两个快照文件old.txt和new.txt，通过文件按行切分在map端输出或者的形式，其中@md5value@value或@md5value作为Key/value结构中的value值；(2‑2)MapReduce的shuffle函数对Key/value结构中相同key的value值存入迭代器iterator，发送reduce端；(2‑3)reduce端接收的数据形式为，对iterator中的value个数进行统计和分类可取获得变化的数据：(2‑4)将reduce的输出文件合并成insert文件和delete文件，即CDC的结果。