[发明专利]一种将业务数据同步ODS层的方法及装置

权利要求书

1.一种将业务数据同步ODS层的方法，其特征在于，包括：

实时获取MySQL自有的binlog的增量数据，并将所述增量数据存储至消息队列；

每隔第一预设时间从所述消息队列中解析获取在所述第一预设时间内存储的增量数据，并生成中间文件；

每隔第二预设时间将在所述第二预设时间内生成的所有所述中间文件加载到数据仓的ODS层，并与ODS层历史业务数据聚合；其中，所述第二预设时间为所述第一预设时间的整数倍数。

2.根据权利要求1所述的方法，其特征在于，所述实时获取MySQL自有的binlog的增量数据，并将所述增量数据存储至消息队列，包括：

MySQL服务器开启binlog缓存设置；

利用canal工具进行binlog所述增量数据的实时抓取以及将发送至所述消息队列。

3.根据权利要求2所述的方法，其特征在于，所述消息队列为kafka队列。

4.根据权利要求3所述的方法，其特征在于，所述利用canal工具进行binlog所述增量数据的实时抓取以及将发送至所述消息队列，包括：

canal通过模拟数据库的从节点获取MySQL服务器向其同步发送binlog的所述增量数据；

通过kafka生产者方法，将获取的所述增量数据实时存储到所述kafka队列中。

5.根据权利要求2所述的方法，其特征在于，在所述利用canal工具进行binlog所述增量数据的实时抓取的同时，还包括：

利用prometheus获取canal服务的metric日志信息；

根据预设指标阈值和从metric日志信息中获取的所述指标数据进行指标状态的判定，并将所述指标数据和判定结果按照时序进行可视化展示；

如果所述指标数据大于或小于所述预设指标阈值，判定所述指标数据正常；如果所述指标数据小于或大于所述预设指标阈值，判定该指标数据异常，同时进行报警处理。

6.根据权利要求1所述的方法，其特征在于，所述消息队列至少能够存储在N个第二预设时间内生成的增量数据；

所述消息队列根据所述增量数据的时间戳将过期的所述增量数据删除；其中，过期的增量数据为在消息队列中存储时长达到N个第二预设时间的增量数据。

7.一种将业务数据同步ODS层的装置，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任意一项所述一种将业务数据同步ODS层的方法。