[发明专利]一种将业务数据同步ODS层的方法及装置

说明书

本申请涉及一种将业务数据同步ODS层的方法及装置，所述方法包括实时获取MySQL自有的binlog的增量数据，并将所述增量数据存储至消息队列；每隔第一预设时间从所述消息队列中解析获取在所述第一预设时间内存储的增量数据，并生成中间文件；每隔第二预设时间将在所述第二预设时间内生成的所有所述中间文件加载到数据仓的ODS层，并与ODS层历史业务数据聚合；其中，所述第二预设时间为所述第一预设时间的整数倍数。本申请不仅有效提高业务数据同步到ODS层的速度，而且不会影响到在线业务正常工作。

技术领域

本申请涉及ODS层数据抽取技术的领域，尤其是涉及一种将业务数据同步ODS层的方法及装置。

背景技术

在传统的离线数据仓库设计中，会从规定时间开始，使用Sqoop工具从业务数据库将一天、甚至更久的业务数据抽取到ODS，当这个过程的数据量变大且分表较多时，会极大的拖延时间，一度达到数个小时，不仅致使后续的分层计算、指标抽取、指标展示的无法准时执行，影响需要利用整体数据的决策，而且集中从线上业务抽取业务数据还可能对业务造成不良影响。

发明内容

为了提高业务数据同步ODS层的速度，减少业务数据抽取对业务的不良影响，本申请提供了一种将业务数据同步ODS层的方法及装置。

第一方面，本申请提供的一种将业务数据同步ODS层的方法采用如下的技术方案：

一种将业务数据同步ODS层的方法，包括：

实时获取MySQL自有的binlog的增量数据，并将所述增量数据存储至消息队列；

每隔第一预设时间从所述消息队列中解析获取在所述第一预设时间内存储的增量数据，并生成中间文件；

每隔第二预设时间将在所述第二预设时间内生成的所有所述中间文件加载到数据仓的ODS层，并与ODS层历史业务数据聚合；其中，所述第二预设时间为所述第一预设时间的整数倍数。

可选的，所述实时获取MySQL自有的binlog的增量数据，并将所述增量数据存储至消息队列，包括：

MySQL服务器开启binlog缓存设置；

利用canal工具进行binlog所述增量数据的实时抓取以及将发送至所述消息队列。

可选的，所述消息队列为kafka队列。

可选的，所述利用canal工具进行binlog所述增量数据的实时抓取以及将发送至所述消息队列，包括：

canal通过模拟数据库的从节点获取MySQL服务器向其同步发送binlog的所述增量数据；

通过kafka生产者方法，将获取的所述增量数据实时存储到所述kafka队列中。

可选的，在所述利用canal工具进行binlog所述增量数据的实时抓取的同时，还包括：

利用prometheus获取canal服务的metric日志信息；

根据预设指标阈值和从metric日志信息中获取的所述指标数据进行指标状态的判定，并将所述指标数据和判定结果按照时序进行可视化展示；

如果所述指标数据大于或小于所述预设指标阈值，判定所述指标数据正常；如果所述指标数据小于或大于所述预设指标阈值，判定该指标数据异常，同时进行报警处理。

可选的，所述消息队列至少能够存储在N个第二预设时间内生成的增量数据；

所述消息队列根据所述增量数据的时间戳将过期的所述增量数据删除；其中，过期的增量数据为在消息队列中存储时长达到N个第二预设时间的增量数据。

第二方面，本申请提供的一种将业务数据同步ODS层的装置采用如下的技术方案：

一种将业务数据同步ODS层的装置，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述一种将业务数据同步ODS层的方法。