[发明专利]实时生成数据宽表的方法和装置

说明书

本发明公开了一种实时生成数据宽表的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：将线上的生产数据进行实时存储；确定待生成的数据宽表所包含的字段信息；根据所述字段信息，从存储的生产数据中确定待计算的数据；利用流式计算，将所述待计算的数据加载到内存数据库表中进行实时计算，以生成数据宽表。该实施方式能够提供实时的宽表数据，将数据仓库宽表的对外服务时间从T+1延迟直接降低至分钟级别甚至更低，可以快速将复杂的离线SQL计算转换为实时计算，而且解决了由于数据增长导致的计算资源以及计算时间剧增的问题。

技术领域

本发明涉及计算机技术领域，尤其涉及一种实时生成数据宽表的方法和装置。

背景技术

数据仓库是面向主题的、集成的、相对稳定的、随时间不短变化得数据集合，用以支持经营管理中的决策制定。数据仓库中的数据面向主题，与传统数据库面向应用相对应。

基于使数据结构清晰、便于数据血缘追踪以及减少重复开发等原因，数据仓库采取分层结构存储，与之相对应有分层任务处理逻辑：第一层是缓存数据层(buffer datamemory，BDM)，线上业务系统数据快照，按天保存细节数据；第二层是基础数据层(foundation data memory，FDM)，按业务概念组织细节数据；第三层是通用数据层(general data memory，GDM)，根据业务价值建设的业务粒度汇总层。数据仓库最终以GDM宽表对下游业务进行数据服务，采取如图1所示的通用的处理架构。

数据仓库每天从线上日志服务器(nginx服务器)、MYSQL、SQLSERVER、等进行前一天数据抽取，抽取的明细落入BDM层，每天一个分区；接下来通过归档程序对数据进行处理，如数据拉链等操作生成FDM层；最后通过复杂的SQL逻辑关联操作生成GDM层宽表，对外提供服务。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

最终的GDM层宽表每天进行前一天的数据计算，用户拿到的数据为T+1数据，无法实时反应当天的数据情况；随着数据量的剧增，每天凌晨在固定时间段计算一次消耗越来越多的计算资源以及时间。

发明内容

有鉴于此，本发明实施例提供一种实时生成数据宽表的方法和装置，能够提供实时的宽表数据，将数据仓库宽表的对外服务时间从T+1延迟直接降低至分钟级别甚至更低，可以快速将复杂的离线SQL计算转换为实时计算，而且解决了由于数据增长导致的计算资源以及计算时间剧增的问题。

为实现上述目的，根据本发明实施例的一个方面，提供了一种实时生成数据宽表的方法，包括：将线上的生产数据进行实时存储；确定待生成的数据宽表所包含的字段信息；根据所述字段信息，从存储的生产数据中确定待计算的数据；利用流式计算，将所述待计算的数据加载到内存数据库表中进行实时计算，以生成数据宽表。

可选地，将线上的生产数据进行实时存储包括：根据生产数据的类型，将线上的生产数据实时发送到不同的消息主题中；采用流式处理程序，实时的将消息主题中的生产数据存储到缓存系统和持久化存储系统中。

可选地，在将线上的生产数据实时发送到不同的消息主题之后，所述方法还包括：生成消息记录；

根据所述字段信息，从存储的生产数据中确定待计算的数据包括：根据所述字段信息，确定待消费的消息主题；根据消息记录，确定所述待消费的消息主题中发生变动的生产数据，将发生变动之后的生产数据作为待计算的数据。

可选地，所述方法还包括：根据所述字段信息，确定关键字；根据所述关键字，对所述待计算的数据进行预设窗口时间内的去重处理。

可选地，将所述待计算的数据加载到内存数据库表中进行实时计算，以生成数据宽表包括：将所述待计算的数据加载到内存数据库表中；利用多线程，并发计算内存数据库表中待计算的数据，以生成数据宽表。