[发明专利]实时生成数据宽表的方法和装置

权利要求书

1.一种实时生成数据宽表的方法，其特征在于，包括：

将线上的生产数据进行实时存储；

确定待生成的数据宽表所包含的字段信息；

根据所述字段信息，从存储的生产数据中确定待计算的数据；

利用流式计算，将所述待计算的数据加载到内存数据库表中，将离线sql作用于内存数据库表进行实时计算，以生成数据宽表；

将线上的生产数据进行实时存储包括：

根据生产数据的类型，将线上的生产数据实时发送到不同的消息主题中；

采用流式处理程序，实时的将消息主题中的生产数据存储到缓存系统和持久化存储系统中；

在将线上的生产数据实时发送到不同的消息主题之后，所述方法还包括：生成消息记录；

根据所述字段信息，从存储的生产数据中确定待计算的数据包括：

根据所述字段信息，确定待消费的消息主题；

根据消息记录，确定所述待消费的消息主题中发生变动的生产数据，将发生变动之后的生产数据作为待计算的数据。

2.根据权利要求1所述的方法，其特征在于，在确定待计算的数据之后，所述方法还包括：

根据所述字段信息，确定关键字；

根据所述关键字，对所述待计算的数据进行预设窗口时间内的去重处理。

3.根据权利要求1或2所述的方法，其特征在于，将所述待计算的数据加载到内存数据库表中，将离线sql作用于内存数据库表进行实时计算，以生成数据宽表包括：

将所述待计算的数据加载到内存数据库表中；

利用多线程，将离线sql作用于内存数据库表，并发计算内存数据库表中待计算的数据，以生成数据宽表。

4.一种实时生成数据宽表的装置，其特征在于，包括：

实时存储模块，用于将线上的生产数据进行实时存储；

字段信息确定模块，用于确定待生成的数据宽表所包含的字段信息；

待计算数据确定模块，用于根据所述字段信息，从存储的生产数据中确定待计算的数据；

实时计算模块，用于利用流式计算，将所述待计算的数据加载到内存数据库表中，将离线sql作用于内存数据库表进行实时计算，以生成数据宽表；

所述实时存储模块还用于：

根据生产数据的类型，将线上的生产数据实时发送到不同的消息主题中；

采用流式处理程序，实时的将消息主题中的生产数据存储到缓存系统和持久化存储系统中；

所述实时存储模块在将线上的生产数据实时发送到不同的消息主题之后还用于：生成消息记录；

所述待计算数据确定模块还用于：

根据所述字段信息，确定待消费的消息主题；

根据消息记录，确定所述待消费的消息主题中发生变动的生产数据，将发生变动之后的生产数据作为待计算的数据。

5.根据权利要求4所述的装置，其特征在于，所述装置还包括去重处理模块：

根据所述字段信息，确定关键字；

根据所述关键字，对所述待计算的数据进行预设窗口时间内的去重处理。

6.根据权利要求4或5所述的装置，其特征在于，所述实时计算模块还用于：

将所述待计算的数据加载到内存数据库表中；

利用多线程，将离线sql作用于内存数据库表，并发计算内存数据库表中待计算的数据，以生成数据宽表。

7.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-3中任一所述的方法。

8.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-3中任一所述的方法。