[发明专利]数据处理方法和装置、介质和计算设备

权利要求书

1.一种数据处理方法，所述方法包括：

接收待存储的总实时数据；

将所述总实时数据写入第一存储模块和第二存储模块；

由所述第一存储模块和第二存储模块中获取待读取的目标实时数据，并输出所述目标实时数据。

2.根据权利要求1所述的方法，所述将所述总实时数据写入第一存储模块和第二存储模块，包括：

将所述总实时数据写入消息队列和离线数据库；

其中，所述第一存储模块是所述消息队列，所述第二存储模块是所述离线数据库。

3.根据权利要求1所述的方法，所述由所述第一存储模块和第二存储模块中获取待读取的目标实时数据，包括：

基于元数据存储库，查询由所述总实时数据中订阅的订阅实时数据；

由所述第一存储模块中获取所述订阅实时数据中发生更新的第一实时数据，并由所述第二存储模块中获取所述订阅实时数据中未发生更新的第二实时数据；

将所述第一实时数据和第二实时数据作为所述目标实时数据。

4.根据权利要求3所述的方法，所述第一存储模块是消息队列；

所述基于元数据存储库，查询由所述总实时数据中订阅的订阅实时数据，由所述第一存储模块中获取所述订阅实时数据中发生更新的第一实时数据，包括：

基于所述元数据存储库，查询与所述订阅实时数据对应的所述消息队列中的消费消息单元；

由所述消息队列中获取所述第一实时数据，并将所述第一实时数据分发至所述消息队列中对应的消费消息单元。

5.根据权利要求1～4任一所述的方法，所述第二存储模块是列存储数据库；所述方法还包括：

将待存储的离线数据写入所述列存储数据库；

响应于对所述离线数据中的目标离线数据的读取请求，由所述列存储数据库中获取所述目标离线数据，并输出所述目标离线数据。

6.根据权利要求5所述的方法，所述由所述列存储数据库中获取所述目标离线数据，包括：

基于所述目标离线数据对应的数据订阅标识，查询元数据存储库，得到与所述数据订阅标识对应的目标离线数据的数据标识、以及所述目标离线数据在所述列存储数据库中的存储位置；

根据所述存储位置，由所述列存储数据库中读取所述数据标识对应的目标离线数据。

7.一种数据处理装置，所述装置包括：

数据接收模块，用于接收待存储的总实时数据；

写入处理模块，用于将所述总实时数据写入第一存储模块和第二存储模块；

读取处理模块，用于由所述第一存储模块和第二存储模块中获取待读取的目标实时数据，并输出所述目标实时数据。

8.一种存储系统，所述系统中包括：第一存储模块、第二存储模块、以及权利要求7所述的数据处理装置。

9.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开权利要求1～6任一所述的方法。

10.一种计算设备，所述计算设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现本公开权利要求1～6任一所述的方法。