[发明专利]数据处理方法和装置、介质和计算设备

说明书

本公开的实施方式提供了一种数据处理方法和装置、介质和计算设备。其中的数据处理方法包括：该接收待存储的总实时数据；将所述总实时数据写入第一存储模块和第二存储模块；由所述第一存储模块和第二存储模块中获取待读取的目标实时数据，并输出所述目标实时数据。本公开实施例使得能够快速方便的获取到需要的目标实时数据，提高了数据的获取效率。

技术领域

本公开的实施方式涉及数据库技术领域，更具体地，本公开的实施方式涉及一种数据处理方法和装置、介质和计算设备。

背景技术

本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

在互联网企业中，数据库的应用非常广泛。例如，随着人工智能技术的发展，算法应用较多，在视频推荐、商品推荐、歌曲推荐等领域经常使用人工智能的神经网络进行自动推荐。而神经网络的训练基础是众多的特征数据，如，用户的年龄、性别等用户特征，或者歌曲的点赞次数、播放次数、歌手等歌曲特征。这些特征可以在互联网企业中存储在数据库，当企业内部的算法团队要训练各自的神经网络时，可以由数据库中获取网络训练所需的特征数据。因此，这就涉及到数据在数据库的存储以及读取的处理。

相关技术中，数据的存储、读取的处理方面，仍然存在数据的使用方在由数据库获取所需数据时不方便的问题，数据获取效率较低。

发明内容

在本上下文中，本公开的实施方式期望提供一种数据处理方法和装置、计算机可读存储介质和计算设备，以提高数据的获取效率。

在本公开实施方式的第一方面中，提供了一种数据处理方法，包括：接收待存储的总实时数据；将所述总实时数据写入第一存储模块和第二存储模块；由所述第一存储模块和第二存储模块中获取待读取的目标实时数据，并输出所述目标实时数据。

在本公开的一个实施例中，所述将所述总实时数据写入第一存储模块和第二存储模块，包括：将所述总实时数据写入消息队列和离线数据库；其中，所述第一存储模块是所述消息队列，所述第二存储模块是所述离线数据库。

在本公开的另一实施例中，所述由所述第一存储模块和第二存储模块中获取待读取的目标实时数据，包括：基于元数据存储库，查询由所述总实时数据中订阅的订阅实时数据；由所述第一存储模块中获取所述订阅实时数据中发生更新的第一实时数据，并由所述第二存储模块中获取所述订阅实时数据中未发生更新的第二实时数据；将所述第一实时数据和第二实时数据作为所述目标实时数据。

在本公开的又一个实施例中，所述第一存储模块是消息队列；所述基于元数据存储库，查询由所述总实时数据中订阅的订阅实时数据，由所述第一存储模块中获取所述订阅实时数据中发生更新的第一实时数据，包括：基于所述元数据存储库，查询与所述订阅实时数据对应的所述消息队列中的消费消息单元；由所述消息队列中获取所述第一实时数据，并将所述第一实时数据分发至所述消息队列中对应的消费消息单元。

在本公开的再一个实施例中，所述第二存储模块是列存储数据库；所述方法还包括：将待存储的离线数据写入所述列存储数据库；响应于对所述离线数据中的目标离线数据的读取请求，由所述列存储数据库中获取所述目标离线数据，并输出所述目标离线数据。

在本公开的再一个实施例中，所述由所述列存储数据库中获取所述目标离线数据，包括：基于所述目标离线数据对应的数据订阅标识，查询元数据存储库，得到与所述数据订阅标识对应的目标离线数据的数据标识、以及所述目标离线数据在所述列存储数据库中的存储位置；根据所述存储位置，由所述列存储数据库中读取所述数据标识对应的目标离线数据。

在本公开的再一个实施例中，所述第二存储模块是列存储数据库；所述方法还包括：读取待处理的多个对象特征对应的特征组元数据，得到所述多个对象特征对应的特征组在所述列存储数据库中的列族标识；所述特征组包括属于同一对象的所述多个对象特征；在所述列存储数据库中对应所述列族标识的列族存储位置，对同一对象的多个对象特征执行对应的数据处理。