[发明专利]数据存储方法、装置、电子设备及分布式存储系统

说明书

本发明涉及数据库技术领域，具体涉及数据存储方法、装置、电子设备及分布式存储系统，该方法应用于分布式存储系统的计算节点，包括获取待处理数据以及待处理数据对应的元数据信息，所述元数据信息包括待处理数据需要写入的位置信息；将待处理数据写入内存并在内存中基于待处理数据以及元数据信息生成待存储数据；将待存储数据写入存储节点，以使得存储节点基于待存储数据中的元数据信息对待处理数据进行存储。将计算与存储分离，在计算节点中利用待处理数据以及元数据信息生成待存储数据，由于待存储数据是直接从内存进行网络传输，后续存储节点就可以直接在自身的内存中对待处理数据进行存储，避免了IO操作，提高了数据存储的效率。

技术领域

本发明涉及数据库技术领域，具体涉及数据存储方法、装置、电子设备及分布式存储系统。

背景技术

为了解决分布式存储系统，例如大规模并行处理(Massive ParallelProcessing，简称为MPP)数据库的快速弹性收缩，以及资源的最大化利用，在分布式存储系统领域引入了读写分离技术。以MPP数据库为例，当前的MPP读写分离多采用热数据存储在本地盘(Cache)，冷数据或者说历史数据通过网络存储在公共存储服务器中的架构。

这种架构虽然可以解决快速弹性收缩的问题，但是由于数据的多次传输和IO消耗，导致数据库IO放大，最终严重影响数据库写入数据的性能。

发明内容

有鉴于此，本发明实施例提供了一种数据存储方法、装置、电子设备及分布式存储系统，以解决数据存储的效率较低的问题。

根据第一方面，本发明实施例提供了一种数据存储方法，应用于分布式存储系统的计算节点，所述方法包括：

获取待处理数据以及所述待处理数据对应的元数据信息，所述元数据信息包括所述待处理数据需要写入的位置信息；

将所述待处理数据写入内存并在所述内存中基于所述待处理数据以及所述元数据信息生成待存储数据；

将所述待存储数据写入存储节点，以使得所述存储节点基于所述待存储数据中的元数据信息对所述待处理数据进行存储。

本发明实施例提供的数据存储方法，将计算与存储分离，并在计算节点中利用待处理数据以及元数据信息生成待存储数据，将待存储数据直接写入存储节点，由于待存储数据是直接从内存进行网络传输，避免了计算节点的本地写操作，后续存储节点就可以直接在自身的内存中对待处理数据进行存储，而无需再访问计算节点，避免了IO操作，提高了数据存储的效率。

结合第一方面，在第一方面第一实施方式中，所述在所述内存中基于所述待处理数据以及所述元数据信息生成待存储数据，包括：

在所述内存中将所述待处理数据与所述元数据信息进行拼接，生成所述待存储数据。

本发明实施例提供的数据存储方法，通过将待处理数据与元数据信息直接拼接的方式生成待存储数据，该方式简单易实现。

结合第一方面或第一方面第一实施方式，在第一方面第二实施方式中，所述方法还包括：

对所述待存储数据进行广播，以使得所述计算节点的副本节点基于所述待存储数据中的元数据信息对所述待处理数据进行备份。

本发明实施例提供的数据存储方法，直接将待存储数据进行广播，由于带存储数据中包括有待处理数据，后续副本节点直接利用接收到的待存储数据就可以实现对待处理数据的备份，而无需再与计算节点进行IO操作，减少了IO操作的次数，提高了数据备份的效率。

根据第二方面，本发明实施例还提供了一种数据存储方法，应用于分布式存储系统的存储节点，所述方法包括：

接收计算节点发送的待存储数据，所述待存储数据包括待处理数据以及所述待处理数据的元数据信息，所述元数据信息包括所述待处理数据需要写入的位置信息；