[发明专利]一种分布式存储系统性能优化的方法、装置、设备及介质

说明书

本发明提供了一种分布式存储系统性能优化的方法、装置、设备及可读介质，方法包括：在分布式存储系统中创建卷，并将创建的卷按照第一阈值大小切分成若干个数据对象；将切分成的数据对象均匀设置到分布式存储系统中的各个服务器节点中；设置第二阈值大小的虚拟数据对象；响应于分布式存储系统接收到数据读写请求，基于请求中包含的对象ID和虚拟数据对象的大小进行节点哈希计算以得到请求中的对象分布的服务器节点。通过使用本发明的方案，能够实现VDI数据对象副本的局部或者全部副本的集中分布效果，能够提升分布式存储系统的IO读写性能。

技术领域

本发明涉及计算机领域，并且更具体地涉及一种分布式存储系统性能优化的方法、装置、设备及可读介质。

背景技术

分布式存储系统是将数据分散存储在多台独立的设备上，它采用可扩展的系统结构，利用多台存储服务器分担存储负荷，同时利用位置服务器定位存储信息，不但提高了系统的可靠性、可用性和存取效率，还能够带来高扩展性和极低的成本控制，具有构建和提供出企业级存储的能力。Sheepdog(一种分布式存储系统)作为分布式块存储系统，它采用完全对称的结构，无元数据中心节点，依靠大量服务器通过网络互联，提供分布式存储服务。

sheepdog采用一致性哈希算法来解决数据存储位置信息，它通过两层一致性哈希算法来确定数据对象的存储位置信息，如图1所示，对于任意数据对象请求，根据请求中包含的对象ID进行节点哈希，即计算出数据对象请求应该分布在集群中的哪一个节点上，同时，对于不同的副本策略，进一步的可以计算出副本分布在那些节点上，数据请求达到节点后，根据节点的磁盘信息进行磁盘哈希，计算出该请求中包含的数据对象分布在哪块磁盘或者磁盘组上。根据图1所示的sheepdog采用两层哈希示意图以及一致性哈希算法的特点与实现，可知随着集群中对象的个数的增加，对象副本在节点间分布会达到均匀，即各节点的存储占用率接近，同理数据对象在节点内的磁盘之间也是均匀分布的，即各磁盘之间的使用率接近。

然而sheepdog采用两层哈希实现的数据均匀分布反而会降低sheepdog的提供的VDI(sheepdog中的卷)的IO性能，因为副本的均匀分布会导致对不同的数据对象的访问需要将请求转发到不同的节点上，从而带来网络性能的损耗，尤其是对于顺序IO模型，如图2所示，数据对象1,2,3为sheepdog中VDI任意连续3个数据对象，并且按照图2示意的策略分布在服务器A、B和C之间，若服务器A为VDI服务接入节点，则对于数据对象1的读请求，则A可以直接返回，然而对于2的读取则需要将请求转发到B或者C。

发明内容

有鉴于此，本发明实施例的目的在于提出一种分布式存储系统性能优化的方法、装置、设备及可读介质，通过使用本发明的技术方案，能够实现VDI数据对象副本的局部或者全部副本的集中分布效果，能够提升分布式存储系统的IO读写性能。

基于上述目的，本发明的实施例的一个方面提供了一种分布式存储系统性能优化的方法，包括以下步骤：

在分布式存储系统中创建卷，并将创建的卷按照第一阈值大小切分成若干个数据对象；

将切分成的数据对象均匀设置到分布式存储系统中的各个服务器节点中；

设置第二阈值大小的虚拟数据对象；

响应于分布式存储系统接收到数据读写请求，基于请求中包含的对象ID和虚拟数据对象的大小进行节点哈希计算以得到请求中的对象分布的服务器节点。

根据本发明的一个实施例，在分布式存储系统中创建卷，并将创建的卷按照第一阈值大小切分成若干个数据对象包括：

在分布式存储系统中创建预设大小的卷；

将创建的卷按照4M大小切分成若干个数据对象，数据对象用于存储数据。

根据本发明的一个实施例，设置第二阈值大小的虚拟数据对象包括：