[发明专利]一种分布式存储系统中存储节点的数据更新方法

说明书

本发明公开了一种分布式存储系统中存储节点的数据更新方法，应用于分布式数据存储系统的每个存储节点中，在分布式数据存储系统中的存储节点变更后，获取分布式数据存储系统中存储节点变更后的节点拓扑结构及节点信息，生成分布式哈希表；根据分布式哈希表重新分配当前存储节点存储的每个数据对象；对于存储节点变化的数据对象，将数据对象发送至变化后的存储节点；更新当前存储节点的区段管理器和索引管理器中；使用分布式哈希表可以基于某种稳定哈希算法，在存储节点数发生变化时，针对同样的数据，稳定哈希算法每次计算的结果都大致相同，这样可以保证数据所在的节点长时间保持稳定，避免数据的大规模移动。

【技术领域】

本发明属于计算机存储技术领域，尤其涉及一种分布式存储系统中存储节点的数据更新方法。

【背景技术】

分布式存储空间管理的基本方法是通过多种映射，将用户可见的逻辑卷设备映射到分布在各个节点上的底层数据块。而为了维护这种映射关系，系统需要对大量的元数据进行管理。元数据管理算法直接决定着系统的性能的高低和功能的优劣。

分布式管理的存储系统由许多个节点组成。系统需要跨节点地将每个服务器的零散存储空间组织起来，给用户呈现一个统一连续的视图。节点和节点之间的通讯依赖成熟的网络协议例如TCP/IP，在现代的某些场景里也可以使用新型网络设备例如ROCE设备或者INFINIBAND设备。

节点的容量和处理能力可能是不尽相同的。系统需要按照每个节点的能力，合理地分配负载给每个节点。

同时，在分布式存储系统中，节点可能会暂时或永久地失效。新的节点随时可能加入，旧的节点随时可能退出。每当组成系统的节点发生变化的时候，系统中的数据就需要在节点间进行移动，以达到节点间负载的均衡。

数据在节点间移动是通过网络，这往往是一种代价昂贵的操作。在数据移动期间，系统整体性能会下降。因此，如何减少数据移动成为一个需要解决的问题。

【发明内容】

本发明的目的是提供数一种分布式存储系统中存储节点的数据更新方法，有效避免在分布式存储系统中各存储节点之间的数据大量转移，由多个节点并发进行，充分利用网络带宽和多节点并发IO能力提升存储系统的效率。

本发明采用以下技术方案：一种分布式存储系统中存储节点的数据更新方法，应用于分布式数据存储系统的每个存储节点中，在分布式数据存储系统中的存储节点变更后，包括：

获取分布式数据存储系统中存储节点变更后的节点拓扑结构及节点信息，生成分布式哈希表；

根据分布式哈希表重新分配当前存储节点存储的每个数据对象；

对于存储节点变化的数据对象，将数据对象发送至变化后的存储节点；

更新当前存储节点的区段管理器和索引管理器中。

进一步地，还包括：

接收其他数据存储节点发出的数据对象；其中，该数据对象为在分布式哈希表中指示存储在当前存储节点的数据对象；

通过区段管理器保存数据对象，并更新当前节点的索引管理器。

进一步地，通过区段管理器保存数据对象包括：

根据数据对象生成对应的数据摘要值；

将数据对象和对应的数据摘要值写入到活跃区段中；其中，活跃区段为当前用于写入数据对象的区段；

根据写入后的活跃区段生成数据对象的物理地址；其中，物理地址包括当前存储节点的设备ID、当前活跃区段对应的区段号和数据对象在当前活跃区段中的偏移量。

进一步地，更新当前节点的索引管理器包括：

获取数据对象的数据摘要值和物理地址；