[发明专利]基于数据特征分池的分布式数据存储方法及装置

说明书

本发明涉及一种数据存储方法及装置，属于数据存储领域，具体是涉及一种基于数据特征分池的分布式数据存储方法及装置。包括：特征划分步骤，按照业务数据的特征预先规划故障域算法，算法会自动将数据划分为不同的特征类型；策略制订步骤，针对不同的特征类型制订分布式存储数据优化策略；策略加载步骤，存储设备根据分池的数据特征类型加载与之对应的数据存储优化策略；优化执行步骤，对象存储设备按照数据存储优化策略定义的相关动作执行优化操作。因此，本发明具有如下优点：顺序特征池所在的节点磁盘的顺写性能基本在满带宽，而随机特征池所在的磁盘也基本达到极限的随机性能，显著的提高了分布式存储的数据操作效率。

技术领域

本发明涉及一种数据存储方法及装置，属于数据存储领域，具体是涉及一种基于数据特征分池的分布式数据存储方法及装置。

背景技术

分布式存储是一种数据存储技术，简单来说，就是将数据分散存储到多个存储服务器上，并将这些分散的存储资源构成一个虚拟的存储设备，实际上数据分散地存储在服务器的各个角落。

传统的网络存储系统，采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点。分布式存储系统利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，有效提高了系统的可靠性、可用性和存取效率。

目前分布式存储系统已经在全球范围内得到广泛认可，相比与传统存储系统，其应用优势如下：

高性能：分布式存储可以高效地管理读缓存和写缓存，并且支持自动的分级存储，通过将热点区域内的数据映射到高速存储中，以提高系统响应速度。

多副本技术：分布式存储采用多副本备份机制，并使用镜像、条带、分布式校验等方式满足用户对于可靠性不同的需求。

容灾与备份：分布式存储支持多时间点快照备份，可同时提取多个时间点样本同时恢复，降低了故障定位的难度，结合周期增量备份机制，确保数据安全高可用。

弹性扩展：得益于合理的分布式架构，还可预估容量并弹性扩展计算、存储容量和性能，扩展后旧数据会自动迁移至新节点，实现负载均衡，避免单点过热。

Ceph作为现有技术中的一种统一分布式存储系统，其有别于其他分布式系统就在于它采用Crush(Controlled Replication Under ScalableHashing)算法使得数据的存储位置都是计算出来的而不是去查询专门的元数据服务器得来的。

Crush在一致性哈希算法的基础上很好的考虑了容灾域的隔离，能够实现各类负载的副本放置规则，例如跨机房、机架感知等。同时，Crush算法支持副本和EC两种数据冗余方式。

Crush算法是Ceph最初的核心之一，是Ceph最引以为豪的地方。Crush在一致性哈希基础上很好的考虑了容灾域的隔离，能够实现各类负载的副本放置规则，例如跨机房、机架感知等。同时，Crush算法支持副本和EC两种数据冗余方式，并且提供了以主机、服务器机架及数据中心的故障域隔离方式，可根据存储服务器的物理结构合理规划故障域，充分考虑实际生产过程中硬件的迭代式部署和缩容扩容，尽可能使Crush算法具有相当好的可扩展性，在数千OSD的情况下仍然能保证良好的负载均衡和可靠可用性。但这更多是理论层面的，目前还没有人给出在数PB规模的生产环境中的测试结果。总的来看，Crush算法仍然是目前经过实践检验的最好的数据分布算法之一。

Ceph摒弃了传统的集中式存储元数据寻址的方式，基于管理员自行定义的数据副本数量，通过Crush算法指定副本的物理存储位置以分隔故障域，数据分布均衡，并行度高，支持数据强一致性。Ceph可以忍受多种故障场景，考虑了容灾域的隔离，能够实现各类负载的副本放置规则，并在故障发生后自动尝试并行修复。