[发明专利]基于数据特征分池的分布式数据存储方法及装置

权利要求书

1.一种基于数据特征分池的分布式数据存储方法，其特征在于，包括：

特征划分步骤，按照业务数据的特征预先规划故障域算法，将数据划分为不同的特征类型；

策略制订步骤，针对不同的特征类型制订分布式存储数据优化策略；

策略加载步骤，对象存储设备根据分池的数据特征类型加载与之对应的数据存储优化策略；

优化执行步骤，对象存储设备按照数据存储优化策略定义的相关动作执行优化操作；

所述策略制订步骤中在OSD层面结合硬件的电气特性、服务器的硬件性能以及操作系统自动制定出针对顺序特征和随机特征的两套数据特征优化策略；所述随机特征优化策略包括以下操作中的一种或多种：对齐磁盘空间管理最小单元与物理磁盘的块大小；调整IO队列深度；根据物理CPU个数调整IO并发处理线程；在客户端层、软件抽象层、内核驱动层聚合连续的小IO；提升缓存buffer；启动数据缓存模块；将数据写入高速设备；缩短IO路径；减少系统中断；

其中，Monitor层扩展出针对数据特征分池的持久化记录，防止Monitor异常导致数据特征分池失效，Monitor需要根据具体的顺序和随机特征扩展PG的属性，将分池特性通过创建数据分布组下发给对应的OSD；根据业务数据的特征预先规划Crushmap，通过命令行或者客户端创建Pool的时候，指定数据特征类型参数；

Monitor收到Pool创建指令的时候，先进行Pool元数据的创建，之后进入创建PG层的相关操作，最后通知所属的OSD进行PG实例的创建；

OSD收到创建PG指令的时候，会根据PG携带的数据特征类型加载数据特征优化策略，并按照策略定义的相关动作执行相关优化动作。

2.根据权利要求1所述的一种基于数据特征分池的分布式数据存储方法，其特征在于，所述特征划分步骤中，

按照业务类型将数据分为顺序特征和随机特征，所述顺序特征包括流媒体数据，所述随机特征包括数据库类、系统盘数据。

3.根据权利要求1所述的一种基于数据特征分池的分布式数据存储方法，其特征在于，所述顺序特征优化策略包括以下操作中的一种或多种：调整物理磁盘空间管理的最小单元，调整内存缓存，添加网卡MTU，调整内存分配管理单元，调整各个buffer大小。

4.根据权利要求1所述的一种基于数据特征分池的分布式数据存储方法，其特征在于，还包括：数据监视步骤，在分布式存储监视器守护进程中扩展出针对数据特征分池的持久化记录，根据具体的顺序和随机特征扩展数据存放组的属性，将分池特性通过数据存放组创建下发给对应的对象存储设备。

5.根据权利要求1所述的一种基于数据特征分池的分布式数据存储方法，其特征在于，所述特征划分步骤中，还在命令行或者客户端创建Pool的时候，指定数据特征类型参数。

6.一种基于数据特征分池的分布式数据存储系统，其特征在于，包括：

特征划分模块，按照业务数据的特征预先规划故障域算法，将数据划分为不同的特征类型；

策略制订模块，针对不同的特征类型制订分布式存储数据优化策略；

策略加载模块，对象存储设备根据分池的数据特征类型加载与之对应的数据存储优化策略；

优化执行模块，对象存储设备按照数据存储优化策略定义的相关动作执行优化操作；其中，Monitor层扩展出针对数据特征分池的持久化记录，防止Monitor异常导致数据特征分池失效，Monitor需要根据具体的顺序和随机特征扩展PG的属性，将分池特性通过创建数据分布组下发给对应的OSD；根据业务数据的特征预先规划Crushmap，通过命令行或者客户端创建Pool的时候，指定数据特征类型参数；

Monitor收到Pool创建指令的时候，先进行Pool元数据的创建，之后进入创建PG层的相关操作，最后通知所属的OSD进行PG实例的创建；

OSD收到创建PG指令的时候，会根据PG携带的数据特征类型加载数据特征优化策略，并按照策略定义的相关动作执行相关优化动作。