[发明专利]一种基于分布式存储纠删码的扇形读的实现方法

说明书

本发明公开了一种基于分布式存储纠删码的扇形读的实现方法，包含以下步骤：客户端向数据保护策略为EC的INFINITY存储池发起读请求，INFINITY通过CRUSHMAP核心机制确定要读的PG和OSD；OSDC收到消息后，向主OSD发起消息获取对象锁，等主OSD回复后，OSDC向存储K份数据的OSD发送消息读取数据，读取数据成功后，OSDC再向主OSD发送消息来解锁；主OSD释放对象锁后，回复给OSDC消息，OSDC对于这个消息不做任何处理。能提高INFINITY EC场景下读性能，同时保留原有EC读逻辑。通过扇形读能显著提高INFINITY EC场景下的读带宽并节省CPU、内存等存储资源。

技术领域

本发明涉及分布式存储性能领域，具体为一种基于分布式存储纠删码的扇形读的实现方法。

背景技术

德拓INFINITY存储提供软件定义的、统一的存储解决方案，是一个可大规模扩展、高性能并且无单点故障的分布式存储系统。INFINITY存储系统在同一个底层架构上提供了块、文件和对象存储，使得用户可以自主选择他们需要的存储方式。对象是INFINITY存储系统的基础，也就是它的基本存储单元。任何格式的数据，不管是块、对象还是文件，都以对象的形式保存在INFINITY集群的归置组(Placement Group，PG)中。使用对象存储，我们可以将平台和硬件独立开来。在INFINITY中，由于对象没有物理存储路径绑定，使得对象非常灵活并且与位置无关。这也使得INFINITY的规模能够近线性地从PB级别扩展到EB级别。

纠删码(Erasure Code，EC)是一种数据冗余存储的方法，它的原理和RAID类似，但是比RAID方式更灵活，它将写入的数据分成N份原始数据，通过这N份原始数据计算出M份校验数据，把N+M份数据分别保存在不同的设备或者节点中，并通过N+M份中的任意N份数据块还原出所有数据。

INFINITY对象存储设备(Object Storage Device，OSD)处理INFNITY客户端的数据复制。当设备之间多次复制数据时，INFINITY OSD之间轻松出现网络负载。客户端和INFINITY存储集群之间的网络负载。这可以引入延迟并造成性能问题。恢复和重新平衡也可以带来公共网络上的显著延迟和带宽争用的问题。

发明内容

本发明的目的在于提供一种基于分布式存储纠删码的扇形读的实现方法，提供一种更优的读IO路径设计，不但IO路径更短，也节省了网络带宽以及原始IO路径上的数据处理、拷贝等所需的CPU、内存等存储资源。

一种基于分布式存储纠删码的扇形读的实现方法从OSDC(OSD Client)直接向成员OSD发起读请求，OSDC接收到成员OSD的数据之后直接整合数据。而无需通过INFINITY纠删码原始的读IO路径(OSDC向主OSD发起读请求，主OSD再向其他成员OSD发起读请求，主OSD收到成员OSD的数据之后再返回给OSDC)。

为实现上述目的，本发明提供如下技术方案：一种基于分布式存储纠删码的扇形读的实现方法包含以下步骤：

步骤一、客户端向数据保护策略为EC的INFINITY存储池发起读请求，INFINITY分布式存储系统通过CRUSHMAP等核心机制确定要读的PG和OSD；

步骤二、通过OSDC向PG的主OSD发起INFINITY_MSG_OSD_OBJLOCK消息，主OSD获取此消息后，主要做各种参数检查、扇形读OP的条件检查以及获取对象锁，条件检查通过并且获取对象锁成功后，主OSD回复给OSDC INFINITY_MSG_OSD_OBJLOCK_REPLY消息；

步骤三、OSDC收到INFINITY_MSG_OSD_OBJLOCK_REPLY消息，异常检查通过后，直接向主OSD和成员OSD发送MSG_OSD_EC_READ消息读取数据，正常情况下，这里只需要向存储K份数据的OSD发送读请求，不会向存储M份纠删码的OSD发送读请求，成员OSD读取数据完成后，返回给OSDC MSG_OSD_EC_READ_REPLY消息；