[发明专利]对象存储系统中的业务流控制方法、控制器和系统

说明书

技术领域

本发明涉及存储领域，尤其是涉及一种对象存储系统中的业务流控制方法、控制器及系统。

背景技术

随着互联网、Web2.0的快速发展，网络(Web)应用创建出数百亿的小文件。同时人们上传越来越多的照片、视频和音乐，发送数千亿封电子邮件，产生了越来越多的数据。据互联网数据中心(IDC，Internet Data Center)统计，未来在10年间数据量将增长44倍，到2020年全球数据将增加到35ZB(Zettabyte)，其中80％是非结构化数据，且大部分是非活跃数据。如此多的海量数据，面临着如何存储的问题。

面对如此庞大的数据量，仅具备PB(Petabyte)级扩展能力的块存储技术和文件存储技术显得有些无能为力。对象存储系统(Object-Based Storage System)同时具有块存储技术的直接访问和文件存储技术的数据共享等优势，提供了高可靠性、跨平台性以及安全的数据共享的存储系统。

对象存储系统中一般包括有控制器101、存储设备客户端103和存储设备集群104，如附图1所示。控制器101还可以与外部客户端相连，外部客户端可以与其他设备(如域名服务器)相连(外部客户端与域名服务器在图1中未示出)。存储设备客户端103与存储设备集群104中的多个存储设备相连，存储设备可以是IP(internet protocol)硬盘，也可以是其他的智能硬盘，例如固态硬盘(Solid State Drive，SSD)。

在对象存储系统中，使用最广泛的是基于容器--桶(bucket)和对象(object)的两层业务模型。容器可以理解成一个特殊的顶层目录或者一个全局唯一的域名。对象是对象存储的基本单元。每个对象是数据和数据属性集的综合体。数据属性可以根据应用的需求进行设置，包括数据分布、服务质量等。对象维护自己的属性，从而简化了存储系统的管理任务，增加了灵活性。对象的大小可以不同，可以包含整个数据结构，如文件、数据库表项、目录等。

如果是进行容器操作(或称之为桶操作)，用户通过客户端向控制器发送容器IO(input/output)请求；当进行对象操作时，客户端向控制器发送对象IO请求。容器IO请求与对象IO请求相比较而言，容器IO请求一般比较小，一般不超过1兆(M)。对象IO请求一般比较大，大的可能有几M，也有可能小于1M。在本发明实施例中，可以不考虑IO请求是容器IO请求还是对象IO请求，只根据IO请求的大小来进行处理。因此在下面的描述中，不再特别提及IO请求是容器IO请求还是对象IO请求，而简单称为对象IO请求。

对象IO请求可以是写对象IO请求，也可以是读对象IO请求，在本实施例中，除开特别说明外，所述的流程既适用于写对象IO请求，也适用于读对象IO请求。

当用户需要对数据进行读写时，通过外部客户端发送对象IO请求给控制器101，控制器101再将对象IO请求发送给存储设备客户端103，存储设备客户端103通过一定的算法将对象IO请求发送给对应的存储设备，由存储设备对对象IO请求进行处理。每个存储设备能处理和缓存的对象IO请求的数量是有限的，在业务高峰期，容易出现对象IO请求的下发速度超过每个存储设备的处理和缓存能力的情况，对于无法处理的对象IO请求，存储设备还需要反馈过载响应，反馈过载响应所占用的存储设备的资源并不少于处理一个对象IO请求所需要的资源，这样会导致更多的对象IO请求无法处理。

另外，大对象IO请求一般会拆分为多个小对象IO请求，只要其中一个小对象IO请求处理失败，则大对象IO请求处理失败；小对象IO请求往往需要等待较长的时间，并且在等待较长时间后出现处理失败的机率增加。

处理失败的对象IO请求和无法及时处理的对象IO请求，会被不断尝试重新发送给存储设备处理，从而形成恶性循环，导致整个对象存储系统处理对象IO请求的性能和成功率下降。

发明内容

本发明实施例提出对象存储系统中的业务流控制方法、控制器和系统，以解决现有技术中对象存储系统在业务高峰期处理对象IO请求的性能和成功率低的问题。