[发明专利]海量数据存储环境下提升I/O吞吐率的方法及系统

摘要

本发明涉及海量数据存储领域，提供一种海量数据存储环境下提升I/O吞吐率的方法及系统，以解决数据中心的I/O服务无法得到更好利用的问题，该系统包括数据中心、业务服务器、访问代理服务端、分类模块、消息队列构建模块。本发明提出的技术方案通过构建消息队列并通过消息队列将同类的操作进行合并以及组织成批量操作，大大减少了远程通信的次数和频度，从而显著提高了I/O吞吐率，解决了带宽和业务平台通信库的读写损耗过高导致无法更好地利用数据中心I/O服务的问题。

主权项

1.一种海量数据存储环境下提升I/O吞吐率的方法，其特征在于包括步骤：A、对数据中心的键/值对存储服务端的操作进行分类得到不同的操作类型；B、分别为各个操作类型构建消息队列；C、当业务服务器的多线程端向访问代理服务端发送I/O操作请求时，访问代理服务端接收业务服务器的多线程端发送的I/O操作请求并将I/O操作请求按照不同的操作类型分发到对应的消息队列；D、消息队列接收访问代理服务端发送的I/O操作请求，对进入各消息队列的操作请求进行合并和/或组织成批量操作，再提交到数据中心的键/值对存储服务端，并将I/O操作结果返回给访问代理服务端；E、访问代理服务端接收消息队列发送的I/O操作结果并将I/O操作结果返回给业务服务器的多线程端；所述步骤A中的操作类型包括：根据键名检索键值、提供键名和键值保存键/值对、根据键名删除键/值对、根据键名判断键/值对是否存在、根据键名让对应的键值依次递增或递减、根据键名检索相应的键值并存储新的键值、对列表数据结构的基本操作、对集合数据结构的基本操作；所述对列表数据结构的基本操作包括数据进栈和数据出栈；所述对集合数据结构的基本操作包括求数据交集、求数据并集和求数据差集。