[发明专利]一种基于高密度微服务器实现多路并发存储的方法和装置

说明书

技术领域

本发明涉及计算机存储技术领域，特别涉及一种基于高密度微服务器实现多路并发存储的方法和装置。

背景技术

随着云计算、互联网等信息技术的发展，对数据存储的形式提出了新的要求，面对不同应用场景需要不同类型的计算机系统。例如面向高性能计算可能就需要海量存储系统，其特点是要求高带宽、高容量和高容错等；同时面向互联网的微服务器器也应运而生，微服务器一般采用ATOM、ARM或其他低端CPU作为处理单元，性能不高但具有高密度、低成本等特点，在对性能不要求的冷存储领域越来越受到广泛应用。如何将成本和性能都较低的微服务器应用到其他更多领域，现实性能大幅提升是一大技术难点。

发明内容

为了解决现有技术的问题，本发明提供了一种基于高密度微服务器实现多路并发存储的方法和装置，其通过将微服务器和交换机之间的以太网络聚合成一个高带宽的并行传输总线，把所有微服务器当作是一个存储介质，然后由管理服务器进行数据转发和校验计算，达到数据吞吐量翻番的目的。

本发明所采用的技术方案如下：

一种基于高密度微服务器实现多路并发存储的方法，包括以下步骤：

A、首先将多台微服务器的网络聚合成一组高速并行总线，利用聚合总线同时传输数据；

B、管理服务器将数据进行计算和校验处理，根据每个网络的目标地址将数据分别存储在不同的服务器上。

步骤A中，聚合总线里的每个网络通道都有一个目标地址，所述的目标地址是用于数据存储时的地址。

步骤B中，管理服务器提供一种存储校验算法，即每一笔被传输的数据都通过“异或”算法计算出校验信息位，数据和校验信息位带状分布存储在不同的通道下。

步骤B中，管理服务器中还包含一个文件目录系统，文件目录系统用于存放数据的目录、结构和存储信息。

方法还包括步骤C：当聚合总线里面某个网络通道出现故障时，管理服务器立刻将故障通道剔除出聚合总线，并重新计算生成新的聚合总线、目标地址等，由其他正常的数据转由其他的传输路径来重传。

方法还包括步骤D：当聚合总线里面又有新的通道加入时，管理服务器将尝试对新加入的通道初始化，然后重新生成新的聚合总线，然后重新计算数据的传输和校验规则，最后由新的通道继续传输。

一种基于高密度微服务器实现多路并发存储的装置，由以下部分构成，1）、若干台微服务器；2）、一台互连交换机；3、一台管理服务器；4、一台柜顶交换机，其中：

所述的微服务器是组成多路并发存储系统的主体，每台微服务器都有自己的CPU、内存、硬盘和网络接口，通过将所有微服务器的以太网网络聚合成一组并行总线，同时进行数据传输；

所述的互连的交换机用于微服务器的互连，形成聚合以太网网络；

所述的管理服务器负责存储通道的配置以及数据转发实现，还负责数据目录文件的建立和存储校验算法；

所述的柜顶交换机负责与外部的业务系统通信，管理服务器通过10Gb或更高速率的接口连接到柜顶交换机。

互连交换机的下行通过1Gb带宽端口与微服务器互连，上行通过10Gb或更高速率的接口与管理服务器相连。

管理服务器首先可动态配置网络聚合微服务器的数量及多路并发存储系统的规模；其次通过互连交换机的下行1Gb存储通道，将数据块同时并发的存储到不同的微服务器上。

本发明提供的技术方案带来的有益效果是：

1、利用微服务器密度高的特点，首先将多台微服务器的网络聚合成一组高速并行总线，利用聚合总线同时传输数据。当进行读或写操作时，同时对这些服务器进行操作，从而可以达到数据同时多路并发传输的目的，提高存储性能；

2、若干台微服务器是组成多路并发存储系统的主体，每台微服务器都有自己的CPU、内存、硬盘和网络接口。本发明中通过将所有微服务器的以太网网络聚合成一组并行总线，同时进行数据传输；

3、互连交换机用于微服务器的互连，形成聚合以太网网络。为了保证数据带宽的无阻塞性，互连交换机的下行通过1Gb带宽端口与微服务器互连，上行通过10Gb或更高速率的接口与管理服务器相连；

4、管理服务器首先可动态配置网络聚合微服务器的数量及多路并发存储系统的规模；其次通过互连交换机的下行1Gb存储通道，将数据块同时并发的存储到不同的微服务器上，从而实现将所有微服务器组成一个性能优越、成本低廉的存储服务器群；