[发明专利]存储服务器系统及数据信息的存储方法

说明书

技术领域

本申请涉及元数据存储技术领域，更具体地涉及一种存储服务器系统及数据信息的存储方法。

背景技术

现有的绝大部分分布式文件系统或并行文件系统中，即使是目前影响力最大的分布式文件系统或并行文件系统（例如目前流行的Hadoop、Google公司的GooleFS、Sun公司的Lustre、Clemson大学和NASA联合开发的PVFS、IBM公司的GFS等）的元数据服务器均是集中式，即由一主一备或一主两备，虽然元数据服务器为多台机器，但真正提供元数据访问的服务器往往只有一台。

现有的绝大部分分布式文件系统或并行文件系统，为了保证元数据的一致性，将所有的写操作控制在一台服务器内，虽然这样操作，可以有效的仲裁并控制多台客户端对同一元数据进行修改或竞争，能够自始至终保障了元数据的一致性。但是这样一来又导致了单点故障，为了解决单点故障必须加入备机，但是这样一来又引入了复杂地热切技术，需要保障系统主元数据发生故障时，系统可以无缝切换到备机。

集中式元数据服务器，虽然解决了元数据一致性的问题，但始终引入另外一个严重问题，元数据服务器无法进行扩展。集群的吞吐量始终受限制于一台服务器的服务能力，可能受制于这台服务器的内存，内存无法存储缓存足够的元数据；或可能受制于网络，始终不能让QPS（QueryPerSecond，每秒查询率）超过4万或带宽不能超过网卡；或受限于CPU的计算能力。即使像Hadoop一样，将每个元数据控制在64Byte以内，也仅仅是让内存能够缓存更多的元数据而已，尽量减少IO，提高响应速度。以目前Hadoop为例，当集群的规模开始超过3000台时，namenode的压力就开始凸显出来，当集群规模超过10000台时namenode必须控制应用，或者修改客户端对一些可以避免的namenode访问就避免，或者做限流，对于大任务将其拆分为小任务，尽量让出namenode的请求。

综上所述，可知现有技术中存在元数据服务器无法扩展导致元数据服务器性能下降的问题，因此有必要提出改进的技术手段解决上述问题。

发明内容

本申请的主要目的在于提供一种存储服务器系统及数据信息的存储方法，以解决现有技术中存在的元数据服务器无法扩展导致元数据服务器性能下降的问题。

为解决上述技术问题，根据本申请的一个方面，提供了一种存储服务器系统，用于存储元数据对应的数据信息，所述系统包括：多个存储服务器组，每个所述存储服务器组包括多个存储服务器；所述存储服务器用于对接收到的待存储的数据信息进行固化存储处理，生成数据信息的对象标识信息并发送至客户端，并将存储后的数据信息同步至本组其他的存储服务器。

其中，所述对象标识信息中包括以下信息之一或其组合：存储服务器组的组标识信息、存储服务器的主机信息、存储服务器本地相对路径信息、校验信息、数据大小信息。

其中，所述系统还包括：多个存储服务控制器；所述存储服务器还用于将其本地存储状态信息分别通知每个存储服务控制器。

其中，所述存储服务控制器还用于通知存储服务器其所在组中其他存储服务器的信息；所述存储服务器还用于将本地数据信息同步至本组其他的存储服务器。

其中，所述存储服务控制器还用于接收客户端发送的上传数据请求信息，根据存储服务器的存储状态信息确定存储上传数据的存储服务器，并将确定的存储服务器的相关信息通知所述客户端。

其中，所述系统还包括：客户端，用于根据数据信息的对象标识信息在元数据服务器建立元数据；其中，所述元数据的格式包括文件元数据格式和文件夹元数据格式，所述文件元数据格式包括以下字段：版本号、数据、块列表、安全结构、扩展属性；所述文件夹元数据格式包括以下字段：版本号、数据、文件列表、安全结构、扩展属性。

其中，所述客户端还用于通过元数据服务器获取数据信息的对象标识信息，根据所述对象标识信息确定存储数据的存储服务器，并向确定的存储服务器发送访问请求信息以获得访问的数据信息。

其中，所述客户端在所述确定的存储服务器处不能够获得数据信息的情况下，根据存储服务器组的组标识信息遍历该组内其他的存储服务器，直到获得访问的数据信息。

根据本申请的另一方面，还提供了一种数据信息的存储方法，用于存储元数据对应的数据信息，所述方法包括：预先设置多个存储服务器组，每个所述存储服务器组包括多个存储服务器；所述存储服务器接收到待存储的数据信息后，对所述数据信息进行固化存储处理，生成数据信息的对象标识信息并发送至客户端，并将存储后的数据信息同步至本组其他的存储服务器。