[发明专利]一种基于UDP分布式小文件存储系统及其数据处理方法

说明书

技术领域

本发明涉及计算机信息处理技术领域，特别是涉及一种基于UDP分布式小文件存储系统及其数据处理方法。

背景技术

在图像索引系统中，需要一个庞大的图片存储文件系统。用此文件系统来对图像索引系统中处理的图片文件存储，并能高速的实时性对图片文件进行读写操作。由于图片的特殊性，并不需要对文件进行修改操作，只需要对文件系统进行添加与删除操作即可。目前的分布式文件存储大都是采用TCP的方式进行网络访问。但是由于用户数量的不断攀升，即使对访问量大的应用实现了可扩展、高可靠的集群部署，仍然有访问慢的问题。

为了提高并发速度与实时性问题，会有很多人希望能在UDP协议上进行大型应用程序的构建。然而UDP协议本身存在着不通信不可靠的缺点，于是对于基于UDP进行可靠通信的协议修改工作。目前在网络上有许多人正做着这一工作，UDT、RakNet、eNet等都是构建在UDP之后网络可靠通信开发库。然后这些库开发时都针对了一些特殊应用来进行设计的，不具备通用性。比如RakNet是为游戏应用而设计，对于实时性等游戏相关的网络需求有很好的支持，对于大批量数据传输却有点力所不及。而UDT基于一种基于带宽速率控制的拥塞控制算法进行设计，主要用在小数量的bulk源共享富裕带宽的情况下，最典型的例子就是建立在光纤广域网上的网格计算。

发明内容

本发明的目的在于克服现有技术之不足，提供一种基于UDP分布式小文件存储系统及其数据处理方法，利用对外服务器来接收用户的读写要求，封装对内部存储操作，利用全局命名服务器来对新增文件进行内部唯一命名，利用信息索引库服务器来登记每个内部文件名所对应的存储器，利用任务管理服务器来执行对存储器的读写管理操作，利用存储服务器来存放文件内容，利用UDP改装协议，来做为内部服务器的通信协议，以提高整个平台的并发能力与高速I/O能力，解决了大容量存储和负载均衡的问题，特别适合以文件为载体的在线服务。

本发明解决其技术问题所采用的技术方案是：一种基于UDP分布式小文件存储系统，包括：

一个或多个第一服务器，该第一服务器内包含有一个对外服务器和一个用来管理对外服务器的运行与停止、以及定时对对外服务器进行检查的服务监控服务器；该对外服务器，对外负责向其它系统及用户提供管理控制其文件和目录的接口，对内负责向其它服务器传送用户的命令，并检查命令执行状态，最后将命令执行结果反馈给用户；

一个第二服务器，该第二服务器内包含有一个全局命名服务器和一个用来管理全局命名服务器的运行与停止、以及定时对全局命名服务器进行检查的服务监控服务器；该全局命名服务器设在客户应用和文件系统之间的一个逻辑层中，该全局命名服务器为每个新添加的文件分配一个唯一的内部名称；

一个第三服务器，该第三服务器内包含有一个信息索引库服务器和一个用来管理信息索引库服务器的运行与停止、以及定时对信息索引库服务器进行检查的服务监控服务器；该信息索引库服务器与全局命名服务器一起组成位于客户应用和文件系统之间一个逻辑层，该信息索引库服务器采用NoSQL数据库，用来保存全局名称与文件存储的对应Kye-Value数据、全局名称与用户路径的对应数据；

一个第四服务器，该第四服务器内包含有一个任务管理服务器和一个用来管理任务管理服务器的运行与停止、以及定时对任务管理服务器进行检查的服务监控服务器；该任务管理服务器设为系统的控制中心，负责识别并解决任何容量问题，运行存储服务器负载平衡，优化存储服务器的使用，负责与对外服务器合作进行增加/删除文件；

一个或多个第五服务器，该第五服务器内包含有一个存储服务器和一个用来管理存储服务器的运行与停止、以及定时对存储服务器进行检查的服务监控服务器；该存储服务器按照对外服务器与任务管理服务器的指令进行文件写入与读出；

该第一服务器、第二服务器、第三服务器、第四服务器和第五服务器的相互之间是通过用户数据包协议来实现数据的相互传递和处理。

所述的用户数据包协议为UDP改装协议，该UDP改装协议具有如下协议格式：

2位head：表示消息开始；

6位版本号：表示该UDP改装协议的版本；

8位命令号：表示此消息包含的命令；

16位生存时间：表示此消息所保留的时间，如果超时，此消息会被丢弃，会由发送端重发一次此消息；

32位序列号：表示此消息的编号，由系统随机生成，用来确认消息的成功发送与接收对应；

16位子命令与16位序列号：由应用程序自己指定，用来进一步明确消息包含内容；