[发明专利]一种轻量级非主从分布式路由文件查询存储系统及方法

说明书

本发明涉及一种轻量级非主从分布式路由文件查询存储系统及方法。本发明的系统包括若干个文件存储服务器和文件存储系统软件，所述的文件存储服务器之间为平等的节点、没有主从区分；所述的文件存储系统软件实现哈希码生成方法、地址映射目录、主机名字映射目录、文件存储结构、数据同步机制和数据上传功能。本发明的方法包括文件上传、文件和数据删除、文件读取、数据校验及同步。本发明解决了分布式文件存储查找方法的文件目录服务器负载过大等问题；可以用于轻量级非主从分布式路由文件查询存储。

技术领域

本发明涉及软件应用技术领域，特别涉及一种轻量级非主从分布式路由文件查询存储系统及方法。

背景技术

目前的文件存储系统都是通过集中的目录服务器来查找分布式文件存储的位置；当用户对文件进行请求，首先在目录服务器查询文件所在的服务器，然后再向文件所在的服务器查询文件。

按照现有的分布式文件存储位置查找方法，会导致获取文件时文件目录服务器负载过大；在高并发时甚至可能会导致服务器崩溃。此外，软件多数属于重量级，部署复杂；在时间上延时也较大。

发明内容

本发明解决的技术问题在于提供一种轻量级非主从分布式路由文件查询存储系统及方法；解决现有分布式文件存储查找方法的文件目录服务器负载过大等问题。

本发明解决上述技术问题的技术方案是：

所述系统包括若干个文件存储服务器和文件存储系统软件，所述的文件存储服务器之间为平等的节点、没有主从区分；所述的文件存储系统软件实现哈希码生成方法、地址映射目录、主机名字映射目录、文件存储结构、数据同步机制和数据上传功能。

所述的文件存储系统软件包括文件上传模块、文件删除模块、文件读取模块和守护进程模块；所述文件上传模块负责文件的上传，文件删除模块负责文件、数据的删除，文件读取模块负责对服务器的文件内容进行读取并返回，守护进程模块对用户数据进行持续校验和同步。

所述的方法包括文件上传、文件和数据删除、文件读取、数据校验及同步；

所述的文件上传流程是：(1)、用户向任意一台服务器提交文件；(2)、服务器根据设定的哈希内容获取哈希码，并返回哈希码；(3)、启动数据同步校验；(4)、根据校验的结果进行同步数据；

所述的文件删除流程是：(1)、用户向任意一台服务器提交哈希码，服务器查找文件是否在本地，如果没有，则标记删除地址映射目录中本文件的信息；(2)、启动数据同步校验，使各个服务器的地址映射目录均标记本信息；

所述的文件读取流程为：(1)、向任意一台服务器请求读取文件；(2)、服务器查询文件是否在本地，如果在本地则直接返回文件的信息；如果不在本地则根据映射的信息，将请求跳转到相应的服务器；(3)、跳转到的服务器回复文件的信息；

所述的数据校验及同步流程是：(1)、定时启动数据同步的校验，校验地址映射目录和主机名字映射目录；(2)、如果发现地址映射目录或者主机名字映射目录存在数据不一致的情况，则进入下一步；(3)、启动数据同步流程，同步数据。

所述方法的哈希码生成方法是获取文件的字节内容并放入数组，获取时间戳并放入同一数组；对数组进行哈希，生成唯一的哈希码作为文件的名称。

所述方法的地址映射目录实现快速查找文件，是文件名称与实际物理存储的映射表；映射表完整的驻留在内存中，并在更新表的时候写入硬盘；

地址映射目录在每个节点主机都存储一份；每个节点维护地址映射目录，实时相互同步更新地址映射目录表的内容；当新节点加入系统时，每个节点自动同步地址映射目录表。

所述方法的主机名字映射目录由节点自动维护，实现主机名字与IP的映射；当新节点加入系统，每个节点自动更新主机名字映射目录表，并广播自己的主机和IP信息。