[发明专利]一种小文件和大文件的存储及访问方法

说明书

技术领域

本发明涉及文件访问领域，特别涉及一种小文件和大文件的存储及访问方法。

背景技术

随着社会的发展，人们日常生活和工作中产生了大量的数据，这些数据以文本、文档、Exce前缀等小文件为主，但也包括部分大文件如视频文件、高清图片文件等。根据习惯来看，人们访问最多的通常是小文件和部分大文件。因此如何高效地存储这两类文件并使用户能快速访问这两类文件成为当前文件访问领域存在的难题。

当前的文件访问方式研究集中在海量小文件存储和快速访问领域，如淘宝的TFS能提供针对小文件的快速访问，却无法快速访问大文件，又比如HDFS能高效快速访问大文件，却把小文件当作大文件一样存储在数据节点中，这导致了针对小文件的访问速度较慢。实际操作中，用户通常经常访问多个小文件和少量大文件，因此如何将这部分经常访问的大文件与一般大文件区分开来并在确保高效访问小文件的前提下快速访问经常访问的大文件成为目前需要解决的技术问题。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种小文件和大文件的存储方法。

本发明的第二目的在于提供一种快速的小文件和大文件的访问方法。该访问方法保证既能对小文件的快速访问又能对使用频率较高的大文件实现快速访问。

本发明的第一目的通过下述技术方案实现：一种小文件和大文件的存储方法，步骤如下：

S1、用户通过用户设备创建新文件，根据第一阈值确定所要创建的新文件是大文件还是小文件，并设置文件名，在文件名上添加用于识别大文件和小文件的标识性前缀；

S2、用户设备将创建新文件请求指令发送给缓存服务器，缓存服务器收到用户设备发送的创建新文件请求指令后，识别所要创建的新文件的文件名标识性前缀，判断所要创建的新文件是大文件还是小文件；

若所要创建的新文件为小文件，则在缓存服务器中创建该文件并保存其元数据；

若所要创建的新文件为大文件，则缓存服务器将用户设备发送的创建新文件请求指令发送给管理服务器；

S3、管理服务器收到来自于缓存服务器的创建新文件请求指令后，管理服务器创建该大文件并将其进行分块，得到数据块，并且保存该大文件的元数据；

S4、管理服务器将创建的大文件划分的数据块发送给数据服务器进行保存，同时缓存服务器根据大文件请求访问次数确定大文件是否为常用大文件，若是，则从数据服务器端将该大文件下载并保存在缓存服务器中。

优选的，在所述步骤S2中，若所要创建的新文件为小文件时，则缓存服务器首先查询缓存服务器当前存储的小文件元数据，判断所要创建的新文件的文件名是否与缓存服务器中当前已有小文件的文件名重名；

若是，则缓存服务器发送“文件已存在”信息给用户设备，并且丢弃用户发送的创建新文件请求指令；

若否，在缓存服务器中创建该文件并保存其元数据。

优选的，在所述步骤S3中，若所要创建的新文件为大文件，管理服务器收到来自于缓存服务器的创建新文件请求指令后，判断所要创建的新文件的文件名是否与管理服务器中当前已有大文件的文件名重名；

若是，则管理服务器发送“文件已存在”信息给用户设备，并且丢弃用户发送的创建新文件请求指令；

若否，在管理服务器中创建该文件并保存其元数据。

优选的，所述第一阈值为1M，当文件的大小超过1M时，则将该文件判断为大文件，否则判断为小文件。

优选的，所述大文件和小文件的标识性前缀分别为L和S；即用户设备在创建的大文件的文件名前添加L，用户设备在创建的小文件的文件名前添加S。

优选的，所述缓存服务器包括存储区和缓存区；小文件及小文件元数据存储在缓存服务器的存储区，常用大文件以及常用大文件元数据保存在缓存服务器的缓存区。

本发明的第二目的通过下述技术方案实现：一种基于上述存储方法实现的小文件和大文件的访问方法，其特征在于，步骤如下：

Sa、用户在用户设备中输入文件名，通过用户设备提出访问文件请求，用户设备搜索日志确定用户输入的文件名对应的文件是大文件还是小文件，然后在用户访问请求指令中的文件名中添加大文件或小文件标识性前缀，用户设备发送用户访问请求指令给缓存服务器；

Sb、缓存服务器接收到用户设备发送的用户访问请求指令，根据用户访问请求指令中文件名的标识性前缀判断用户请求访问的是大文件还是小文件；