[发明专利]文件读取方法及装置

说明书

本公开涉及一种文件读取方法及装置，所述方法包括：接收文件读取请求，文件读取请求中包括要读取的目标文件的标识；根据目标文件的标识，在本地存储的第一索引信息包括的子文件标识与合并文件标识的映射关系中，查找与目标文件的标识匹配的目标子文件标识及对应的目标合并文件标识；根据目标合并文件标识，在本地存储的第二索引信息包括合并文件标识与HDFS的存储块标识的映射关系中，查找与目标合并文件标识对应的目标存储块标识；按照预设获取条件，确定要获取的与目标文件关联的子文件数量，向HDFS发送文件获取请求，接收并缓存所述HDFS返回的目标文件以及关联文件。本公开可以减少与HDFS的交互，从而降低了HDFS的资源使用率，提高HDFS的处理的效率。

技术领域

本公开涉及数据存取技术领域，尤其涉及一种文件读取方法及装置。

背景技术

随着大数据时代的到来，在电子商务、社交网站、科研计算等领域中，每天都会有大量的数据产生，传统的单机系统无法解决存储和数据分析等问题，为了提高大量的数据的存储效率，当前通常采用分布式存储体系对数据进行分布式存储。

在当前的分布式存储体系中，一般采用Hadoop作为存储技术，所述Hadoop是一种开源的分布式系统基础架构。Hadoop分布式文件系统(Hadoop Distributed File System，HDFS)中存储的每个文件需要与一个块(Block)对应，HDFS中的主节点(NameNode)为每个文件和其对应的块建立映射关系。。

由此，HDFS比较适合存储数据量较大的文件(例如数据量大于64M或128MB的文件)，可以充分利用HDFS的存储资源。若HDFS存储大量数据量小于64M(如图片、文档等仅有10KB～10MB的文件)的文件，由于这些文件远小于HDFS中block块大小，且存储大量数据量较小的文件将占据更多的存储块，因此会降低HDFS的存储资源利用率。而HDFS中存储的文件数量越多，需要建立的映射关系就越多，占用的主节点的内存越多，因此这会极大的占用主节点的内存，导致HDFS存取数据的效率大大降低。

发明内容

有鉴于此，根据本公开的一个方面，提出了一种文件读取方法，所述方法包括：

接收文件读取请求，所述文件读取请求中包括要读取的目标文件的标识；

根据所述目标文件的标识，在本地存储的第一索引信息包括的子文件标识与合并文件标识的映射关系中，查找与所述目标文件的标识匹配的目标子文件标识及对应的目标合并文件标识；其中，合并文件存储于Hadoop分布式文件系统HDFS、且所述合并文件中的子文件有关联关系；

根据所述目标合并文件标识，在本地存储的第二索引信息包括合并文件标识与所述HDFS的存储块标识的映射关系中，查找与所述目标合并文件标识对应的目标存储块标识；

按照预设获取条件，确定要获取的与所述目标文件关联的子文件数量，向所述HDFS发送文件获取请求，所述文件获取请求中包含所述目标存储块标识、目标子文件标识、目标合并文件标识、所述子文件数量，以使所述HDFS在与所述目标存储块标识对应的目标存储块中查找与所述目标合并文件标识对应的目标合并文件，并在所述目标合并文件中查找所述目标文件及数量为所述子文件数量的关联文件；

接收并缓存所述HDFS返回的目标文件以及关联文件。

在一种可能的实施方式中，所述方法还包括：

获取多个文件的历史访问日志，所述历史访问日志中包括多个文件的被访问时间及被访问次数；

针对所述多个文件中的每一文件，根据所述多个文件的被访问时间及被访问次数，在所述多个文件中除该文件之外的其他文件中，确定在访问该文件之后与该文件具有访问关联的至少一文件，并确定该文件的多个第一关联关系，其中，第一关联关系用于表示该文件与至少一文件中任一文件的访问关联；