[发明专利]海量文件管理方法、装置、计算机设备和可读存储介质

说明书

本申请提出一种海量文件的管理方法、装置、计算机设备和可读存储介质，其中方法包括：判断待上传的文件的类型，根据所述类型提取所述待上传的文件的特征信息；将待上传的文件发送至FastDFS进行存储,获得FastDFS返回的FileID；将所述特征信息与所述FileID发送至ElasticSearch进行保存；当接收到用户的搜索指令时，根据用户输入的搜索条件在ElasticSearch中进行搜索，获得符合所述搜索条件的目标文件FileID；根据所述目标文件FileID在FastDFS中进行查询，获得相应的目标文件。本申请的海量文件的管理方法将文件的特征信息和文件存储信息另外进行储存，在搜索文件时，根据用户的搜索条件获取文件的存储信息，从而实现对海量文件尤其是半结构化和非结构化格式文件的快速搜索。

技术领域

本申请涉及数据处理的技术领域，具体涉及到一种海量文件管理方法、装置、计算机设备和可读存储介质。

背景技术

互联网技术发展迅猛，产生的信息呈爆炸式增长，传统的文件系统难以满足海量文件对于动态扩展、高效访问的需求。尤其是对于半结构化数据或非结构化数据而言，此类数据的占用空间通常比结构化数据大，对存储系统的要求更高，此外，在一些应用场景中需要从灵活多变的多个维度快速对半结构化数据或非结构化数据进行搜索，这对搜索引擎也提出了要求。

发明内容

本申请的主要目的为了提供一种海量文件的管理方法、装置、计算机设备和可读存储介质，旨在解决如何实现海量半结构化或非结构化数据快速搜索的问题。

为了实现上述发明目的，本申请提出一种海量文件的管理方法，包括：

判断待上传的文件的类型，根据所述类型提取所述待上传的文件的特征信息；

将待上传的文件发送至FastDFS进行存储,获得FastDFS返回的FileID；

将所述特征信息与所述FileID发送至ElasticSearch进行保存；

当接收到用户的搜索指令时，根据用户输入的搜索条件在ElasticSearch中进行搜索，获得符合所述搜索条件的目标文件FileID；

根据所述目标文件FileID在FastDFS中进行查询，获得相应的目标文件。

进一步地，所述判断待上传的文件的类型，根据所述类型提取所述待上传的文件的特征信息的步骤包括：

判断待上传的文件的类型；

当所述类型为文本文件时，提取所述待上传的文件名称、文件格式和文本内容。

进一步地，所述判断待上传的文件的类型的步骤之后还包括：

当所述类型为图片文件时，提取所述待上传的文件名称，文件格式，颜色属性值和图像纹理。

进一步地，所述搜索条件为基于上传图片进行相似图片搜索，所述根据用户输入的搜索条件在ElasticSearch中进行搜索，获得符合所述搜索条件的目标文件FileID的步骤包括：

提取所述上传图片的颜色属性值和图像纹理；

计算所述上传图片与已存储图片的图像纹理的汉明距离，获得所述汉明距离符合预设阈值的目标文件FileID；

将所述目标文件FileID根据所述汉明距离进行排序，对于所述汉明距离相同的目标文件FileID，根据所述颜色属性值进行再次排序。

进一步地，所述根据用户输入的搜索条件在ElasticSearch中进行搜索，获得符合所述搜索条件的目标文件FileID的步骤之后还包括：

记录用户输入的搜索条件，将搜索次数大于预设次数的搜索条件对应的特征信息记录为关联特征信息。