[发明专利]文件存储方法及系统

说明书

本发明的实施例公开一种文件存储方法及系统。该方法包括：文件存储服务节点接收目标文件，并根据目标文件的文件名确定目标文件是否已存储；若文件存储服务节点确定目标文件是未存储的文件，则将目标文件发送至数据节点；数据节点为目标文件生成文件编号；数据节点将目标文件的文件名和文件编号存储至本地第一索引库，将文件编号和文件存储至本地数据库；数据节点向所述文件存储服务节点发送存储成功信息；文件存储服务节点记录目标文件的文件名，并向索引节点发送目标文件的文件名及数据节点的编号；索引节点将目标文件的文件名及数据节点的编号存储至本地第二索引库。该方法可实现海量文件高性能存储，且易扩容，运维成本低，灵活性高。

技术领域

本发明涉及计算机技术领域，尤其涉及一种文件存储方法及系统。

背景技术

互联网时代文件、视频、图片的数量以爆炸式的速度增长，对于如何存储数量骤增的文件是亟需解决的问题。目前，常用开源的分布式文件存储方案对文件进行存储，比如Min i o、Ceph等，但这些开源分布式文件存储方案均存在不易扩容，运维成本高，灵活性低的问题。

发明内容

有鉴于此，本发明实施例提供一种文件存储方法及系统，可实现海量文件高性能存储，且易扩容，运维成本低，灵活性高。

在第一方面，本发明实施例提供一种文件存储方法，该方法应用于文件存储系统，所述文件存储系统包括：文件存储服务节点、数据节点、索引节点，所述方法包括：

所述文件存储服务节点接收目标文件，并根据所述目标文件的文件名确定所述目标文件是否已存储；

若所述文件存储服务节点确定所述目标文件是未存储的文件，则将所述目标文件发送至所述数据节点；

所述数据节点为所述目标文件生成文件编号；

所述数据节点将所述目标文件的文件名和所述文件编号存储至本地第一索引库，将所述文件编号和所述文件存储至本地数据库；

所述数据节点向所述文件存储服务节点发送存储成功信息，所述存储成功信息中包括：所述目标文件的文件名及所述数据节点的编号；

所述文件存储服务节点记录目标文件的文件名，并向所述索引节点发送所述目标文件的文件名及所述数据节点的编号；

所述索引节点将所述目标文件的文件名及所述数据节点的编号存储至本地第二索引库。

优选的，所述数据节点为所述目标文件生成文件编号，具体包括：所述数据节点通过自增数字的方式为所述目标文件生成文件编号。

优选的，所述数据节点将所述目标文件的文件名和所述文件编号存储至本地第一索引库，将所述文件编号和所述文件存储至本地数据库，具体包括：所述数据节点将所述目标文件的文件名和所述文件编号以key-value方式存储至本地第一索引Leveldb库，将所述文件编号和所述目标文件以key-value方式存储至本地数据Leveldb库。

优选的，所述索引节点将所述目标文件的文件名及所述数据节点的编号存储至本地第二索引库，具体包括：所述索引节点将所述目标文件的文件名及所述数据节点的编号以key-value方式存储至本地第二索引Leveldb库。

优选的，所述索引节点将所述目标文件的文件名及所述数据节点的编号以key-value方式存储至本地第二索引Leveldb库，具体包括：所述索引节点确定所述目标文件的文件名及所述数据节点的编号对应的key-value，根据所述第二索引Leveldb库的数量对key做哈希运算取模，将所述key-value分散存储至对应数量的第二索引Leveldb库。