[发明专利]多层分布式非结构化数据存储方法、查询方法及装置

说明书

本发明提供一种多层分布式非结构化数据存储方法、查询方法及装置，该数据存储方法应用于多层分布式非结构化数据存储系统：该方法包括：获取待存储数据的存储位置信息，并确定存储位置信息对应的存储空间；在存储空间所属的基础辅存储库中记录存储位置信息的子索引数据；将待存储数据存入存储位置信息对应的存储空间；可见，多层分布式非结构化数据存储系统中，下层存储库用于存储数据，上层存储库存储有下层存储库所存储数据的索引数据；因此，即使数据文件数量达到一定级别后，存储性能非常稳定，并且便于后续查询。

技术领域

本发明涉及数据存储技术领域，尤其涉及一种多层分布式非结构化数据存储方法、查询方法及装置。

背景技术

保险公司在业务经营中，除了要保存保险业务相关的结构化数据，还需要保存承保、保全及理赔等一系列业务所生成的非结构化数据文件。

现有技术中，保险公司的非结构化数据文件(例如图像、音频、视频及其它格式的数据文件)通过通用内容管理系统进行存储管理，但通用内容管理系统采用主数据块模式(即将所有数据存储至集中数据库中)进行存储管理，当数据文件数量达到一定级别后，存储性能不稳定。

发明内容

本发明提供一种多层分布式非结构化数据存储方法、查询方法及装置，不仅存储性能非常稳定，还提高了数据存储效率及数据查询效率。

第一方面，本发明实施例提供一种多层分布式非结构化数据存储方法，所述方法应用于多层分布式非结构化数据存储系统，所述系统包括：多层存储库，其中，所述多层存储库划分为一层基础主存储库以及至少一层基础辅存储库，所述基础主存储库为顶层存储库，所述基础主存储库用于存储下一层基础辅存储库所存储数据的主索引数据，每个所述基础辅存储库用于存储本存储库所存储数据的存储位置信息和/或下一层基础辅存储库所存储数据的子索引数据；

所述方法包括：

获取待存储数据的存储位置信息，并确定所述存储位置信息对应的存储空间；

在所述存储空间所属的基础辅存储库中记录所述存储位置信息的子索引数据；

将所述待存储数据存入所述存储位置信息对应的存储空间；

其中，所述主索引数据对应的存储空间包含所述子索引数据对应的存储空间。

进一步地，所述方法，还包括：

获取各所述存储库的下一层存储库的数据变化信息，所述数据变化信息用于指示所述存储库的下一层存储库是否更新了所存储的数据；

在所述存储库的下一层存储库更新了所存储的数据时，更新所述存储库中的所述下一层存储库所存储数据的索引数据。

第二方面，本发明实施例提供一种多层分布式非结构化数据查询方法，所述方法应用于多层分布式非结构化数据存储系统，所述系统包括：多层存储库，其中，所述多层存储库划分为一层基础主存储库以及至少一层基础辅存储库，所述基础主存储库为顶层存储库，所述基础主存储库用于存储下一层基础辅存储库所存储数据的主索引数据，每个所述基础辅存储库用于存储本存储库所存储数据的存储位置信息和/或下一层基础辅存储库所存储数据的子索引数据；

所述方法包括：

接收查询请求消息；其中，所述查询请求消息中包括：待查询数据的查询关键词；

根据所述查询请求消息在所述基础主存储库中确定所述待查询数据的主索引数据；

根据所述主索引数据确定所述待查询数据的子索引数据；

根据所述待查询数据的子索引数据，确定所述待查询数据的存储位置信息，并读取所述待查询数据。

进一步地，所述方法还包括：