[发明专利]一种基于非关系型数据库的存储方法、装置以及设备

说明书

本发明公开了一种基于非关系型数据库的存储方法，所述方法包括：将文件进行分片处理；调用相关指令获取文件的分片情况；根据所述文件的分片情况，将分片处理后的所述文件的各数据段分别存储到对应的服务器中。通过对用户提交的文件进行分片处理，并把文件的各数据段存储到不同的服务器中，每个服务器管理其所存储的数据段的子集映射，通过mongos路由管理各数据段，协调各服务器进行数据存储，可以较好地满足海量数据存储的需求。本发明还公开了一种基于非关系型数据库的存储装置、设备以及计算机可读存储介质，均具有上述技术效果。

技术领域

本发明涉及数据存储领域，特别涉及一种基于非关系型数据库的存储方法；还涉及一种基于非关系型数据库的存储装置、设备以及计算机可读存储介质。

背景技术

随着网络的快速发展，数据存储的数量也急速增长，对这些海量数据进行存储的需求也变得愈发急迫。传统的主流网络存储在存储结构化数据时，大多为采用大中型关系型数据库实现的数据存储，如Oracle数据库等。但是，目前这种的传统存储系统已难以满足大数据的需求。

因此，如何进行海量数据的存储，满足海量数据存储的需求是本领域技术人员亟待解决的技术问题。

发明内容

本发明的目的是提供一种基于非关系型数据库的存储方法，可以协调各服务器进行海量数据的存储，较好地满足了海量数据存储的需求。本发明的另一个目的是提供一种基于非关系型数据库的存储装置、设备以及计算机可读存储介质，均具有上述技术效果。

为解决上述技术问题，本发明提供了一种基于非关系型数据库的存储方法，所述方法包括：

将文件进行分片处理；

调用相关指令获取所述文件的分片情况；

根据所述文件的分片情况，将分片处理后的所述文件的各数据段分别存储到对应的服务器中。

优选的，所述将文件进行分片处理包括：

根据用户自定义的分片方式对所述文件进行分片处理。

优选的，所述将分片处理后的所述文件的各数据段分别存储到对应的服务器中包括：

调用相关指令，获取各所述服务器中活动的CPU的个数，并从各所述服务器的配置文件中获取各所述服务器的节点数；

根据各所述服务器的节点数，创建相应容量的mongodb连接池；

根据所述CPU的个数，创建相应数量的读写线程以及相应容量的读写连接池；

利用所述读写线程将所述各数据段分别存储到对应的服务器中。

优选的，所述利用所述读写线程将所述各数据段分别存储到对应的服务器中包括：

初始化mongodb连接；

打开数据库及集合Mg Set；

创建二进制文档对象；

根据各所述数据段的大小，将各所述数据段填充到二进制数组中；

设置键值对，通过所述键值对，将所述二进制数组中的各所述数据段存储到对应的服务器中。

本发明还提供了一种基于非关系型数据库的存储装置，所述装置包括：

分片单元，用于将文件进行分片处理；

调用单元，用于调用相关指令获取所述文件的分片情况；

执行单元，用于根据所述文件的分片情况，将分片处理后的所述文件的各数据段分别存储到对应的服务器中。

优选的，所述分片单元具体用于：