[发明专利]一种海量数据存储方法

摘要

本发明涉及计算机数据存储技术领域。本发明一种海量数据存储方法，其包括以下步骤：步骤1：得到目前活动的内存数据库服务器列表；步骤2：把需要待存储的数据整理为数据库可以存储的格式，并将其映射到环形的Hash空间上，其中上述数据同时包含数据来源的主机IP地址以及目标内存数据库服务器的IP地址；步骤3：把内存数据库服务器的IP地址映射到环形的Hash空间上；步骤4：建立两个数据库与数据库的散列位置建立映射数组，也即一台数据库服务器的各虚拟服务器散列位置存储数组，得到数据、虚拟数据库与实际数据库的映射关系，并对待存储的逐条数据进行存储。本发明应用于海量数据的即时存储。

主权项

一种海量数据存储方法，其特征在于：包括以下步骤：步骤1：得到目前活动的内存数据库服务器列表；步骤2：把待存储的数据整理为Key‑Value的Hash字符串值索引格式，存储于关系数据库和Hash数据表中，并将其映射到环形的Hash空间上；所述待存储的数据包含数据来源的数据采集主机IP地址以及目标内存数据库服务器的IP地址；步骤3：把内存数据库服务器的IP地址映射到环形的Hash空间上；步骤4：建立内存数据库服务器上的内存数据库与Hash键值的对应映射数组PositionToDB，以及内存数据库服务器的各虚拟服务器的虚拟数据库的散列位置存储数组DBtoPosition，从而得到数据、虚拟数据库与实际数据库的映射关系，并进行数据存储，具体存储过程包括：步骤41：当某条数据要存储到内存数据库的时候，首先对该数据的关键字进行Hash，得到Key；步骤42：根据步骤41得到的Key，搜索内存数据库与Hash键值的对应映射数组PositionToDB的索引值，当搜索到某个索引值≥该Key时，则停止搜索，并存储该索引值；否则把该数组中的第一个索引值当作所要查找的索引值；步骤43：根据步骤42找到的索引值，依据数据、虚拟数据库与实际数据库的映射关系，得到内存数据库服务器的IP地址，并把该条数据发送给该内存数据库服务器上的内存数据库，对应的内存数据库接收并存储；步骤44：返回继续执行步骤41‑步骤43，直到所有数据存储完毕。