[发明专利]基于Key-Value数据块的数据管理方法及系统

摘要

本发明提出一种基于Key‑Value数据块的数据管理方法及系统。根据感知数据具有的属性选取数据聚集的维度，将具有共性即具有同一属性维度的感知数据进行聚类，并将其集中存储在同一数据块中，将选取的数据聚集维度作为数据块对应的属性信息；数据块内部的数据采用Key‑Value数据格式存储和管理；数据块的存储位置及其对应的属性信息采用关系型数据库进行存储和管理。本发明以实现在较少数量计算机情况下就能够对海量物联网感知数据进行高效读写，并可根据业务规模方便地进行扩展。

主权项

1.基于Key‑Value数据块的数据管理方法，其特征在于，根据感知数据具有的属性选取数据聚集的维度，将具有同一属性维度的感知数据进行聚类并集中存储在同一数据块中，将选取的数据聚集维度作为数据块对应的属性信息；数据块内部的数据采用Key‑Value数据格式存储和管理；数据块的存储位置及其对应的属性信息采用关系型数据库进行存储和管理；具体为以下步骤：步骤一、从感知数据描述的属性中选取数据聚集的维度；步骤二、根据选取的数据聚集的维度组建数据分块规则，所述数据分块规则用于指示数据聚集的维度与存储该数据的数据块的对应关系，将选取的数据聚集维度作为数据块对应的属性信息；步骤三、根据数据分块规则以及数据块与数据块键值之间的对应关系，获取数据分块规则与数据块键值的对应关系以及数据块的存储位置，所述数据块的存储位置用于指示数据块所存储的计算机节点以及节点中的路径和名称信息；步骤四、根据感知数据分块规则在关系型数据库中查找对应的数据块键值，如果不存在与所述感知数据分块规则对应的数据条目，则将数据块的存储位置及其对应的属性信息组织成一条数据条目添加到关系型数据库中进行存储和管理；步骤五、将感知数据条目按照对应的数据聚集维度和数据块的存储位置添加存储到对应的数据块中，所述数据块内的感知数据条目采用Key‑Value数据模型，Key值为感知数据条目的键值，Value值为感知数据的属性；步骤六、建立新添加感知数据条目的数据块内索引，所述数据块内索引采用Key‑Value数据模型，Key值为所述数据块内索引所对应的字段，Value值为感知数据条目的键值。