[发明专利]一种数据存储方法和装置

说明书

技术领域

本申请涉及大数据处理技术领域，更具体的说是涉及一种数据存储方法和装置。

背景技术

随着数据生成的自动化以及数据生成速度的加快，需要处理的数据量急剧增加，大数据时代已经降临。大数据具有体量大、数据类型繁多等特点，大数据的分析挖掘则要从各种各样类型的数据中，快速获取到有价值的数据。

在进行大数据的分析挖掘之前，一般需要采集并存储获取到的海量数据信息。大数据包括结构化、半结构化和非结构化等多类数据，目前，常见的大数据存储方式有两种，其中一种是将采集到的数据均作为结构化数据存储到关系数据库系统中，但是以这种存储方式进行大数据存储时，则会影响到文本等数据的查询速度；另一种存储方式是将采集到的数据均作为非结构化数据存储到文件系统中，但是该种存储方式进行数据存储时，则无法进行较为复杂的统计分析。同时，由于关系数据库和文件系统的架构差别较大，当对数据存储方式进行变化时，无法灵活的调整数据存储方式。

发明内容

有鉴于此，本申请提供一种数据存储方法和装置，以该种方式进行存储时，减少现有技术中存在的查询速度慢以及统计分析不便的情况，并能够有效提高调整数据存储的灵活性。

为实现上述目的，本申请提供如下技术方案：一种数据存储方法，包括：

获取待分析数据集；

确定所述数据集中的各个子数据集的数据类别；

查询预置的数据类别与数据分类规则的对应关系，确定所述子数据集的数据分类规则；

按照所述子数据集的数据分类规则，将所述子数据集划分为第一子数据集和第二子数据集，并确定所述第一子数据集和第二子数据集中各项数据的存储模式；

依据所述存储模式，将所述第一子数据集中的各项数据存储至结构化数据存储区，将所述第二子数据集存储至非结构化数据存储区。

优选的，在依据所述存储模式，将所述第一子数据集中的各项数据存储至结构化数据存储区，将所述第二子数据集存储至非结构化数据存储区之前，还包括：

构建唯一标识所述子数据集的特征码；

所述依据所述存储模式，将所述第一子数据集中的各项数据存储至结构化数据存储区，将所述第二子数据集存储至非结构化数据存储区，包括：

依据所述存储模式，将所述特征码与第一子数据集中的各项数据对应存储至结构化数据存储区，并将所述特征码与第二子数据集中的各项数据对应存储至非结构化数据存储区。

优选的，所述获取待分析数据集，包括：

从采集到的原始数据中抽取指定比例的数据作为所述待分析数据集。

优选的，所述确定所述数据集中的各个子数据集的数据类别，包括：

分析所述数据集中各个子数据集的数据的组织格式，确定所述子数据集的数据的组织格式对应的数据类别。

优选的，所述确定所述数据集中的各个子数据集的数据类别，包括：

查询所述数据集中的各个子数据集中所包含的数据标识，确定与所述子数据集中所包含的数据标识对应的数据类别。

优选的，所述存储模式，包括：

数据项的数据存储格式、数据项的数据存储空间和/或索引信息。

优选的，还包括：

接收对所述预置的数据类别与数据分类规则的对应关系的更新请求；

依据所述更新请求，更改或添加数据类别与数据分类规则的对应关系。

另一方面，对应本申请的数据存储方法，本申请还提供了一种数据存储装置，包括：

数据获取单元，用于获取待分析数据集；

类别确定单元，用于确定所述数据集中的各个子数据集的数据类别；

分类规则确定单元，用于查询预置的数据类别与数据分类规则的对应关系，确定所述子数据集的数据分类规则；

数据分类单元，用于按照所述子数据集的数据分类规则，将所述子数据集划分为第一子数据集和第二子数据集，并确定所述第一子数据集和第二子数据集中各项数据的存储模式；

存储单元，用于依据所述存储模式，将所述第一子数据集中的各项数据存储至结构化数据存储区，将所述第二子数据集存储至非结构化数据存储区。

优选的，所述装置还包括：

特征码生成单元，用于构建唯一标识所述子数据集的特征码；

所述存储单元，具体为：用于依据所述存储模式，将所述特征码与第一子数据集中的各项数据对应存储至结构化数据存储区，并将所述特征码与第二子数据集中的各项数据对应存储至非结构化数据存储区。