[发明专利]一种数据存储方法和装置

权利要求书

1.一种数据存储方法，其中，该方法包括：

将数据进行列式存储；

若一列数据的类型为数值型，将该列数据按数据取值的离散度划分为M个组，并为各组分别生成对应的组值，所述组值以组值m表示；

将M个组值作为该列数据的元数据进行保存；

其中，所述将M个组值作为该列数据的元数据进行保存，包括：

设置一个长度为N+1的二进制串，该二进制串各位上的数据的初始值为0，所述N为不小于1的自然数；

对于得到的各组值m，将该二进制串上第m+1位上的数据修改为1；

将所述二进制串作为该列数据的元数据进行保存。

2.如权利要求1所述的方法，其中，所述将数据进行列式存储包括：将数据按parquet格式进行列式存储。

3.如权利要求1所述的方法，其中，所述将该列数据按数据取值的离散度划分为M个组，并为各组分别生成对应的组值包括：

对该列数据进行指定类型的统计计算；

根据统计计算结果将该列数据划分为M个组，并为各组分别生成对应的组值。

4.如权利要求3所述的方法，其中，所述对该列数据进行指定类型的统计计算包括：

对该列数据进行求均值计算，将求得的均值记为μ；

对该列数据进行求标准差计算，将求得的标准差记为σ。

5.如权利要求4所述的方法，其中，所述根据统计计算结果将该列数据划分为M个组，并为各组分别生成对应的组值包括：

根据μ和σ，对该列的每个数据x_i进行标准化处理，得到相应的标准化的数据x_i’；

对每个标准化的数据x_i’，以如下公式确定原数据x_i所在分组的组值m：其中x_max为该列数据中的最大值，x_min为该列数据中的最小值，N为不小于1的自然数。

6.如权利要求5所述的方法，其中，所述将所述二进制串作为该列数据的元数据进行保存包括：

设置一个字节数为Ceil的字节数组，用于存储该二进制串。

7.如权利要求5所述的方法，其中，所述对该列的每个数据进行标准化处理包括：

利用公式对该列的每个数据进行标准归一化，若得到的x_i'1，则令x_i'＝1；若得到的x_i'-1，则令x_i'＝-1。

8.如权利要求7所述的方法，其中，该方法还包括：

将μ和σ作为该列数据的元数据进行保存；

当接收到一个数据查询请求时，判断待查询的目标列的数据类型是否为数值型；

是则根据目标列对应的元数据判断是否读取目标列的数据到内存中。

9.如权利要求7所述的方法，其中，所述根据目标列对应的元数据判断是否读取目标列的数据到内存中包括：

从数据查询请求中提取查询数值；

对待查询的目标列，根据各列的元数据对所述查询数值进行相应的指定类型的统计计算，根据统计计算结果确定该查询数值对应的组值；

判断该组值是否与该列元数据中记录的任一个组值相匹配，是则读取该列的数据到内存中，否则跳过该列。

10.一种数据存储装置，其中，该装置包括：

数据存储单元，适于将数据进行列式存储；

元数据处理单元，适于当一列数据的类型为数值型时，将该列数据按数据取值的离散度划分为M个组，并为各组分别生成对应的组值，将M个组值作为该列数据的元数据进行保存；

所述元数据处理单元，适于设置一个长度为N+1的二进制串，该二进制串各位上的数据的初始值为0；对于得到的各组值m，将该二进制串上第m+1位上的数据修改为1；将所述二进制串作为该列数据的元数据进行保存。