[发明专利]数据存储、查询方法和装置

说明书

技术领域

本发明实施例涉及计算机技术，尤其涉及一种数据存储、查询方法和装置。

背景技术

在营销管理系统中，一般会提供基于海量客户属性提取客户群，作为营销目标客户。客户属性的存储和查找方式，影响了提取客户群和分析客户群特征的效率。

在现有技术中，每个属性集存储于一列中，所有客户的每个属性分别用一个空间存储，作为一列，称为列式存储。通过行号记录行关系。类似如下：给每个时期的每个客户分配一个序号，每个属性有一个表格保存属性值及对应的序号。提取客户群或分析特征时，扫描条件列，根据指定的条件过滤。两个以上的条件时，取多列行号的交集或并集等，得到符合条件的客户。而在另一种行式存储为，每个时期每个客户的所有属性分配一个空间存储，作为一行。类似于每个客户，有一个相同格式的表格，分时期记录了客户数据的不同属性，例如语音用量、流量用量、短信用量等属性。在行式存储方式下进行数据查找时，首先需要选择一个时期，在该时期的每个客户的存储空间内逐个扫描，直到找到需要的属性取值。为避免属性较多时，顺序读行扫描太多与查询条件无关的属性，有时系统会将一个客户的属性分到多个空间存储，经常同时用的放在一起。考虑到可能增加的增加表关联风险，不会分太多组。类似把300个属性，分成3组，可从属性所在组的开头查找，直到找到需要的属性值。提取客户群时，根据条件，扫描指定的一个或几个时期分区，根据指定的条件过滤，得到符合条件的客户。

然而在现有技术中，列式存储的方式中，数据的存储是按照属性进行存储的，数据存储较为庞杂，在需要查找某个时间段的数据时需要对该属性的存储列进行逐行扫描，在扫描过程中会出现大量无关时段数据的扫描，增加了数据输入输出(Input/Output，简称IO)的时间。行式存储的方式中，数据的存储是按照时期进行存储的，在需要查找某一属性数据时，会扫描大量无关属性，增加IO时间。

发明内容

本发明实施例提供一种数据存储、查询方法和装置，以解决现有技术中数据存储较为庞杂，以致在扫描过程中会出现大量无关列、无关时段数据的扫描，增加了数据IO的时间的问题。

第一方面，本发明实施例提供一种数据存储方法，其特征在于，包括：

将多个用户的身份信息存储于用户身份信息属性列文件，所述用户身份信息属性列文件中每一行存储一个用户的身份信息；

按照时间周期将所述多个用户的使用数据分别存储于不同的数据分区的使用数据属性列文件中，所述使用数据属性列文件中每一行存储一个所述用户的一个属性的使用数据；

其中，所述数据分区中包括至少一个使用数据属性列文件，各使用数据属性列文件的每一行的存储空间为一固定长度，每一用户的不同属性的使用数据分别存储于所述数据分区中不同的使用数据属性列文件中，所述使用数据属性列文件的使用数据的存储顺序与所述用户身份信息属性列文件中用户的身份信息的存储顺序相同。

结合第一方面，在第一方面的第一种可能的实现方式中，所述使用数据属性列文件的使用数据的存储顺序与所述用户身份信息属性列文件中用户的身份信息的存储顺序相同具体包括：

存储所述用户的使用数据的行对应的偏移单元格数量和存储所述用户的身份信息的行对应的偏移单元格数量相同。

结合第一方面，在第一方面的第二种可能的实现方式中，若所述多个用户的至少一个属性的使用数据包括多个不同偏好类别的使用数据，所述方法还包括：

将各用户的所述多个不同偏好类别的使用数据依次存储于所述属性的偏好使用数据属性列文件中，所述属性的偏好使用数据属性列文件中每一行存储一个所述用户的一个偏好类别的使用数据；

将各用户的所述多个不同偏好类别的使用数据对应的偏好类别标识依次存储于偏好类别标识属性列文件中，并将所述多个不同偏好类别的使用数据的用户的身份信息存储于多维数据用户身份属性列文件中；

其中，所述偏好使用数据属性列文件中偏好类别的使用数据的存储顺序与所述偏好类别标识属性列文件中偏好类别标识的存储顺序相同，且与所述多维数据用户身份属性列文件中用户的身份信息的存储顺序相同；

根据各用户的所述多个不同偏好类别的使用数据的个数获取所述用户的所述多个不同偏好类别的使用数据的存储结束位置信息，将各用户的存储结束位置信息存储于存储结束位置信息属性列文件中，所述存储结束位置信息属性列文件中每一行存储一个所述用户的一个存储结束位置信息；