[发明专利]面向商品筛选应用的分布式结构化数据存储及查询方法

摘要

本发明提供一种面向商品筛选应用的分布式结构化数据存储及查询技术，该技术包括：根据对数据表的历史查询数据进行统计分析，确定数据表的关键列集合，所述数据表的关键列集合包括N个高频或核心字段，其中N＞1；根据关键列的数据相关性将关键列的取值划分为M个取值区间，其中M＞1，同时将存储节点也划分成M个区域，并将M个关键列的取值区间划分到上述的M个区域内，上述区域内包括至少一个存储节点；将所述数据表中的数据根据其关键列及取值划分到对应的存储区域，并将该数据存储到对应的存储区域。

主权项

1.一种面向商品筛选应用的分布式结构化数据存储及查询方法，其特征在于，包括：步骤1、根据对数据表的历史查询数据进行统计分析，确定数据表的关键列集合，所述数据表的关键列集合包括N个高频或核心字段，其中N＞1；根据关键列的数据相关性将关键列的取值划分为M个取值区间，其中M＞1，同时将存储节点也划分成M个区域，并将M个关键列的取值区间划分到上述的M个区域内，上述区域内包括至少一个存储节点；步骤2、将所述数据表中的数据根据其关键列及取值划分到对应的存储区域，并将该数据存储到对应的存储区域；步骤3、在系统处理查询请求时接收到查询条件时，根据查询条件中已有的关键列信息，在预设的存储区域中进行查询；其中所述步骤2中是根据各存储区域中关键列取值范围，将数据表中数据划分到各存储区域内；具体包括：步骤21、对于数据表中的任意记录，获取该条记录中所有关键列的K(x,y)；K(x,y)表示某条数据记录中第x关键列的取值所属第y区域；并统计每个存储区域内y的数量；步骤22、判断是否在某个取值区间具有唯一最大值个y时，如果是则直接将该记录存储到该存储区域中；如果y不存在唯一最大值，则根据存储负载均衡，将该记录存储到数据量较少的存储区域中。