[发明专利]基于用户日志分析的分布式倒排索引组织方法

权利要求书

1.一种基于用户日志分析的分布式倒排索引组织方法，其特征在于其实施步骤如下：

1）分析用户查询日志并提取出高频词和非高频词，建立高频词的相关性矩阵，并根据高频词之间的相关性建立高频词关系图；

2）计算每个高频词的负载，根据高频词关系图和高频词的负载对高频词进行聚类；

3）将各个聚类分配到节点之上并建立高频词索引，将非高频词哈希到各个节点之上，并建立非高频词索引；

4）根据所述高频词索引和非高频词索引建立全局的索引表，并根据该索引表进行查询路由。

2.根据权利要求1所述的基于用户日志分析的分布式倒排索引组织方法，其特征在于，所述步骤1）的详细步骤为：

1.1）解析用户查询日志，将用户查询日志进行分词得到查询词典，统计每个词的出现频率并将查询词典按照出现频率降序或者升序排列，从查询词典的高出现频率端截取指定数量的词作为高频词，剩余的词则为非高频词；

1.2）将截取的高频词建立高频词典，将高频词典中的高频词从1到N统一编号建立N×N的高频词的相关性矩阵；

1.3）将所述高频词的相关性矩阵转换为无向图得到高频词关系图。

3.根据权利要求1所述的基于用户日志分析的分布式倒排索引组织方法，其特征在于，所述步骤2）的详细步骤包括：

2.1）计算每个高频词的负载，将节点按照负载降序排列得到节点集合，计算节点集合中任意两个节点之间的节点距离；

2.2）定义每个聚类的负载上限、聚类个数以及聚类中心之间的最短距离和中心节点集合，从所述节点集合中取出一个节点作为当前节点，然后跳转执行步骤2.3）；

2.3）将当前节点与中心节点集合中的中心节点进行比较，如果中心节点集合中找到某个节点与当前节点之间的节点距离小于所述聚类中心之间的最短距离，则将所述中心节点集合中找到的节点和当前节点合并作为中心节点集合中的一个新的中心节点，否则将当前节点作为中心节点集合中的一个新的中心节点；最终执行下一步；

2.4）判断中心节点集合的大小是否达到聚类个数，如果仍未达到聚类个数则从所述节点集合中取出下一个节点作为当前节点并返回继续执行步骤2.3）；如果已经达到聚类个数则执行步骤2.5）；

2.5）根据中心节点集合中的中心节点生成聚类得到聚类集合，计算中心节点集合中每一个中心节点到其他非中心节点的最短距离，并降序排列得到最短距离集合；

2.6）针对聚类集合的每一个聚类，查找所述聚类对应最短距离集合中的下一个节点作为目标节点；计算所述目标节点的负载并判断负载是否超过所述负载上限，如果超过负载上限则忽略该目标节点；判断包含所述目标节点的聚类数是否超过聚类个数，如果超过就忽略所述目标节点；判断所述目标节点是否已经加入其他聚类且所述目标节点在最短距离集合中的上一个节点也属于所述其他聚类中，如果符合条件则在所述目标节点和所述目标节点在最短距离集合中的上一个节点中选择更接近当前聚类和其他聚类中点的节点作为边境节点，所述边境节点同时属于当前聚类和其他聚类两个聚类；如果不符合条件，则直接将目标节点直接加入当前聚类；最终将所有节点归类后完成聚类并返回聚类结果。

4.根据权利要求1所述的基于用户日志分析的分布式倒排索引组织方法，其特征在于，所述步骤3）的详细步骤包括：

3.1）计算每个聚类的负载，将聚类按照负载降序排列得到聚类集合；

3.2）建立系统性能目标函数，从所述聚类集合中选择一个聚类作为当前聚类；

3.3）往所述当前聚类中尝试添加节点并计算所述目标函数值，然后将当前聚类加入目标函数值最小的节点上并建立索引，然后执行步骤3.4）；

3.4）判断聚类集合中是否还有聚类未处理，如果仍有聚类未处理则取出下一个未处理的聚类作为当前聚类并返回执行步骤3.3）；如果所有聚类处理完成则高频词索引建立完毕；

3.5）将非高频词哈希到各个节点之上建立非高频词索引。