[发明专利]一种并行AP传播的XML大数据聚类集成方法

权利要求书

1.一种并行AP传播的XML大数据聚类集成方法，其特征在于：该并行AP传播的XML大数据聚类集成方法包括以下步骤：

步骤一：对每一个XML大数据进行清洗、划分和抽取预处理；

步骤二：把抽取的子树中所有关键词看成该XML大数据的特征描述；

步骤三：借鉴聚类集成的基本思想，用随机子空间分类器作为基聚类器构建K个分类器，K个分类器并行地从n个n×n特征向量空间中随机抽取m个样本数据来进行训练以求得分类，方法是对新样本集建立一个无向图，每个样本点是图的一个顶点，图的边是顶点间的连线，它表示文档之间的相似度，相似度采用标记语义树的方法求得，并按照它们组成的边的权重最小、一条路径的加权之和最大的原则把图划分成不同的路径，路径的划分采用K-邻近法，这样把划分的每一条路径组成一个类别，所有不同的划分路径组成K个初始分类；

步骤四：从初始的簇集结果出发，按照簇集、簇和数据点三者之间的相互关系来构建内联相似度矩阵，通过设计的并行的LANCZOS—QR算法求解其特征值对应的特征向量来获得低维向量的嵌入；

步骤五：通过设计的基于系统能量的AP算法并行地实现最终的聚类集成。

2.如权利要求1所述的并行AP传播的XML大数据聚类集成方法，其特征在于：在步骤一，先对XML文档集中的每一个XML大数据进行清洗、划分和抽取预处理，即通过规模和内容的划分方法，从每个XML大数据中提取所有节点及节点的子集，计算节点在数据中的频度，根据节点的频度尽可能地把属于同一主题内容的节点及子孙划分在同一子集，不同主题内容的节点划分在不同子集，并从划分的子集中按照关键词的频度抽取n个子树，求出抽取的每一个子树从根节点到叶子节点的所有路径，并以路径作为消歧的输入源对歧义词进行消歧处理，求取每个关键词的语义相关度及上下文语义相关相似度。

3.如权利要求1所述的并行AP传播的XML大数据聚类集成方法，其特征在于：在步骤二，把消歧处理后的每一个子树中所有的关键词看成是XML大数据的特征描述，这样所有的XML大数据组成的XML文档集就是n个n×n维特征空间向量。