[发明专利]一种并行AP传播的XML大数据聚类集成方法

摘要

本发明公开了一种并行AP传播的XML大数据聚类集成方法，包括，对每一个XML大数据进行清洗、划分和抽取等预处理；把抽取的子树中所有关键词看成该数据点特征描述；借鉴聚类集成的基本思想；内联相似度大矩阵分解思想；实现最终的聚类集成。本发明通过建立随机子空间分类器并并行随机抽取子树来扩大聚类成员的差异性、提高聚类的性能；引入消歧处理，消除了每个子树中因语义相关环境与内容不一致所引起的歧义难题，同时综合语义相似度与路径相似度，解决了XML文档相似度计算不准确对初始聚类结果的影响；利用系统能量理论，改进了AP算法的归属度矩阵和吸收矩阵的迭代式，实现了XML大数据的聚类集成，提高了聚类集成方法效率。

主权项

一种并行AP传播的XML大数据聚类集成方法，其特征在于：该并行AP传播的XML大数据聚类集成方法包括以下步骤：步骤一：对每一个XML大数据进行清洗、划分和抽取预处理；步骤二：把抽取的子树中所有关键词看成该XML大数据的特征描述；步骤三：借鉴聚类集成的基本思想，用随机子空间分类器作为基聚类器构建K个分类器，K个分类器并行地从n个n×n特征向量空间中随机抽取m个样本数据来进行训练以求得分类，方法是对新样本集建立一个无向图，每个样本点是图的一个顶点，图的边是顶点间的连线，它表示文档之间的相似度，相似度采用标记语义树的方法求得，并按照它们组成的边的权重最小、一条路径的加权之和最大的原则把图划分成不同的路径，路径的划分采用K‑邻近法，这样把划分的每一条路径组成一个类别，所有不同的划分路径组成K个初始分类；步骤四：从初始的簇集结果出发，按照簇集、簇和数据点三者之间的相互关系来构建内联相似度矩阵，通过设计的并行的LANCZOS—QR算法求解其特征值对应的特征向量来获得低维向量的嵌入；步骤五：通过设计的基于系统能量的AP算法并行地实现最终的聚类集成。