[发明专利]一种基于Hadoop平台的改进并行KNN网络舆情分类算法

摘要

一种基于Hadoop平台的改进并行KNN网络舆情分类算法，进行次迭代，迭代执行第二步和第六步；从整体数据集中按随机采样方法抽取相同数量个对象得到样本数据集；在数据集上调用PAM算法找到数据集最优个中心点集合；根据得到的找到整个数据集中每一个对象 在中欧氏距离最近中心点；返回步骤1，开始下次迭代；所有迭代都完成后以平均相异度作为评价标准衡量聚类效果，平均相异度最小的即是最优聚类；统计数据集与个聚类平均相异度。本发明首先使用CLARA聚类算法对数据集中相似度或距离较低部分进行剪裁处理，然后使MapReduce将kNN算法进行并行化在Hadoop平台上进行数据分类，有较低时间复杂度和较好分类准确率。

主权项

1.一种基于Hadoop平台的改进并行KNN网络舆情分类算法，其特征在于，CLARA算法的步骤如下：S1：进行m次迭代，迭代执行S2‑S6；S2：从整体数据集D中按照随机采样的方法抽取相同数量r个对象得到样本数据集S_i,S_i＝(s₁,s₂,…,s_r)；S3：在样本数据集S_i上调用PAM算法找到样本数据集的最优k个中心点集合C_i,C_i＝(c₁,c₂,…,c_k)；S4：根据得到的C_i找到整个数据集D中的每一个对象O_j∈D在C_i中欧氏距离最近的中心点，将O_j划分为相应的簇中；S5：根据公式计算数据集D中的每一个对象O_j∈D的平均相异度，作为评价标准；S6：返回步骤S1，开始下一次迭代；S7：所有迭代都完成后以平均相异度作为评价标准衡量聚类效果，平均相异度最小的即是最优聚类；S8：统计样本数据集与k个聚类的平均相异度，如果Sim(D,O_i)小于给定的阈值则将其从样本数据集中裁剪掉，否则将该簇内包含的样本添加到样本集中。