[发明专利]一种基于Hadoop平台的改进并行KNN网络舆情分类算法

说明书

一种基于Hadoop平台的改进并行KNN网络舆情分类算法，进行次迭代，迭代执行第二步和第六步；从整体数据集中按随机采样方法抽取相同数量个对象得到样本数据集；在数据集上调用PAM算法找到数据集最优个中心点集合；根据得到的找到整个数据集中每一个对象 在中欧氏距离最近中心点；返回步骤1，开始下次迭代；所有迭代都完成后以平均相异度作为评价标准衡量聚类效果，平均相异度最小的即是最优聚类；统计数据集与个聚类平均相异度。本发明首先使用CLARA聚类算法对数据集中相似度或距离较低部分进行剪裁处理，然后使MapReduce将kNN算法进行并行化在Hadoop平台上进行数据分类，有较低时间复杂度和较好分类准确率。

技术领域

本发明涉及到移动互联网技术领域，特别涉及一种基于Hadoop平台的改进并行KNN网络舆情分类算法。

背景技术

随着移动互联网的快速发展，微博、博客、Twitter等社交平台已经成为人们获取信息的重要媒介，因此社交平台上数据正成几何数量增长。而社交平台上也存在一些影响社会稳定的不良信息，因此对社交平台上的敏感数据进行及时分析、监控以及对不同主题进行分类、预警和引导具有十分重要的现实意义。网络舆情数据具有数量大、非结构化、分散性强等特点，因此传统的文本分类算法在处理大批量网络舆情数据时，无法高效、快速的对网络舆情数据进行分类。

传统经典分类算法有：朴素贝叶斯(Naive Bayes,NB)、决策树(Decision Tree,DT)、支持向量机(Support Vector Machine,SVM)、K近邻(k-Nearest Neighbor,kNN)等。其中kNN分类算法具有算法原理简单、理论成熟、分类准确率高和易于实现等优点，被广泛应用于各个领域。而kNN分类算法在计算数据集中每一个样本点的相似度或距离时，需要耗费较长的时间，导致分类算法的时间复杂度增加。另一方面，当数据集中数据分布较为分散时，会使得分类准确率下降。因此，研究如何提高算法的分类准确率和时间复杂度是当前的研究热点。

现阶段，已有许多学者对kNN分类算法进行了相关研究。王艳飞^[1]提出基于样本密度对整个训练数据集进行裁剪，对裁剪后的样本数据进行聚类处理。马宾等^[2,3]通过将kNN分类算法与Hadoop平台结合使之并行化，经过并行化后可以较好处理大批量数据。马莹等^[4]提出使用K-medoids聚类算法对训练集进行裁剪，去除样本中相似度较低的部分，然后进行kNN并行化处理，实验结果表明，该方法可以较好的减少算法运行时间。虽然K-medoids聚类算法对孤立点和噪声数据的敏感性小，但是无法处理大批量数据。

k最近邻(k-NearestNeighbor,kNN)算法^[5]，最初由Cover和Hart于1968年提出，其思路非常简单直观，易于快速实现，同时也是最简单的机器学习算法之一。该算法的思想是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。

kNN分类器是一种消极(懒惰)型学习器，模型的对建立非常简单(仅需要存储训练数据)，当接收到测试数据后开始构造分类模型，对测试数据进行预处理并计算各分量间的距离，根据测试数据与训练数据进行分类。kNN算法在进行分类时需要计算训练数据与测试数据之间的距离，因此算法消耗资源较多，各个数据节点对相似度计算具有独立性，因而该算法适合在并行环境下运行。