[发明专利]一种数据的聚类方法

摘要

本发明专利公开了一种数据聚类方法，首先采用BP神经网络利用完整的数据集作为样本集来进行训练，进行缺失属性值的预测补全。然后对异常数据去噪算法会根据补全的数据，采用K‑means算法进行初始算法聚类，找出落在簇集合之外的离群点，然后在用BP神经网络对离群点进行校验，判断是否是噪声点，保证数据的光滑性。最后根据前两步的算法预处理后的数据集进行K‑means算法进行聚类分析。本方法比原始的算法精确度有很大提高。

主权项

1.一种数据的聚类方法，其特征在于：依次通过以下算法对数据聚类：属性缺失补全算法、异常数据去噪算法、修复后的数据聚类算法，其中：属性缺失补全算法采用BP神经网络利用完整的数据集作为样本集来进行训练，进行缺失属性值的预测补全，步骤如下：输入：样本集D=;输出：样本集B=；具体的处理步骤如下：1.1扫描数据集一遍，找出数据集的记录数记做N，以及数据集中属性不完整的数据集记做Q=；1.2通过判断N的大小，如果N是大于100000条记录的数据，那么随机选取20%作为神经网络的训练样本，如果N是小于等于100000条记录的数据，则选取60%的数据集作为训练样本集；1.3构造三层BP神经网络模型，分别为输入层，隐含层，和输出层；1.4网络设置S型传递函数如下：1.5设置反误差输出来不断调节网络权值和阈值使误差函数E达到极小，其中误差函数E设置函数如下：其中t_i为期望输出；Q_i为网络的计算输出；1.6根据第二步中选取的所有样本集，进行网络的建模，该模型根据数据集的属性作为输入，输出的节点个数设置为1，隐含层的设计使用经验公式：其中m为输入层神经元个数,n为输出层神经元个数，b为[1,10]之间的常数；本算法中设置b=3；1.7网络隐层和输出层激励函数分别为tansig和logsig函数，网络训练函数为traingdx,网络性能函数为mse，网络迭代次数epochs为50000次,期望误差goal为0.000000001,学习速率lr为0.01；1.8根据上述步骤网络模型的设置构造好网络模型，进行模型的训练并以此对Q=中的缺失数据集进行预测，构造成完整的数据集记做B=；异常数据去噪算法步骤如下：2.1从步骤1.8中得到完整的数据集B=，对数据采用K‑means算法进行初始算法聚类；2.2找出落在簇集合之外的点称为离群点记做2.3对每个离群点进行BP神经网络预测相应的属性值与现有的数值做对比，定义一个误差范围，如果大于给定的阀值就认为是噪声点进行噪声处理，最后形成无噪声的数据集；修复后的数据聚类算法：采用经典的K‑means算法进行聚类分析，具体步骤如下：3.1从A中随机选取k个样本作为初始向量即为初始的簇中心记为向量，3.2令3.3循环，往下执行；3.4计算与各个向量的距离记做；3.5根据距离最近的中心点确定的簇标记：；3.6将样本归为相应的簇：；3.7结束循环；3.8循环令，执行；3.9计算新的簇类向量；3.10如果，这个时候需要将簇类向量更新为；3.11否则保持当前簇类向量不变；3.12结束循环，直到簇类向量不再变更为止。