[发明专利]一种基于树状基学习器的混合特征数据聚类方法及系统

说明书

本发明属于混合特征数据集聚类技术领域，公开了一种基于树状基学习器的混合特征数据聚类方法及系统，其方法包括步骤：S1、对样本集进行随机子采样生成N个不同的子样本集；S2、对每个子样本集进行树状基学习器的训练，并得到训练完成后的N颗树以及聚类簇数量K；S3、基于训练完成后的N颗树，统计任意两个样本之间的相似度矩阵，并将所有相似度矩阵归一化，以得到多个归一化相似度矩阵；S4、将聚类簇数量K以及多个归一化相似度矩阵作为谱聚类模型的输入，以得到样本集最终的聚类结果。本发明设计了高纬度、混合特征情况下的数据聚类方法，可解决数据集维度过高以及连续特征和离散特征混合情况下无法明确定义相似性概念导致难以聚类的问题。

技术领域

本发明属于混合特征数据集聚类技术领域，具体涉及一种基于树状基学习器的混合特征数据聚类方法及系统。

背景技术

针对供能站的车辆数据集，数据特征的高维度以及连续特征和离散特征的混合两个方面都对传统聚类算法提出了挑战，特别是基于欧式距离的聚类算法。在“维数灾难”的情况下，所有的样本都将会近似等距并且相邻，从而使得最近邻的问题可能会变得不具有意义。其次，许多依赖于传统距离度量的算法对不同单位的属性是很敏感的，虽然数据转换可以用来缓解这一问题，但这有可能改变数据的分布，影响到聚类结果。并且，在大数据情况下，过大的样本量会导致有些聚类算法失效，如谱聚类。

对于高纬度混合型数据的处理，由于其高纬度的特点以及对混合数据没有明确定义相似性的概念，当数据集包含数值特征和分类特征时，计算两个数据点的相似性问题将会变得更加困难。

例如申请号为CN201910308311.7的中国发明专利，其公开了一种基于SOM神经网络与K-均值聚类的窃电检测方法及系统，其方法包括：从用户负荷曲线中随机抽取数据作为训练样本，并对所述训练样本进行归一化处理，获取处理样本；基于SOM神经网络对所述处理样本进行聚类，获取所述处理样本的聚类数和初始聚类中心；将所述聚类数和所述初始聚类中心作为K-均值聚类的初始值，基于所述K-均值聚类对所述处理样本进行聚类，获取用户负荷特征曲线；计算待检测用户负荷与其用户负荷特征曲线的欧式距离，获取所述待检测用户负荷与其用户负荷特征曲线的欧式距离；当所述欧式距离大于预先设定的阈值时，则将所述用户判断为窃电嫌疑用户。该专利即通过欧式距离进行聚类，无法对高纬度混合型数据进行准确的聚类处理。

因此，亟需一种能针对高纬度混合型数据进行准确聚类的方案。

发明内容

针对现有技术中存在的上述问题，本发明提出一种基于树状基学习器的混合特征数据聚类方法及系统，可针对高纬度混合型数据进行准确聚类。

本发明采用以下技术方案：一种基于树状基学习器的混合特征数据聚类方法，包括步骤：

S1、对样本集进行随机子采样生成N个不同的子样本集；

S2、对每个子样本集进行树状基学习器的训练，并得到训练完成后的N颗树以及聚类簇数量K；

S3、基于训练完成后的N颗树，统计任意两个样本之间的相似度矩阵，并将所有相似度矩阵归一化，以得到多个归一化相似度矩阵；

S4、将聚类簇数量K以及多个归一化相似度矩阵作为谱聚类模型的输入，以得到样本集最终的聚类结果。

优选地，步骤S1具体包括以下步骤：

S1.1、初始化聚类森林，设置聚类森林中树的棵树为N；

S1.2、设置子样本集内样本个数为Ψ；

S1.2、对样本集采样N次，每次从样本集中随机不放回采样Ψ个样本，以生成N个子样本集。

优选地，步骤S2中具体包括以下步骤：

S2.1、初始化树状基学习器，设置树的最大深度，并生成每颗树的根节点；