[发明专利]基于K-Means算法改进的高频职业技能生命曲线聚类方法

说明书

本发明公开了一种基于K‑Means算法改进的高频职业技能生命曲线聚类方法，其特征在于，包括以下步骤：1)爬取用户信息形成用户文档库；2)挖掘高频职业技能；3)构建高频职业技能生命曲线；4)使用密度峰算法选取K个职业技能生命曲线聚类中心；5)使用K‑Means算法对职业技能生命曲线进行聚类；6)采用戴维森堡丁指数评估聚类结果，评估不合格，增加职业技能生命曲线聚类中心的数量K，返回步骤4，评估合格则进入下一步；7)得到最终高频职业技能生命曲线聚类结果。本发明通过对高频职业技能生命曲线进行定义，使用密度峰算法选取合适聚类中心点，然后使用K‑Means算法进行聚类，进而比较稳定有效的找出生命曲线相似的职业技能。

技术领域

本发明涉及数据挖掘领域，尤其是涉及一种基于K-Means算法改进的高频职业技能生命曲线聚类方法。

背景技术

一项职业技能的生命曲线，受到很多因素影响例如职业技能掌握的难易程度、社会对该项职业技能的需求量、该项职业技能对人的身体素质需求以及该项职业技能在社会的认可度等各个方面的影响。所以绘画出职业技能的生命曲线十分困难。但是随着互联网的发展社交网络平台已经成为互联网发展中不可获缺的重要组成部分，职业社交网站上包含了大量用户的职业信息。例如用户掌握的技能、以及其他用户对该用户掌握技能的点赞数、用户的年龄等。职业社交网络的出现为刻画职业技能生命曲线提供了一种新的途径。

对高频职业技能生命曲线进行高效且准确的聚类，使得同一个类中的职业技能有着相似的发展轨迹。未来可以根据增长曲线模型等对职业技术的发展趋势做一定的预测，并衡量职业技能的发展潜力，同样可以应用于职业推荐系统中，使得推荐算法能够推荐更具发展潜力的职业给用户。这些都需要依赖对职业技能生命曲线高效且准确的聚类方法。现有最常用的聚类方法是K-Means方法，但是聚类中心点选择的好坏对聚类效果影响非常大。常用的聚类中心点的选择方法有两种：随机选取和选取彼此距离比较远的数据点。前者在数据集上随机选取K个点作为聚类中心点；后者先从数据集中随机选择一个数据点作为初始聚类中心，然后计算其他数据点到该点的距离，选择距离最远的数据点作为第二个初始聚类中心点，接着计算其他点到前两个的点的平均距离，选择距离最远的点作为第三个聚类中心点。以此类推，直到选出K个初始聚类中心点。第一种方法随机性大，如果随机选取的聚类中心点比较接近聚类效果差，在大部分情况下聚类效果较差。第二种方法相比随机选择法有较大的改善，能够选择出彼此距离相对较远的K个点，使得最后的聚类结果较好，但此方法依然存在一定的不稳定性，由于第一个点是随机选取，因此在某些情况下依然会形成较差的聚类效果。

针对职业技能生命曲线难以刻画，职业技能生命曲线聚类中心点难以选择的问题因此需要找到合适的职业技能生命曲线聚类方法。

发明内容

本发明的目的在于针对针对职业技能生命曲线难以刻画，职业技能生命曲线聚类中心点难以选择的问题，提供一种刻画高频职业技能生命曲线模型并为高频职业技能生命曲线聚类提供高效且稳定的聚类方法。

本发明解决上述技术问题所采用的技术方案为：

本发明涉及的一种基于K-Means算法改进的高频职业技能生命曲线聚类方法，其特征在于，其包括以下步骤：

1)采用WebMagic爬虫系统爬取用户信息形成用户文档库；

2)采用MongoDB数据管理工具，挖掘高频职业技能；

3)采用MongoDB数据管理工具，基于用户之间的点赞关系，使用用户年龄信息进行分段统计，构建高频职业技能生命曲线；

4)使用密度峰算法选取K个职业技能生命曲线聚类中心；

5)使用K-Means算法对职业技能生命曲线进行聚类；