[发明专利]基于K-Means算法改进的高频职业技能生命曲线聚类方法

权利要求书

1.一种基于K-Means算法改进的高频职业技能生命曲线聚类方法，其特征在于，其包括以下步骤：

1)采用WebMagic爬虫系统爬取用户信息形成用户文档库；

2)采用MongoDB数据管理工具，挖掘高频职业技能；

3)采用MongoDB数据管理工具，基于用户之间的点赞关系，使用用户年龄信息进行分段统计，构建高频职业技能生命曲线；

4)使用密度峰算法选取K个职业技能生命曲线聚类中心；

5)使用K-Means算法对职业技能生命曲线进行聚类；

6)采用戴维森堡丁指数度量同一个类簇中数据点的紧密程度以及不同类的聚类中心的离散程度来评估聚类结果，评估不合格，增加职业技能生命曲线聚类中心的数量K，返回步骤4，评估合格则进入下一步；

7)基于评估结果，选取戴维森堡丁指数指标趋向稳定的K个初始聚类中心点进行聚类得到最终高频职业技能生命曲线聚类结果。

2.根据权利要求1所述的基于K-Means算法改进的高频职业技能生命曲线聚类方法，其特征在于：在步骤4)和步骤5)的过程中，通过皮尔森相关系数度量的方式，计算其中任意两个职业技能生命曲线的相似度。

3.根据权利要求1所述的一种基于K-Means算法改进的高频职业技能生命曲线聚类方法，其特征在于：所述的步骤1爬取的用户信息包含用户ID、用户年龄、用户掌握的职业技能、用户每个职业技能拥有的点赞数。

4.根据权利要求1所述的一种基于K-Means算法改进的高频职业技能生命曲线聚类方法，其特征在于：所述的步骤2高频职业技能为拥有这项技能的人数占总人数的比例超过0.1％的技能。

5.根据权利要求1所述的一种基于K-Means算法改进的高频职业技能生命曲线聚类方法，其特征在于：所述的步骤3高频职业技能的生命曲线为该技能在不同年龄段中拥有的平均点赞数。

6.根据权利要求1所述的一种基于K-Means算法改进的高频职业技能生命曲线聚类方法，其特征在于：所述的步骤4中初步设置职业技能生命曲线聚类中心的个数为2个；所述步骤6中，若评估不合格，每次增加的职业技能生命曲线聚类中心的数量1个。

7.根据权利要求2所述的一种基于K-Means算法改进的高频职业技能生命曲线聚类方法，其特征在于：采用皮尔森相关系数计算两个职业技能生命曲线的相似度的具体步骤为：

4.1)从两个职业技能生命曲线中提取两个变量X和Y，变量X和Y分别表示两个职业技能生命曲线在各个年龄段的取值；

4.2)计算两个变量X与Y的期望值μ_x与μ_y，期望值是指变量X和Y中，不同年龄段的平均点赞数之和与年龄段数量的商；

4.3)计算两个变量X和Y的标准差σ_x和σ_y，

4.4)计算两个变量线性相关程度的皮尔森相关系数ρ，

4.5)计算两条职业技能生命曲线之间的距离，