[发明专利]一种信息归类方法和系统

权利要求书

1.一种信息归类方法，其特征在于，所述方法包括：

将待处理数据收集并存储到分布式文件系统HDFS文件系统中；

利用硬聚类K-means算法对存储到所述HDFS文件系统中的所述数据进行聚类，并获得一个或者多个聚类数据群；将获得的每一个所述聚类数据群分别作为一类热点信息。

2.如权利要求1所述的信息归类方法，其特征在于，所述利用K-means算法对存储到所述HDFS文件系统中的所述数据进行聚类包括：

21、从存储到所述HDFS文件系统中的全部所述数据中任意选择k个数据，并将所述k个数据的当前位置作为初始聚类中心；其中，k为正整数，是预先给定的聚类数；

22、计算全部所述数据中的每一个未被选择的数据与k个所述初始聚类中心的距离；

23、获得所述每一个未被选择的数据与全部k个所述初始聚类中心计算出的全部所述距离中的最小距离；

24、将所述未被选择的数据分配给与该最小距离相对应的所述初始聚类中心；

25、根据每一个所述初始聚类中心所分配到的全部所述未被选择的数据的分布情况，拟合出每一个所述初始聚类中心所分配到的全部所述未被选择的数据的均值中心位置，并将所述均值中心位置作为聚类中心；

26、判断所述初始聚类中心与所述聚类中心的位置是否相同，如果所述初始聚类中心与所述聚类中心的位置不相同，则进入步骤27；如果所述初始聚类中心与所述聚类中心的位置相同，则所述聚类结束；

27、将k个所述初始聚类中心处的所述数据分别迁移到与每个所述初始聚类中心相对应的所述聚类中心；并返回步骤22。

3.如权利要求2所述的信息归类方法，其特征在于，所述聚类数据群是指：所述聚类中心处的所述数据与被分配给所述聚类中心的所述未被选择的数据共同组成的数据群。

4.如权利要求1所述的信息归类方法，其特征在于，所述方法还包括：采用Fortune算法对获得的每一类所述热点信息分别生成一个泰森多边形Voronoi图。

5.如权利要求4所述的信息归类划分方法，其特征在于，所述采用Fortune算法对获得的每一个所述聚类中心分别生成一个Voronoi图包括：

将一个所述聚类数据群中的每一个数据分别作为一个定点；

采用预设的扫描线从预设起点开始移动，对整个所述聚类数据群进行扫描；获得多个以所述定点为焦点，以所述扫描线为准线的抛物线；

当所述扫描线对所述聚类数据群扫描结束时，获得的多个所述抛物线中每相邻的两个所述抛物线之间的交点以及所述交点之间的连线形成的多个多边形域构成所述Voronoi图；其中，每个所述多边形域包含一个所述定点。

6.一种信息归类系统，其特征在于，所述系统包括：收集模块和聚类模块；

所述收集模块，用于将待处理数据收集并存储到分布式文件系统HDFS文件系统中；

所述聚类模块，用于利用硬聚类K-means算法对存储到所述HDFS文件系统中的所述数据进行聚类，并获得一个或者多个聚类数据群；将获得的每一个所述聚类数据群分别确定为一类热点信息。

7.如权利要求6所述的信息归类系统，其特征在于，所述聚类模块利用K-means算法对存储到所述HDFS文件系统中的所述数据进行聚类是指：

71、从存储到所述HDFS文件系统中的全部所述数据中任意选择k个数据，并将所述k个数据的当前位置作为初始聚类中心；其中，k为正整数，是预先给定的聚类数；

72、计算全部所述数据中的每一个未被选择的数据与k个所述初始聚类中心的距离；

73、获得所述每一个未被选择的数据与全部k个所述初始聚类中心计算出的全部所述距离中的最小距离；

74、将所述未被选择的数据分配给与该最小距离相对应的所述初始聚类中心；

75、根据每一个所述初始聚类中心所分配到的全部所述未被选择的数据的分布情况，拟合出每一个所述初始聚类中心所分配到的全部所述未被选择的数据的均值中心位置，并将所述均值中心位置作为聚类中心；

76、判断所述初始聚类中心与所述聚类中心的位置是否相同，如果所述初始聚类中心与所述聚类中心的位置不相同，则进入步骤77；如果所述初始聚类中心与所述聚类中心的位置相同，则所述聚类结束；

77、将k个所述初始聚类中心处的所述数据分别迁移到与每个所述初始聚类中心相对应的所述聚类中心；并返回步骤72。