[发明专利]一种公安情报行业中的群体发现方法

摘要

本发明公开了一种公安情报行业中的群体发现方法，首先对数据进行数据提取、转换和加载，利用Hash表存储共现度数据，实现结构化数据向半结构化数据的转化；然后过滤噪音数据，融合多维共现度数据建立关键图谱，实现从半结构化数据到非结构化数据的转化；最后，在关键图谱上进行社会网络分析，利用图上并行聚类算法获取群体内部以及群体之间的成员联系，并用图结构的直观方式来呈现；本发明提供的这种群体发现方法，利用个人的行为特征数据用共现关系的思想建立关键图谱，进行图上的聚类分析；能从个人的行为特征数据发现多个群体及群体之间的关键联系人物，为公安情报分析提供辅助支持。

主权项

1.一种公安情报行业中的群体发现方法，其特征在于，包括如下步骤：/n(1)对个体的原始行为数据进行抽取和数据清洗，并对获取的数据以数据块进行二级分区存储；/n(2)对每一个分区中存储的数据块并行进行共现度的计算，并采用Hash表存储共现度；/n所述步骤(2)包括如下子步骤：/n(2.1)扫描所有分区的数据块，统计每个个体出现的次数，并用<Key，Value>的格式保存；其中，Key为个体唯一标识，Value为个体出现次数；/n(2.2)在每个一级分区内部，将所有二级分区存储到一个队列中；并从队首取出一个二级分区P_i，将二级分区P_i内所有数据块加载到内存；/n并在内存中按个体出现的时间对数据块进行排序，将排序后的数据块存入第一列表list_i；/n(2.3)判断队列中是否存在二级分区P_i的下一个自然时间的二级分区P_i+1；若是，则将P_i+1分区内的数据块在内存中按个体出现的时间排序；若否，则结束；/n(2.4)将第一列表list_i里的数据块复制到第一列表的下一个列表list_i+1中，获取第一列表里的最后一条记录的行为出现时间T_i；/n从所述二级分区P_i+1排序后的记录中将行为出现时间与T_i之间的时间差在阈值之内的记录按照时间递增的顺序插入到所述下一个列表list_i+1；/n(2.5)用两层循环遍历第一列表list_i及其下一个列表list_i+1；/n每次遍历时，判断第一列表list_i的第k项行为出现的时间与其下一个列表list_i+1的第j项行为出现的时间之差是否小于预设的阈值；/n若是，则判定两项中的个体共现次数为1次、两个体的“共现度”为1；若否，则判定两项中的个体不构成共现关系；/n(3)以共现度不小于最小支持度的两个个体为顶点、以两顶点之间的连线为边建立共现关系图谱；/n(4)利用SCAN算法根据所述共现关系图谱进行聚类处理，识别出群体。/n