[发明专利]数据挖掘方法及装置

说明书

本发明公开了一种数据挖掘方法，涉及数据挖掘技术领域。其中的方法包括：确定具有内聚特性的标识数据以形成内聚集合，各个内聚集合之间相互独立；各个内聚集合之间并行发掘在相同内聚集合中具有深层关联关系的标识数据。从而提高了并行发掘标识数据之间深层关联关系的效率。

技术领域

本发明涉及数据挖掘技术领域，特别涉及一种数据挖掘方法及装置。

背景技术

标识数据也称身份数据，是指能够唯一标识一个人或物体的标识信息，通常可以表示为一个字符串，其主要特点是唯一性。具体到互联网应用当中,常用的是用户标识即能够唯一标识一个人用户的一段标识信息。互联网用户的标识种类繁多，每个应用都有可能产生一种或多种用户标识。例如，一个人用户的多个手机号码，身份证号，社保号，电子邮箱账号等等。收集、保存、管理、使用这些标识信息，是进行用户信息综合全面分析的基础。标识数据的常用运算包括:增加标识数据、删除标识数据、增加标识数据间关联,、删除标识数据间关联、查询标识数据、查询标识数据间关联以及发掘标识间深度关联。

标识数据间深层关联是指不能直接根据两个标识数据的本身特征进行关联，而是比较与两个标识数据有直接或间接关联的若干个标识，综合评价判断后进行的关联。例如，判断两个电话号是否属于一个人,需要通过使用机器学习或人工总结的回归函数,综合多种关联信息(比如都在使用相同的邮箱账号,经常使用相同的邮宽带)进行判断。发掘深层关联的常用运算方式是图运算。发掘深层关联时进行并行处理，要求各数据处理单元的数据彼此独立互不依赖。因此现有并行图运算框架都是以单一节点或边为处理单元，通过直接相邻节点的属性进行深层关联的发掘，从而保证了发掘对象的独立性。

然而，为发掘深度关联所需的关联信息的来源不局限于相邻节点，因此每个节点都需要记录大量周围节点信息以供后续运算。这不仅会造成并行发掘标识数据之间的深层关联关系过程中的数据重复运算，降低标识数据之间深层关联的发掘效率，还会造成发掘过程中递归算法与关联算法的耦合，降低数据运算资源的利用率。因此，如何既能保证深度关联运算所需的充足信息，又实现并行数据深度关联发掘运算，成为了提高发掘深度关联效率的关键问题。

发明内容

本发明所要解决的一个技术问题是：如何提高并行发掘标识数据之间深层关联关系的效率。

根据本发明实施例的一个方面，提供了一种数据挖掘方法，包括：确定具有内聚特性的标识数据以形成内聚集合，各个内聚集合之间相互独立；各个内聚集合之间并行挖掘在相同内聚集合中具有深层关联关系的标识数据。

在一些实施例中，确定具有内聚特性的标识数据以形成内聚集合包括：利用pregel运算方法确定具有内聚特性的标识数据。

在一些实施例中，确定具有内聚特性的标识数据以形成内聚集合包括：将具有内聚特性的标识数据之间的关联关系用内聚图结构表示，其中，内聚图结构的节点代表具有内聚特性的标识数据，内聚图结构的边代表具有内聚特性的标识数据之间具有直接关联关系，各个内聚图结构之间相互独立。

在一些实施例中，内聚图结构中的边具有直接关联强度值，直接关联强度值表示内聚图结构的节点间的直接关联次数；确定具有内聚特性的标识数据以形成内聚集合还包括：删除直接关联强度值小于直接关联强度阈值的边。

在一些实施例中，各个内聚集合之间并行挖掘在相同内聚集合中具有深层关联关系的标识数据包括：在相同内聚集合中确定两个相同节点类型的节点；确定与两个相同节点类型的节点分别具有直接关联关系的其它各个节点类型的节点个数；计算其它各个节点类型的节点个数与相应的其它各个节点类型的深层关联权重的加权和，并将加权和确定为两个相同节点类型的节点的深层关联强度；若两个相同节点类型的节点的深层关联强度不小于预设深层关联强度阈值，则确定两个相同节点类型的节点具有深层关联关系。