[发明专利]基于Spark的节点相似度计算方法、装置及终端

说明书

本发明实施例提供一种基于Spark的节点相似度计算方法、装置及终端，方法包括：获取待处理的二部图中的节点数据，对节点数据进行序列化处理；根据处理后的节点数据生成概率转移矩阵和相似度矩阵；对概率转移矩阵和相似度矩阵进行多级自适应分片迭代处理，获得中间结果矩阵；将中间结果矩阵与预先设置的衰减系数做乘积运算，获得最终结果矩阵；根据最终结果矩阵获得节点之间的相似度。本发明提供的技术方案，具体为一种基于Spark的大规模矩阵乘法算法，能够对数据进行多级自适应分片，并可以将Simrank计算公式过程拆分为两部分，降低了计算规模和中间数据存储规模；从而能够高效地计算亿级别节点之间的相似度。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于Spark的节点相似度计算方法、装置及终端。

背景技术

Simrank是一种用于计算图中节点之间相似度的技术，如在二部图中，图中有两种类型的节点，同一种类型的节点之间没有边相连，两种不同类型的节点之间才有边相连，Simrank算法可以计算同一种类型节点之间的相似度。如电商场景的个性化推荐中，用户集合与商品集合的关系可以抽象为二部图，用户点击过商品，则该用户与点击的商品之间可以有边相连，通过Simrank可以计算二部图中用户之间或者商品之间的相似度；在搜索广告场景中，用户搜索并点击过广告，用户使用过的检索内容(称作query)的集合与广告(称作ad)的集合的关系可以抽象为二部图，指定的query检索得到的ad列表中有ad被点击，则指定的query与被点击的ad之间可以有边相连，通过Simrank可以计算二部图中query之间或者ad之间的相似度。Simrank这种基于图的结构关系计算节点间的相似度，以及相似度传播的特点，常常被应用在推荐、搜索广告的召回阶段，为后续排序过程挖掘出候选项。

对于应用Simrank算法计算二部图中同一种类型节点间的相似度而言，当面对大规模的数据量，如亿级别数量的节点间相似度时，会发生数据异构、时间和空间太大等问题，在计算过程中，会出现计算和存储开销大导致无法计算或计算耗时的问题：

1)以搜索广告中的query-ad构建的二部图为例，query是用户输入的字符串，可能出现中文、英文、可见/不可见字符、数字等，而且长短不一；

2)Simrank的时间复杂度为O(n⁴)，当二部图中一种类型的节点数量为10⁶量级(百万)时，时间复杂度非常高；尽管并不是同一种类型节点，任何两个之间都相似，都需要计算相似度。不过，Simrank基于整个图的结构关系计算节点间的相似度，并且两个节点之间即时没有共同连接的节点，因为相似度传播的特点，也可能产生相似度。因此，在计算过程中，需要计算节点间相似度。

3)Simrank的空间复杂度为O(n²)，当二部图中一种类型的节点数量为10⁶量级(百万)时，最终会得到10¹²量级(千亿)的相似对，空间复杂度非常高。而且，在迭代计算Simrank时，本轮迭代计算需要使用上一轮计算的结果，随着迭代轮数增加，每轮会有越来越多的节点间产生相似度，因此，需要存储这些大量的数据，并且，需要快速从这些大量的相似对中检索出指定的节点对在上一轮计算的相似度结果。计算过程中，非常容易发生单点内存溢出的问题，以及计算耗时久的问题。

目前实现Simrank的方法，包括：普通的计算方法、基于MapReduce模型的计算方法、空间换时间的方法、近似的方法和普通的矩阵乘法，这些方法在实现Simrank时存在一定的局限性：

1)普通的计算方法，即按照Simrank公式步骤计算，这种计算方式不适合分布式计算，只能在一台计算机上计算，在面临大数据量时容易发生内存溢出；

2)基于MapReduce模型的计算方法，其中，MapReduce模型为一个开源的大数据分布式并行计算框架，计算过程分为Map阶段和Reduce阶段；Map阶段得到的数据项在数据量非常大的情况下，在Reduce阶段按照key求和时，会出现读取和存储数据，以及网络传输开销非常大，任务容易失败；