[发明专利]大规模流图在线自适应采样空间的三角形计数方法及装置

说明书

本发明公开一种大规模流图在线自适应采样空间的三角形计数方法及装置，其中方法是在数据图流的规模未知和可用内存足够的情况下，当有新边到达时，能够通过蓄水池的两次抽样，增量式、自适应的维护蓄水池空间，保证了实时采样率不低于用户给定的阈值，以便于能够查找到更多的三角形数目，从而提高三角形数目评估的准确性。同时，能够实时地计算全局三角形的数目与局部三角形的数目，可应用于多种现实场景，在保证充分利用内存资源、硬件资源的同时，为三角形进行计数评估的提供更高的准确性。

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种在线自适应采样空间的三角形计数方法及装置，更具体地为一种基于大规模流图中在线自适应采样空间的三角形计数方法及装置。

背景技术

大规模流图的在线三角形数目检测具有广泛的应用场景。考虑到流图的数据流庞大及内存容量有限，很难将流图完整的存储在内存中，因此目前三角形计数算法是采用基于抽样的近似计算方法。相关的最新研究都是针对有界抽样空间来维护一定的均匀样本，然后再使用各种三角形计数算法。

由于流图的规模是无法提前获知的，以上方法的缺陷在于：随着流图量的增加而导致采样率不断降低，进而影响到结果的准确性。

申请号为201810499136.X的中国专利公开了一种基于随机抽样的数据流图中的三角形计数方法及装置，该专利对数据流图中的三角形计数评估采用了三个模块单元，即为抽样单元、子图统计单元和原图估算单元。具体来讲，首先，是对接收的原始数据流图中的边进行抽样得到子图，并计算存留比；然后，对抽样获得的子图中的三角形的数量进行统计；最后，再根据统计得到的子图中三角形的数量及所述的存留比，估算接收到的原始数据流图中的三角形数量。

其中，抽样单元采样蓄水池抽样方法对接收的原始数据流图中的边进行抽样，给出了计算存留比a为：

这里的m表示截止到目前一共接收到的边的总数量，k表示蓄水池抽样方法抽取的子图中边的数量。在原图估算单元中，使用以下公式来得出原始数据流图中三角形数量N为：

N＝n*a³。

该专利公开的技术方案仅支持全局三角形计数评估，不能对局部三角形数量进行评估。其中，全局三角形数量是指整个原始数据流图中出现的三角形数目的总和；而局部三角形则对应于数据流图中每个节点所形成的三角形。如图1所示，在该无向图中，全局三角形有4个，分别为(A,B,E)、(F,B,E)、(B,C,E)及(C,D,E)；对于局部三角形，节点A有一个，为(A,B,E)；节点B有3个，分别为(A,B,E)、(F,B,E)及(B,C,E)；节点C有两个，分别为(B,C,E)和(C,D,E)；节点D有一个，为(C,D,E)；节点E有4个，分别为(A,B,E)、(F,B,E)、(B,C,E)及(C,D,E)；节点F有1个，为(F,B,E)。

另外，该专利采用的蓄水池抽样方法需提前知道整个数据流图的规模，才能选择合适的需在内存中维持的蓄水池空间大小。在未知数据图流的规模的情况下，若蓄水池空间分配太小，会直接造成采样率偏低，影响三角形数目评估的准确性；若蓄水池空间分配空间太大，会使该空间长时间处于未使用状态，从而浪费了内存资源，降低了内存的有效使用率。

发明内容

为了解决上述问题，本发明提供一种基于大规模流图中在线自适应采样空间的三角形计数方法，通过自适应的增大采样空间的方式，维持采样率始终不低于用户指定的采样率阈值，且能够同时评估全动态数据图流中的全局和局部三角形的数目，用以实现在充分利用内存资源的同时，为全局和局部三角形数目评估结果提供更高的准确率。

为达到上述目的，本发明提供了一种大规模流图在线自适应采样空间的三角形计数方法，其包括以下步骤：

步骤1：检测数据图流是否有新边到达，

若没有新边到达，结束处理流程；