[发明专利]基于快照相似性的大规模时变图存储方法及系统

说明书

本发明涉及一种基于快照相似性的大规模时变图存储方法及系统，该方法包括以下步骤：步骤S1、基于快照并集及快照位图表示时变图；步骤S2、建立时变图数据库；步骤S3、更新时变图数据库；步骤S4、基于快照并集删减的多快照内存载入。该方法及系统不仅有利于减少存储时变图所需空间，提高时变图存储效率，还有利于减少载入时变图所需的内存空间，提高内存空间利用率。

技术领域

本发明属于时变图处理技术领域，具体涉及一种基于快照相似性的大规模时变图存储方法及系统。

背景技术

随着电子商务和社交网络等广泛普及，推动着时变图计算及存储的应用需求不断发展。时变图由多张快照组成，每个快照表示图数据结构演变过程中某个时间点的状态，通过分析时变图快照间的内在关系，可以预测现实世界未来的发展趋势，为国家安全、金融、新零售、社交、政府、企业等各个不同领域提供决策支持。

由于图数据的复杂性，采用内存图计算模式，可以获得更高的算法执行效率，而现存的方法是通过将多张快照同时加载进内存中，为每个快照分配独立的存储空间，然后针对多快照对算法的执行效率进行优化，以此缩短时变图算法的执行时间，这种方法将快照独立存储，因此快照访问速度快，但存储了重复的顶点和边，导致内存使用率低；一个方法是采用“基线快照+增量快照”的存储方式，内存中先存储第一张快照，即基线快照的所有顶点和边，其余的增量快照仅存储与基线快照有差异的顶点和边；而另一个方法采用的是“基线快照+日志”的存储方法，内存中先存储第一张快照，即基线快照的所有顶点和边，而每个快照日志记录了该快照从上一张快照演变到当前快照过程中所增加或删除的顶点和边的情况。

但是由于组成时变图的多张快照之间具有高度相似性，即相邻快照之间存在大量相同的顶点和边，造成了顶点以及边的重复存储。因此，不论是在外存对时变图进行存储，还是将时变图中的部分快照载入内存进行计算，都浪费了大量不必要的存储空间，大大降低了存储利用率。采用“基线快照+增量快照”或“基线快照+日志”的方法时，当外部业务系统需要访问某张快照时，需要遍历该快照到基线快照之间的所有增量存储的顶点和边（或日志）才能获得所需快照，快照重建速度慢。

针对上述存储以及载入时变图多快照存储利用率低和快照重建速度慢的问题，亟需一种基于快照相似性的大规模时变图高效存储方法及系统。

发明内容

本发明的目的在于提供一种基于快照相似性的大规模时变图存储方法及系统，该方法及系统不仅有利于减少存储时变图所需空间，提高时变图存储效率，还有利于减少载入时变图所需的内存空间，提高内存空间利用率。

为实现上述目的，本发明采用的技术方案是：一种基于快照相似性的大规模时变图存储方法，包括以下步骤：

步骤S1、基于快照并集及快照位图表示时变图；

步骤S2、建立时变图数据库；

步骤S3、更新时变图数据库；

步骤S4、基于快照并集删减的多快照内存载入。

进一步地，所述步骤S1的实现方法为：

时变图由多快照组成，每张快照代表时变图在某个时间点的一个状态，该方法首先对时变图中的多快照执行并集操作，得到时变图快照并集，它包含了所有在时变图多快照中出现过的顶点和边，并且每个对象，即每个顶点或边都只存储一次，不会重复存储；在创建快照并集的过程中，为每个对象创建相应的由N位组成的位图，包括为顶点创建点位图以及为边创建边位图，其中位图的位数N与快照总数量相等，对象位图的每一位占用的存储空间为一个比特位；通过存在位的方法来表示一个对象是否属于某张快照中，对于某个对象位图的第i位，1≤i≤N，“0”表示该对象不属于第i个快照，“1”表示该对象属于第i个快照。

进一步地，所述步骤S2具体包括以下步骤：

步骤A1、获取基线快照以及增量快照数据；

步骤A2、创建相应的时变图目录；

步骤A3、根据基线快照创建顶点及其位图文件；