[发明专利]一种基于聚合边与时序聚合边的快速海量时序数据处理方法

说明书

本发明公开了一种基于聚合边与时序聚合边的快速海量时序数据处理方法，实现在海量数据模式下，对于基于图数据结构的关联关系进行快速实时处理。本发明在基于时间窗口的增量式流计算上，提出了一种创新性的“聚合边”和“时序聚合边”的数据结构，适用于实时动态图的数据建模。本发明同时引入了一种时序图查询语言，增加时序信息的描述语义，不仅支持基本的基于点、边和属性的查询，还能够实现用户针对某一个时间窗口内的指标计算结果进行图查询，包括图匹配和图过滤。本发明尤其适用于基于海量数据挖掘的营销、实时风控等领域，具有良好的时效性控制及高度可扩展能力。

技术领域

本发明提供了一种基于聚合边与时序聚合边的快速海量时序数据处理方法。该方法包括了基于图数据结构的建模、动态建图、聚合边(Aggregated Edge)和时序聚合边(Time-series Aggregated Edge)、以及在聚合边基础之上的图关联关系查询和模式匹配等相应方法。主要适用于金融、电力、交通、互联网等领域，对数据中存在的关联关系进行实时分析。

背景技术

在金融实时风控、精准营销等领域，经常会涉及如某用户“过去24小时的曾消费过的商户”、“过去180天的累计转账额大于100万元的对手方”等相关存在着关联关系变量等的计算问题。同时也会涉及比如某用户“过去1周内是否给另外某一用户转账次数超过100笔”这样的基于关联关系的模式匹配问题。

在解决关联关系查询中，简单的查询可以通过基于数据库的表结构与表拼接(join)来查询。在复杂的业务场景中，当实体有很多不同的类型，与此同时，关系的不同类型也很多的时候，由于数据库表的本质上是基于二元关系，基于数据库表的拼接操作就会很复杂，查询性能有可能无法满足业务要求。技术上面一般会选择把复杂业务场景上的关联关系建模成图(Graph)的结构。图是一种由节点(Vertex)和边(Edge)组成的数据结构。图数据库(Graph Database)是一个使用图数据结构进行语义查询的数据库，它使用节点、边和属性来表示和存储数据。在对业务场景进行建模的时候，一般会选择使用属性图模型的建模方式。在属性图中，节点代表是实体，边代表是关系。节点或边上可以有零个、一个或多个属性，一个实体的属性键是唯一的。比如在交易的业务场景中，属性图模型会把用户当成节点，把发生过交易当成边。边上的属性可以记录交易的详情(交易金额，交易地点等)。如果两个用户间发生多笔交易，则会建立多条边表明关系。

在使用通用的图数据库产品属性图模型建模的技术方案进行关联关系计算中存在了几个主要缺陷，分别是：

1.查询结果集数据量很大的情况下，响应时间较长，无法满足业务上对于实时响应时间的要求。在真实的业务场景下，查询过去30天因为发生过交易从而产生关联关系的对象的时候就会因为过去30天的巨大的交易流水量，无法在集群单结点上完成关联关系的查询计算。

2.图数据库产品把所有数据信息转化为点、边、属性放入图库中，这样做的优点是图数据库中的交易信息完整，便于展示；但缺点是数据太过全面，导致计算时将需计算的数据筛选出来就需要一部分时间。

3.需要较大规模的计算设备。由于处理方式需要进行的基于图数据结构的密集计算，一般需要搭建大规模集群和基于图计算框架中间件来解决问题。这样就需要比较大的硬件成本和中间件维护成本。

4.目前的图数据库产品缺乏基于时序聚合的能力。在查询基于时序聚合的业务场景下，在查询过程还要同时进行聚合计算，造成了查询的延误性。很多的图数据库产品在海量数据的情况下甚至无法实时产生查询结果。

发明内容

针对目前图数据库或是图计算中间件产品处理海量时序数据存在的问题，本发明提出一种基于聚合边与时序聚合边的快速海量时序数据关联关系处理方法，实现在海量数据模式下，对于基于图数据结构的关联关系进行快速的实时处理。