[发明专利]一种基于优先级的实时ID拉通引擎方法

权利要求书

1.一种基于优先级的实时ID拉通引擎方法，其特征在于，包括如下步骤：

S1、ID拉通引擎从kafka中获取实时的消费行为日志数据，并从行为日志数据中提取出所有的ID，然后找到mainID；每条行为日志数据中，mainID将会与除它自己之外的其它ID分别建立ID关系，即每条行为日志数据产出的ID关系的条数为n-1，n为该行为日志数据中ID的数量；

S2、根据步骤S1中生成的ID关系，更新Redis数据库中ID关系的权重；

S3、根据ID优先级由高到低的排序，逐级计算当前层级的ID的SuperID归属的变更，并更新Redis数据库中的SuperID归属的ID列表；

步骤S2中，所述更新Redis数据库中ID关系的权重采用如下两种方式中的任意一种：

1)基于共现次数更新权重：每条ID关系在行为日志数据中每出现一次，则权重值提升1；

2)基于最新共现优先更新权重：使用共现时刻的系统时间戳，保证最新共现的ID关系之间的权重是最大的；

步骤S2中，更新数据库中ID关系的权重时，分别更新数据库中mainID保存的与各ID之间的权重，以及各ID保存的与mainID之间的权重。

2.根据权利要求1所述的基于优先级的实时ID拉通引擎方法，其特征在于，步骤S3的具体过程为：

S3.1、设定优先级一共分为n级，每层的编号为0～n-1；

S3.2、先确定最高层优先级n-1中各ID的SuperID归属；

S3.3、按照ID优先级从高到低依次计算n-2至0层优先级中各ID的SuperID归属；每层优先级中各ID的SuperID归属按如下方式确定：

当一个待确定SuperID归属的ID只与高于自身优先级的一个ID相关联时，则该待确定SuperID归属的ID与该高于自身优先级的一个ID同属一个SuperID；

当一个待确定SuperID归属的ID与高于自身优先级的两个或以上的ID相关联时：如果该高于自身优先级的两个或以上的ID均同属于一个SuperID，则该待确定SuperID归属的ID就和该高于自身优先级的两个或以上的ID同属一个SuperID；如果该高于自身优先级的两个或以上的ID属于不同的ID，则比较该待确定SuperID归属的ID与这些高于自身优先级的ID之间的权重，该待确定SuperID归属的ID和与自身之间权重最大的那个高于自身优先级的ID同属一个SuperID；

当一个待确定SuperID归属的ID不与其他任一ID相关联时，该待确定SuperID归属的ID会独立成组，并单独为该待确定SuperID归属的ID分配一个SuperID；

当一个待确定SuperID归属的ID既不与任何高于自身优先级的ID相关联，也不与相同优先级中其他和高层优先级ID具有关联关系的ID相关联，该待确定SuperID归属的ID会独立成组，并单独为该待确定SuperID归属的ID分配一个SuperID；

当一个待确定SuperID归属的ID不与任何高于自身优先级的ID相关联，但与相同优先级中其他和高层优先级ID具有关联关系的ID相关联时，该待确定SuperID归属的ID和该相同优先级的ID同属一个SuperID。

3.根据权利要求1所述的基于优先级的实时ID拉通引擎方法，其特征在于，还包括有如下步骤：

S4、产出快照数据：

假设当前时刻为T1，处理完第一批ID关系之后时刻为T2，处理完第二批ID关系之后时刻为T3，如此类推，处理完第n批ID关系之后时刻为Tn-1；T1时刻数据库中数据的状态与T2时刻数据库中数据的状态的差异，即为T1,T2的快照数据；T2时刻数据库中数据的状态与T3时刻数据库中数据的状态的差异，即为T2,T3的快照数据；Tn-1时刻数据库中数据的状态与Tn时刻数据库中数据的状态的差异，即为Tn-1,Tn的快照数据；

设定系统启动之前的时刻为T0，此时Redis数据库中无任何数据，则保存T0,T1、T1,T2…Tn-1,Tn的快照数据。