[发明专利]一种基于规则路由的数据流实时分类方法及系统

说明书

技术领域

本发明涉及一种基于规则路由的数据流实时分类方法及系统。

背景技术

随着互联网的迅猛发展，公司业务数据的种类和数量不断增多。在数据总线中如何对数据流进行高效地识别与分类，是大数据处理中一个亟待解决的问题。

数据流分类是指系统能够按照一定的过滤规则对接收到的数据流进行业务识别及分类，以便系统能够根据不同的数据流类别进行相应的后续业务处理。其中，数据流分类规则一般都是基于数据流中的多个字段特征形成的。分类规则如何进行描述和存储、分类方法流程如何设计是影响数据流分类性能的重要因素。

目前对数据流进行分类的方法主要有以下几种：

1)过滤规则用程序语言实现。这种方法实现比较直接，但由于规则写死在程序中，导致规则无法进行灵活的通用配置。如果出现了具有新特征的数据源，或者规则特征发生变更，通常需要重新编程才能对这些数据流加以识别和分类；

2)使用脚本定制过滤规则。该方法比程序实现更加灵活，但脚本定制风格各异，规则可读性不高，用户在使用该方法定制过滤规则时，仍然有较大的规则学习成本，不利于规则进行扩展。

发明内容

针对上述技术问题，本发明所要解决的技术问题是提供一种基于数据流特征，采用路由方式，能够有效针对数据流实现实时过滤分类的基于规则路由的数据流实时分类方法。

与此相应，针对上述技术问题，本发明还要解决的技术问题是提供一种结构简洁，用于实现本发明设计基于规则路由的数据流实时分类方法的基于规则路由的数据流实时分类系统。

本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种基于规则路由的数据流实时分类方法，首先分别获取指定进行路由分类处理的各类数据流的特征，以此分别定义该各类数据流的分类特征规则，作为各类目标数据流分类特征规则，用于区分各类目标数据流，同时，分别为各类目标数据流指定路由目标；然后，针对实时获得的各个待处理数据流，分别进行如下步骤操作：

步骤001.将待处理数据流与各类目标数据流分类特征规则分别进行匹配操作，若匹配不成功，则该待处理数据流不属于指定进行路由分类处理的数据流种类，该待处理数据流的操作结束；若匹配成功，则进入步骤002；

步骤002.根据该待处理数据流匹配成功的目标数据流分类特征规则，获取该目标数据流所对应的路由目标，将该待处理数据流根据该路由目标进行分类输出。

作为本发明的一种优选技术方案：根据获得的指定进行路由分类处理的各类数据流的特征，通过类SQL语言分别定义该各类数据流的分类特征规则，作为各类目标数据流分类特征规则；

在所述针对实时获得的各个待处理数据流分别进行的操作中，步骤001之前还包括步骤000如下：

步骤000.根据定义目标数据流分类特征规则的类SQL语言，采用指定数据模型将待处理数据流的格式转化为类SQL语言可以识别的数据格式，进入步骤001。

作为本发明的一种优选技术方案：所述步骤001中，针对待处理数据流与各类目标数据流分类特征规则分别进行的匹配操作，具体包括如下步骤：

步骤00101.根据树的数据结构形式，分别针对各类目标数据流分类特征规则进行构造，获得分别对应各类目标数据流分类特征规则的各个分类树，其中，各个分类树的叶子节点代表目标数据流分类特征规则中的子特征，中间节点代表各子节点的复合特征，根部节点代表了目标数据流分类特征规则所对应的路由目标；进入步骤00102；

步骤00102.将待处理数据流分别与各个分类树进行匹配操作，其中，待处理数据流由叶子节点开始进行匹配操作，若叶子节点匹配成功，则向上与该叶子节点对应的父节点进行匹配，以此类推，直至根节点进行匹配操作，上述过程中，若全部匹配成功，则该待处理数据流符合当前与之进行匹配操作的规则树，进入步骤002；若出现匹配不成功的节点，则该待处理数据流不符合当前与之进行匹配操作的规则树，该待处理数据流与该规则树的匹配操作结束。

本发明所述一种基于规则路由的数据流实时分类方法采用以上技术方案与现有技术相比，具有以下技术效果：本发明设计的基于规则路由的数据流实时分类方法，基于数据流特征，灵活配置目标数据流分类特征规则，采用过滤方式，针对来自不同源、不同类型的数据流实现匹配操作，区分获得各类指定进行路由分类处理的数据流，最终针对数据流实现实时高效过滤分类，有效提高了数据流实际应用的工作效率，并且具有很强的可扩展性。