[发明专利]实时流数据处理方法、装置、计算机设备和存储介质

权利要求书

1.一种实时流数据处理方法，所述方法包括：

获取多条原始实时流数据；

将所述多条原始实时流数据进行标准化处理，处理得到多条标准实时流数据；

执行预部署的规则计算任务对所述多条标准实时流数据进行规则计算，所述规则计算任务包括多个子任务；

所述执行预部署的规则计算任务对所述多条标准实时流数据进行规则计算，包括：

定时获取所有所述子任务的实时统计的数据处理数据；

根据每次获取到的所有所述子任务的数据处理数据确定出最新的数据分组策略；

根据所述最新的数据分组策略确定出每条所述标准实时流数据对应的子任务，将每条所述标准实时流数据分配给其对应的子任务；

执行每个所述子任务对其分配到的标准实时流数据进行规则计算；

其中,所述执行每个所述子任务对其分配到的标准实时流数据进行规则计算，包括：

执行每个所述子任务以根据其分配到的任一条标准实时流数据中包含的规则匹配信息获取该标准实时流数据对应的业务规则，并根据所述业务规则确定所述业务规则的最优计算路径，按照所述最优计算路径对该标准实时流数据进行规则计算；

其中,所述根据所述业务规则确定所述业务规则的最优计算路径，包括：

将所述业务规则解析为一个规则树，所述规则树以所述业务规则中的每个原子规则作为叶子节点，且以连接每个所述原子规则的逻辑运算符作为分支节点；

根据每个所述原子规则包含的字段数量和逻辑运算符复杂度，计算得到每个所述原子规则的计算复杂度；

根据每个所述原子规则的计算复杂度对每个所述原子规则进行分层，并根据每个所述原子规则的计算复杂度和每个所述分支节点的逻辑运算符复杂度逐层计算每个所述分支节点的计算复杂度；

按照所述规则树从上到下的分层，逐层根据每个所述分支节点的计算复杂度从小到大地排序标记出每个所述原子规则的序号，根据每个所述原子规则的序号计算得到每个所述原子规则对应的计算路径参数值，所述计算路径参数值为每个所述原子规则到所述规则树的根节点之间最短路径上所经过的节点的序号之和；

将按照每个所述原子规则对应的计算路径参数值从小到大对所述业务规则中的所有所述原子规则依次进行计算的计算路径确定为所述业务规则的最优计算路径。

2.根据权利要求1所述的方法，其特征在于，所述数据处理数据包括输入数据量和输出数据量，所述根据每次获取到的所有所述子任务的数据处理数据确定出最新的数据分组策略，包括：

通过动态调整算法根据每次获取到的所有所述子任务分别对应的输入数据量和输出数据量确定出最新的数据分组比例，以所述最新的数据分组比例作为所述最新的数据分组策略；

所述根据所述最新的数据分组策略确定出每条所述标准实时流数据对应的子任务，将每条所述标准实时流数据分配给其对应的子任务，包括：

按照所述最新的数据分组比例将所述多条标准实时流数据分为若干个实时流数据分组，所述实时流数据分组的数量与所述规则计算任务包括的子任务的数量相同，一个所述子任务用于处理一个所述实时流数据分组中的所有数据；

为每条所述标准实时流数据添加与其所在实时流数据分组对应的分组标记；

根据每条所述标准实时流数据的分组标记将其分配给与其分组标记对应的子任务。

3.根据权利要求2所述的方法，所述数据处理数据还包括积压数据量，其特征在于，所述通过动态调整算法根据每次获取到的所有所述子任务的输入数据量和输出数据量计算得到最新的数据分组比例，包括：

根据每次获取到的所有所述子任务分别对应的输入数据量、输出数据量以及积压数据量计算出所有所述子任务分别对应的最新的数据处理完成比值；

根据所有所述子任务分别对应的所述数据处理完成比值和所述输出数据量计算得到所有所述子任务之间最新的数据处理容量的预估比例，将所述数据处理容量的预估比例作为所述数据分组比例。