[发明专利]一种分布式流数据的处理方法及系统

说明书

本发明公开了一种分布式流数据的处理方法，包括：当接收到任意流数据时，获取目标流数据的数据量，其中，所述目标流数据包含已经接收但未经过处理的各个流数据；判断所述数据量是否达到预设的数据量阈值；若是，将所述目标流数据分配给各个目标执行任务进行分布式处理。上述的处理方法，将目标流数据分配给各个目标执行任务进行分布式处理，针对同一数据量的目标流数据，处理速度快，风险侦测迟滞降低，同时采用多个目标执行任务进行并行处理，提高了处理的目标流数据的数据量，可以处理长周期的历史数据。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种分布式流数据的处理方法及系统。

背景技术

在互联网/移动互联网、物联网等应用场景中，个性化服务、用户体验提升、智能分析、事中决策等复杂的业务需求对大数据处理技术提出了更高的要求。以Hadoop为代表的批处理大数据系统需先将数据汇聚成批，当数据量达到预设的数量时，集中将批量数据加载至分析型数据仓库中，以进行高性能实时查询。

发明人对现有的大数据批处理方法进行研究发现，集中处理的方式经批量数据传递给一个执行任务(TaskManagers)进行处理，存在风险侦测迟滞高、处理时间长、无法处理长周期历史数据等问题。

发明内容

有鉴于此，本发明提供了一种分布式流数据的处理方法及系统，用以解决现有技术中集中处理的方式经批量数据传递给一个执行任务(Task Managers)进行处理，存在风险侦测迟滞高、处理时间长、无法处理长周期历史数据等问题。具体方案如下：

一种分布式流数据的处理方法，包括：

当接收到任意流数据时，获取目标流数据的数据量，其中，所述目标流数据包含已经接收但未经过处理的各个流数据；

判断所述数据量是否达到预设的数据量阈值；

若是，将所述目标流数据分配给各个目标执行任务进行分布式处理。

上述的方法，可选的，还包括：

当接收到处理完成指令时，将对应的数据转发至数据库进行存储。

上述的方法，可选的，还包括：

统计与每一个目标执行任务对应的流数据的处理时间；

当任意一个处理时间大于预设的处理时长时，将其对应的流数据作为第一流数据，停止对所述第一流数据进行处理。

上述的方法，可选的，还包括：

当接收到第二流数据处理请求时，对所述第二流数据进行处理，其中，所述第二流数据在所述目标流数据中的排序在所述第一流数据之后，所述第二流数据和所述第一流数据属于所述目标流数据。

上述的方法，可选的，将所述目标流数据分配给各个目标执行任务进行分布式处理，包括：

解析所述目标流数据中包含的各个流数据对应的业务类型；

依据每一个业务类型，查找与其对应的目标执行任务；

将与其对应的流数据发送给对应的目标执行任务进行处理。

上述的方法，可选的，将与其对应的流数据发送给对应的目标执行任务进行处理，包括：

解析所述流数据中包含的各个数据分配标识；

分别依据每一个分配标识，查找与其对应的目标处理逻辑；

依据所述目标处理逻辑对对应的流数据进行处理。

一种分布式流数据的处理系统，包括：

获取模块，用于当接收到任意流数据时，获取目标流数据的数据量，其中，所述目标流数据包含已经接收但未经过处理的各个流数据；