[发明专利]实时数据处理方法及装置

说明书

本发明实施例提供一种实时数据处理方法及装置。该方法包括：采集源数据发生变更的多个日志数据；根据与每个日志数据匹配的路由规则，确定传输每个日志数据的数据通道；通过每个日志数据对应的数据通道，将所述日志数据分发到与所述数据通道对应的计算节点，由所述计算节点对所述日志数据进行计算处理。实现了对大数据的分发，由不同的计算节点处理不同的大数据，提高了对大数据处理的实时性。

技术领域

本发明实施例涉及通信技术领域，尤其涉及一种实时数据处理方法及装置。

背景技术

大数据(big data)指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

现有技术中,对大数据的处理方法通常是批量采集批量处理,大数据处理的结果并不是实时产生的,而是处理完一批大数据后才能得到该批大数据处理的结果,从而导致对大数据处理的实时性低。

发明内容

本发明实施例提供一种实时数据处理方法及装置，以提高对大数据处理的实时性。

本发明实施例的一个方面是提供一种实时数据处理方法，包括：

采集源数据发生变更的多个日志数据；

根据与每个日志数据匹配的路由规则，确定传输每个日志数据的数据通道；

通过每个日志数据对应的数据通道，将所述日志数据分发到与所述数据通道对应的计算节点，由所述计算节点对所述日志数据进行计算处理。

本发明实施例的另一个方面是提供一种实时数据处理装置，包括：

采集模块，用于采集源数据发生变更的多个日志数据；

确定模块，用于根据与每个日志数据匹配的路由规则，确定传输每个日志数据的数据通道；

分发模块，用于通过每个日志数据对应的数据通道，将所述日志数据分发到与所述数据通道对应的计算节点；

计算节点，用于对所述日志数据进行计算处理。

本发明实施例提供的实时数据处理方法及装置，通过监控源数据，采集源数据发生变更的多个日志数据；根据与每个日志数据匹配的路由规则，确定传输每个日志数据的数据通道；通过每个日志数据对应的数据通道，将日志数据分发到与数据通道对应的计算节点，由计算节点对日志数据进行计算处理，实现了对大数据的分发，由不同的计算节点处理不同的大数据，提高了对大数据处理的实时性。

附图说明

图1为本发明实施例提供的通信系统的示意图；

图2为本发明实施例提供的实时数据处理方法流程图；

图3为本发明实施例提供的另一种实时数据处理方法流程图；

图4为本发明实施例提供的实时数据处理装置的结构图。

具体实施方式

大数据(big data)，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

随着云时代的来临，大数据(Big data)也吸引了越来越多的关注。分析师团队认为，大数据(Big data)通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。