[发明专利]基于流式处理的TCP会话重组与统计数据提取方法

说明书

一种基于流式处理的TCP会话重组与统计数据的提取方法，包括以下步骤：在数据收集层与数据存储层之间构建数据管道层及实时计算层，数据收集层收集网络数据包数据发送给数据管道层进行缓存,实时计算层用于从数据管道层中提取数据进行处理,处理结果存入数据存储层；实时计算层从数据管道中提取数据，进行反序列化成对象；该对象将作为流式计算过程中的数据元素，经过数据运算输出TCP会话数据与统计数据。本发明能够有效的重组网络的TCP会话，并根据提取的会话数据挖掘出会话统计数据，为流量信息挖掘以及异常行为分析提供支持，提供高效、可靠的会话数据和会话统计数据计算服务，保障系统的高效性、稳定性。

技术领域

本发明涉及一种流式处理的TCP会话重组与统计数据的提取方法。

背景技术

目前的会话数据提取工具往往依赖于开源工具libnids、netflow等，依靠传感器的计算资源和存储资源，容易达到计算瓶颈，缺乏可靠、冗余等机制，容错性较低，阻碍系统整体的性能、可靠性，最终导致更多的物理、人力资源的浪费。Netflow等工具依赖于特殊的网络设备，不具有通用型,并且，libnids等工具在灵活性上的缺失难以满足定制输出的需求，为后续的数据处理带来更多的人力成本。在实际生产环境中，数据流的传输，往往采用原文的方式在数据管道中流转，处理灵活性低，造成了网络资源的浪费，容易达到网络瓶颈，进而从而引发整个系统的停滞。在其他的统计数据提取方法中，往往采用离线计算的方式，这种计算方法会造成较高的数据延迟，无法在第一时间交付数据，从而拖慢整个系统的速度。

发明内容

针对现有技术中所存在的不足，本发明提供了一种基于流式处理的TCP会话重组与统计数据提取方法,能够有效的重组网络的TCP会话，并根据提取的会话数据挖掘出会话统计数据，为流量信息挖掘以及异常行为分析提供支持，提供高效、可靠的会话数据和会话统计数据计算服务。

为实现上述目的，本发明采用了如下的技术方案：一种基于流式处理的TCP会话重组与统计数据的提取方法，包括以下步骤：

(1)在数据收集层与数据存储层之间构建数据管道层及实时计算层、数据收集层收集网络数据包数据发送给数据管道层进行缓存,实时计算层用于从数据管道层中提取数据，进行处理,处理结果存入数据存储层；

(2)、在数据管道层中搭建三台Kafka分布式消息队列作为数据管道服务；

(3)、在实时计算层中搭建三台Flink流式处理引擎作为流式计算集群；

(4)、实时计算层从数据管道中取出数据，进行反序列化成对象；该对象将作为流式计算过程中的数据元素，经过数据运算输出TCP会话数据与统计数据。

相比于现有技术，本发明具有如下有益效果：能够有效的重组网络的TCP会话，并根据提取的会话数据挖掘出会话统计数据，为流量信息挖掘以及异常行为分析提供支持，提供高效、可靠的会话数据和会话统计数据计算服务；使用的基于流式分析的会话重组及统计数据提取技术能够负载网络大流量，保障系统的高效性、稳定性，提供灵活的处理方式，节省物理、人力成本；采用avro二进制序列化的方式进行数据特征流的传输，提供更灵活的数据流传输方式，节省网络资源，提高系统的整体性能。

附图说明

图1为本发明的系统框图。

图2为本发明的数据流分区示意图

图3为触发器计算流程图

具体实施方式

一种基于流式处理的TCP会话重组与统计数据的提取方法，包括以下步骤：

(1)如图1所示，在数据收集层与数据存储层之间构建数据管道层及实时计算层、数据收集层收集网络数据包数据发送给数据管道层进行缓存,实时计算层用于从数据管道层中提取数据，进行处理,处理结果存入数据存储层；