[发明专利]一种基于元数据的数据采集方法

摘要

本发明公开了一种基于元数据的数据采集方法，使用一台设备替代分布式采集系统进行多点采集网络流量从而跟踪对比端到端的网络性能。在TCP/IP协议分析中增加了区分来自不同端口流量的能力,从而用一台高性能的智能分析采集器替代多台低速采集设备。本发明首先通过给每个物理端口的流量打入不同的二层标签，然后在逐层分析中使用这个标签用以区分来自于不同端口的流量。分析的结果以元数据的形式存入大数据分析平台，在大数据分析技术解决同一条流在数据传送中被修改后还能对比识别的难题。本发明公开的基于元数据的单点采集和大数据分析方法解决了网络性能分析中同一条TCP/UDP逻辑流被分成若干个物理TCP流后难以跟踪对比的难题。

主权项

1.一种基于元数据的数据采集方法，其特征在于：该方法通过直接接入多个网络设备的端口流量到单台设备，再使用高性能的智能探点计算方法，在网络2、3、4层协议栈的分析中重新加入物理端口的识别，从而导出带有物理端口标识的网络各层协议的元数据；在拥有TCP/UDP每条流的元数据基础上，结合网络NAT表进行大数据的计算和对比，在网络四层协议上把不同的“物理流”结合成有关联的“逻辑流”；其中，“物理流”指原始TCP/UDP元数据，“逻辑流”指通过具有NAT或者Proxy功能的网络设备后衍生出的数据流；对于支持IEEE 802.1.ad的网卡，在二层协议分析时嵌入所需要的IEEE 802.1ad的VLAN ID；对于不支持IEEE 802.1.ad网卡，在网络做配置时先接受硬件错误的报文，然后忽略二层报文的格式错误，再在驱动里加入VALN ID；在网卡由于二层分析的格式问题不支持负载平衡时，用软件的方法实现报文的负载平衡支持报文分析的多核并行化工作；修改TCP/IP协议栈支持带有VLAN ID的TCP四层分析用以识别不同端口的流量；这种修改是在不增加TCP控制块存储空间的约束条件下完成的；在静态NAT之后TCP流可以按照时间段、静态NAT表来做TCP流之间的对比分析；在动态NAT之后TCP流可以按照时间段、动态NAT表的日志来做TCP流之间的对比分析；在Proxy之后TCP流可以按照时间段、应用层标签来做TCP流之间的性能对比分析；在Proxy之后TCP流在没有应用层标签可用的情况下，可以按照时间段、报文体的哈希值来做TCP流之间的对应和性能对比分析。