[发明专利]一种基于大数据的网络数据采集系统

说明书

本发明公开了一种基于大数据的网络数据采集系统，涉及数据采集技术领域，该系统包括：网络数据采集模块，用于采集一种或多种不同类型的网络数据；规则模块：用于定义网络数据识别规则和解码规则；剔除模块：对无法识别的网络数据进行拦截剔除；多类型数据转换模块，用于将网络数据根据统一的转换规则转换为处理器能识别的通用网络数据；存储模块，对通用网络数据进行存储。这样的系统可以采集多种类型的网络数据，使采集的网络数据种类增多，不再受到局限，网络数据根据统一的转换规则转换为处理器能识别的通用网络数据，便于处理器识别，且网络数据通过存储模块进行存储，便于处理器随时调用。

技术领域

本发明涉及网络数据采集技术领域，具体而言，涉及一种基于大数据的网络数据采集系统。

背景技术

大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合，大数据具有五大特点，即大量、高速、多样、低价值密度、真实性。大数据的意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理，也就是对这些数据进行“加工处理”，通过加工实现数据的增值。

伴随着当今社会信息之间的交流越来越频繁和紧密，工业生产领域的电子设备同互联网的联系朝着更方便和更快捷的方向进行着，利用该类电子设备同互联网的连接，将广泛存在于互联网中的大数据进行采集、处理、分析，进而对工业生产进行指导具有提高产品质量、提高生产效率的作用。随着网络信息的发展，产生了的越来越多不同类型的网络数据，而现有技术中的网络数据采集系统的采集样式比较单一，只能采集几种固定格式的网络数据。

发明内容

为了克服上述问题或者至少部分地解决上述问题，本发明实施例提供一种基于大数据的网络数据采集系统，能采集多种网络数据。

本发明的实施例是这样实现的：

一种基于大数据的网络数据采集系统，包括：

网络数据采集模块，用于采集一种或多种不同类型的网络数据；

规则模块：用于定义网络数据识别规则和解码规则；

剔除模块：对无法识别的网络数据进行拦截剔除；

多类型数据转换模块，用于将网络数据根据统一的转换规则转换为处理器能识别的通用网络数据；

存储模块，对通用网络数据进行存储。

上述网络数据识别规则具体包括：匹配条件、识别内容、处理动作、和下一跳模块配置，其中，匹配条件包括：网络数据采集入口标识符、媒体访问控制MAC层匹配地址、虚拟局域网VLAN层匹配标识符、网络地址IP层匹配地址、以及应用层匹配端口号；上述识别内容包括：识别出的网络类型、识别出的逻辑接口类型、以及识别出的报文方向；上述处理动作包括：根据识别结果对上述网络数据进行处理，将报文转发到协议解码和事件消息合成模块进行处理、或转发给抓包服务器处理，其中，在需要进行负载均衡分发时，负载均衡配置包括：负载均衡类型和分发关键字；上述下一跳模块配置包括：每个下一跳处理服务器的索引号、流量分拣和负载均衡模块的出口索引号、下一跳处理服务器的地址和端口、下一跳处理服务器上的业务处理模块的索引号、下一跳处理服务器上的业务处理模块的负荷百分比、以及下一跳处理服务器上的业务处理模块的在线状态；

上述解码规则包括：网络类型、网络中的逻辑接口以及该接口上的协议栈协议、每层协议的消息种类、消息中的字段、字段中的参数、以及指明该字段是否必须的标识，其中，对网络类型、逻辑接口、协议类型、消息类型、消息字段、以及字段中的参数赋予身份标识ID标记，确保每个解码的字段参数有唯一的编码标识符标识，编码基本格式为：网络ID逻辑接口ID上下行方向ID协议类型ID消息类型ID消息字段ID参数ID；上述解码规则中还包括解码后的消息是否进入的事件合成状态机的标识符、以及消息中的字段和状态机关键字之间的一一映射关系，以指明消息的下一步处理；规则模块和剔除模块相连；