[发明专利]一种基于AI的实时数据过滤方法、系统及存储介质

说明书

本发明提供了一种基于AI的实时数据过滤方法和系统，属于互联网数据处理领域，该方法包括：转发汇聚分流设备输出的全量数据采样报文；接收全量数据采样报文，并对全量数据采样报文进行预处理；对预处理后的数据流进行实时检测，识别流式数据采样信息；根据匹配结果初步识别协议结构特征，对相关数据流内容进行深度解析，识别内容资源；根据深度识别结果完成变更库计算、重复库计算、策略生成及输出；生成不同维度的过滤规则，实时回传至汇聚分流设备进行数据过滤；生成相应的过滤策略，输出到规则管理设备。本发明将基于AI的实时数据过滤方法与汇聚分流设备相结，可以根据场景化分析需求，动态化、智能化的快速定义相关过滤标准及策略。

技术领域

本发明属于互联网数据处理技术领域，具体涉及一种基于AI的实时数据过滤方法、系统及存储介质。

背景技术

互联网技术发展和大数据时代的到来，对大规模复杂网络的态势感知既是机遇又是挑战。一方面，纷繁多样的信息使得全面体现网络的运行态势成为可能；另一方面，海量、异构的数据则增加了数据处理的负担，大大制约着网络态势感知效益的发挥。为解决信息全面与维数灾难的矛盾，需要对采集的海量数据进行精细化筛选，提升相关工作的时效性、准确性以及智能化水平。

汇聚分流设备是实现互联网数据流量采集的关键设备。汇聚分流设备对串接/并接网络数据流量实现数据的汇聚、分流、同源同宿、均衡输出，满足各领域用户流量监控分析的部署需求。汇聚分流设备实现流量采集，就是将网络流量通过物理层、数据链路层的信号解析和解帧，实现IP原始报文的获取。由于以通用CPU为核心的大数据分析平台的存储和处理能力总是有限的，所以一定方式或规则的过滤(或称流量衰减)，如图1，可以有效降低大数据分析平台的负载，实现整个系统的建设成本和功耗。

国内外已开展了多种不同形式的规则过滤技术研究。目前规则过滤技术主要是通过大数据分析平台对接收的数据进行统计分析，并进行特征识别形成规则，然后反馈到汇聚分流设备，实现简单的数据过滤。基于AI的实时数据过滤方式的技术开展较少，针对信号分析尤其独特的特点，规则类型多样、数量庞大，评价标准复杂，对数据实时、精准的过滤一直是系统建设中的难题。

因此，目前针对信号分析的数据过滤方法存在指标单一、方式简单、实时性不足，数据过滤不够精准的问题。

发明内容

本发明的目的是提供一种基于AI的实时数据过滤方法对采集或汇聚分流后的数据进行智能化过滤，对异常数据、特定流量、重复载荷、无效资源、伪装数据进行智能化识别和行为判别，包括音/视频流量过滤、js/css/html/php图片及静态页面，使数据资源得到有效利用。

为了克服上述现有技术存在的不足，本发明提供了一种基于AI的实时数据过滤系统。

为了实现上述目的，本发明提供如下技术方案：

一种基于AI的实时数据过滤系统，包括以下步骤：

转发汇聚分流设备输出的全量数据采样报文；

接收全量数据采样报文，并对所述全量数据采样报文进行预处理；

对预处理后的数据流进行实时检测，识别流式数据采样信息，所述流式数据包括相关协议、应用及格式；

根据匹配结果初步识别协议结构特征，对相关数据流内容进行深度解析，识别内容资源，所述内容资源包括相关内容、关联关系、特定流量；

根据深度识别结果完成变更库计算、重复库计算、策略生成及输出；

生成不同维度的过滤规则，实时回传至汇聚分流设备进行数据过滤；

生成相应的过滤策略，输出到规则管理设备。

优选地，所述接收全量数据采样报文，并对所述全量数据采样报文进行预处理，具体包括以下步骤：