[发明专利]一种基于LTE信令的数据过滤处理方法

说明书

本发明涉及一种基于LTE信令的数据过滤处理方法。具体为对LTE移动核心高速网络系统进行大数据的过滤处理，采用简单过滤和内容深层过滤相结合的四级混合过滤模式。首先通过五元组进行简单数据预处理，然后根据KNN文本分类法确定数据源性质，再采用优化的AdaBoost算法实现基于内容的三级信息过滤，最终实现一个完整的数据过滤处理。与传统的过滤方法相比，本方法解决了传统的LTE系统对数据过滤方面遗失和筛选错误的问题，具有较好的稳定性和准确率，对于数据的过滤有很好鲁棒性。本发明可直接应用于网络安全、网络信息数据处理、大数据分析等领域。

技术领域

本发明涉及一种基于LTE信令的数据过滤处理方法，属于数据过滤处理技术领域。

背景技术

五元组简单数据过滤，是指首先定义变量SIP、DIP、SP、DP、PT分别为五元组过滤中的源IP地址、目的IP地址、源端口号、目的端口号和传输协议类型，它们构成了五元组的基本元素。在一次会话中，根据过滤策略确定掩码SIP_MASK、DIP_MASK、SP_MASK、DP_MASK和PT_MASK的值，组成PCL(Policy Control List，策略控制列表)，根据需求进行信息一级过滤。

KNN(KeyNearestNeighbor)算法是一种基于统计的模式识别算法，主要被用在文本分类中，其基本思想是：在新文本给定后，考虑在训练文本集中与该文本距离最近(即为最相似)的一篇文本，根据这篇文本所属的类别来判断新文本所属的类别。也就是说，把每一篇文本都看作是一个N维向量，计算新文本与训练文本集中文本的距离，通过距离来确定新文本的类别。

优化的AdaBoost算法是基于AdaBoost算法的最小风险贝叶斯深层过滤算法。以AdaBoost算法作为分类器的训练框架，用最小风险贝叶斯分类算法代替AdaBoost算法中的弱分类器，作为AdaBoost的分类器，最终达成两个算法的结合。最小风险贝叶斯分类算法就是以贝叶斯和朴素贝叶斯为基础来解决错误率问题，是最小错误率意义上的最优化。贝叶斯分类算法是通过某对象的先验概率模型，利用贝叶斯公式计算出其后验概率。从而得到对象源的主题(选择具有最大后验概率的类作为对象源所属的主题)。通过训练源数据集合，由贝叶斯分类算法得到每个数据信息在不同类的概率大小，构造出贝叶斯分类模型，朴素贝叶斯就是贝叶斯分类模型中误差率最小的，并且其所需估计参数很少，实现算法十分简单。AdaBoost算法是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器),然后将这些弱分类器集合起来,最终构成一个最强的最终分类器(强分类器)。算法的主要特点有：

1.采用五元组简单过滤算法、KNN文本分类方法和改进的AdaBoost方法进行三级深层内容的信息过滤，有效的保证了系统的过滤性能与鲁棒性；

2.高速性，准确性。KNN文本分类算法可以根据用户自身的需要来选择适合的文档，过滤掉无用的文档，对大量的网络数据进行快速、有效地自动分类，适用于在海量数据中进行信息筛选；

3.经优化的AdaBoost算法可以排除一些不必要的训练数据特征，关注于关键的训练数据，并且按照不同的主题过滤策略对数据进行过滤，把所有分类错误的可能性都考虑进去，很大程度上降低误判的风险；

4.降低系统负荷，提高系统运行效率。采用聚类分析方法对样本库进行自动组织与分类。

5.稳定性，通过三级过滤，可以极大提升过滤功能处理能力。

但是对于KNN文本分类算法，该算法也存在缺陷，当样本数量不平衡时，如一个类的样本容量很大，而其他类样本容量很小时，有可能导致当输入一个新样本时，该样本的K个邻居中大容量类的样本占多数，因为该算法只计算“最近的”邻居样本，所以当某一类的样本数量很大时，会导致新样本无法匹配到正确的样本，可以采用改变权值的方法(增大与该样本距离小的邻居的权值)来进行改进，但会带来算法的复杂度。

发明内容