[发明专利]报文过滤方法与装置

说明书

技术领域

本发明涉及网络技术领域，特别是涉及一种报文过滤方法与装置。

背景技术

垃圾报文过滤是互联网技术中一项重要的工作，一般是通过某种规则或遵循某种统计规律，将明显非正常用户访问报文的部分过滤掉，从而减少互联网的传输压力和存储压力，也减少了后期提取、识别用户报文的系统压力。通过垃圾报文过滤，可以有效提高分析用户报文效率，尤其在计算能力成为一种资源的互联网时代，对垃圾报文的过滤比率和质量，影响着下游数据处理的效率和质量。

现有的垃圾报文过滤主要采用网页自动分类技术，网页自动分类技术提取网页文本内容和标签信息，并赋予不同的权重因子，其核心是利用自动文本分类技术实现。实现自动文本分类的关键阶段可划分为主要的三个部分：特征选取策略、分类算法和阈值策略，通过这样的自动文本分类过滤掉垃圾报文。

但是，目前的自动文本分类技术对文档表示特征稀疏或模糊的文本分类，显得力不从心。尤其是短文本，有效文本特征的提取较少，而且容易产生诸如广告、推荐信息、版权声明等和内容无关的噪声信息，更容易引起误分类。此外，自动文本分类对大文本的处理，特征项空间的文书过高，数量过大的特征项，会导致无法准确提取代表文本的唯一主题有效特征信息，造成分类效果不佳，容易出现多峰分布等问题。

可见，现有的自动文本分类技术的报文过滤准确性不高，无法有效过滤出垃圾报文。

发明内容

本发明提供了一种报文过滤方法与装置，以解决现有的自动文本分类技术的报文过滤准确性不高，无法有效过滤出垃圾报文的问题。

为了解决上述问题，本发明公开了一种报文过滤方法，包括：使用第一过滤规则对报文进行过滤，过滤掉所述报文中符合设定格式的报文；判断过滤后的所述报文是否与黑名单或白名单中的报文相匹配；若不匹配，则获取不匹配的报文对应的文本信息和/或网页状态码；根据所述文本信息和/或所述网页状态码对所述不匹配的报文进行报文过滤。

优选地，所述判断过滤后的所述报文是否与黑名单或白名单中的报文相匹配的步骤包括：判断过滤后的所述报文的页面浏览PV量是否大于第一设定阈值；对过滤后的所述报文中，PV量大于所述第一设定阈值的报文进行所述是否与黑名单或白名单中的报文相匹配的判断。

优选地，所述获取不匹配的报文对应的文本信息和/或网页状态码的步骤包括：获取所述不匹配的报文的统一资源定位符URL，对其进行去除重复和打乱顺序处理；对所述处理后的URL进行网页爬取，获得所述处理后的URL对应的网页源码和/或网页状态码；若获得到所述处理后的URL对应的网页源码，则对所述网页源码进行语法分析，获取所述处理后的URL对应的文本信息。

优选地，所述根据所述文本信息和/或所述网页状态码对所述不匹配的报文进行报文过滤的步骤包括：若所述网页状态码为非正常页面返回码，则过滤掉所述网页状态码对应的报文，并将所述报文加入所述黑名单；若根据所述文本信息确定所述URL对应的网页正文的字符数少于第二设定阈值、和/或所述网页正文无标题、和/或所述网页正文无文档属性信息，则过滤掉所述文本信息对应的报文，并将所述报文加入所述黑名单。

优选地，所述报文过滤方法还包括：若判断过滤后的所述报文与所述黑名单中的报文匹配，则过滤掉匹配的所述报文；若判断过滤后的所述报文与所述白名单中的报文匹配，则对匹配的所述报文放行。

优选地，所述使用第一过滤规则对报文进行过滤，过滤掉所述报文中符合设定格式的报文的步骤包括：根据报文的URL使用第一过滤规则对报文进行过滤，过滤掉所述报文中URL与设定格式的URL相匹配的报文。

为了解决上述问题，本发明公开了一种报文过滤装置，包括：第一过滤模块，用于使用第一过滤规则对报文进行过滤，过滤掉所述报文中符合设定格式的报文；判断模块，用于判断过滤后的所述报文是否与黑名单或白名单中的报文相匹配；获取模块，用于若所述判断模块的判断结果为不匹配，则获取不匹配的报文对应的文本信息和/或网页状态码；第二过滤模块，用于根据所述文本信息和/或所述网页状态码对所述不匹配的报文进行报文过滤。

优选地，所述判断模块，用于判断过滤后的所述报文的页面浏览PV量是否大于第一设定阈值；对过滤后的所述报文中，PV量大于所述第一设定阈值的报文进行所述是否与黑名单或白名单中的报文相匹配的判断。