[发明专利]一种互联网广告投放的反作弊监控方法

说明书

技术领域

本发明涉及互联网广告领域，具体地，涉及一种互联网广告投放的反作弊监控方法。

背景技术

随着互联网的蓬勃发展，中国的网民人数不断增加，互联网广告的价值得到越来越多广告主的认可，但是，与传统媒体行业不同，互联网行业的技术门槛更高、数据结构更为复杂、评估指标维度更多、广告投放技术要求更高。为了增加互联网广告的收益，一些媒体使用各种办法作弊，恶意增加互联网广告的曝光量或者点击量，会产生许多作弊日志数据。作弊网页广告的存在具有多种危害性，作弊网页向用户提供了不相关的信息，有的还包含大量弹窗信息与跳转功能，严重影响用户的浏览体验。

发明内容

本发明的目的是提供一种互联网广告投放的反作弊监控方法，解决了为了增加互联网广告的收益，一些媒体使用各种办法作弊，恶意增加互联网广告的曝光量或者点击量，会产生许多作弊日志数据，严重影响用户的浏览体验的问题。

为了实现上述目的，本发明提供了一种互联网广告投放的反作弊监控方法，所述反作弊监控方法包括：

(1)数据抓取：以爬虫形式对包含互联网广告的网页进行抓取；

(2)网页处理与特征提取：对抓取下的网页进行处理，从中提取作弊检测的相关特征；

(3)构建样本：将提取的相关特征进行汇总，生产适合分类器输入的样本文件；

(4)作弊检测：构建分类器，使用样本文件作为输入数据，对网页上的广告进行作弊检测。

优选地，在步骤(1)中数据抓取的方法还包括：获取网页广告URL，加入至待抓取URL列表，从列表中取出一个URL，若该URL已经被抓取，则结束抓取，若该URL未被抓取，则提取网页广告中的URL，加入待抓取URL列表中。

优选地，在步骤(2)中，网页处理与特征提取的方法还包括：首先对网页广告中的html源码进行处理，按顺序分别去掉源码中的注释部分、JavaScript、CSS布局和HTML标签，提取其中的正文内容。

优选地，在步骤(3)中，分类器选择C4.5、Bagging或Adaboost。

优选地，在步骤(4)中，作弊检测的方法还包括：使用机器学习方法在样本文件上进行分类器训练，并用训练好的分类器在待检测样本上进行分类检测，最终根据网页所属的类别来判断其是否属于作弊网页。

优选地，样本文件为包含相关特征的ARFF文件。

根据上述技术方案，本发明提供了一种互联网广告投放的反作弊监控方法，所述反作弊监控方法包括：数据抓取：以爬虫形式对包含互联网广告的网页进行抓取；网页处理与特征提取：对抓取下的网页进行处理，从中提取作弊检测的相关特征；构建样本：将提取的相关特征进行汇总，生产适合分类器输入的样本文件；作弊检测：构建分类器，使用样本文件作为输入数据，对网页上的广告进行作弊检测。本发明提供的反作弊监控方法构建网络爬虫，实现对互联网页面的抓取，构建相关功能模块与数据库，实现对抓取网页的处理、特征提取与存储，实现对作弊网页的检测与结果评估。

本发明的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：

图1是本发明提供的反作弊监控方法中数据抓取的流程图；

图2是本发明提供的反作弊监控方法中作弊检测的流程图。

具体实施方式

以下对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

本发明提供了一种互联网广告投放的反作弊监控方法，其特征在于，所述反作弊监控方法包括：数据抓取：以爬虫形式对包含互联网广告的网页进行抓取；网页处理与特征提取：对抓取下的网页进行处理，从中提取作弊检测的相关特征；构建样本：将提取的相关特征进行汇总，生产适合分类器输入的样本文件；作弊检测：构建分类器，使用样本文件作为输入数据，对网页上的广告进行作弊检测。本发明提供的反作弊监控方法构建网络爬虫，实现对互联网页面的抓取，构建相关功能模块与数据库，实现对抓取网页的处理、特征提取与存储，实现对作弊网页的检测与结果评估。