[发明专利]基于DFI的移动端加密视频广告流量识别方法

说明书

一种基于DFI的移动端加密视频广告流量识别方法，将相同IP源宿地址的数据包组成IP流，找出传输数据量最大的IP流largest_stream，将传输速率大于40的时刻值记入highrate，当首次出现主体流量时间序列的序列值之差大于10时，将之前主体流量时间序列序列值存highrate_before；之后的存入highrate_later，将长度大于highrate长度的一半的highrate_before赋值highrate，否则将highrate_later赋值highrate，将主体流量时间序列的最小值与被比较的IP流播放时长之和小于largest_stream的主体流量开始时刻的IP流加到广告流序列；将主体流量时间序列的最小值与largest_stream的播放时长之和小于被比较的IP流的主体流量开始时刻的largest_stream加到广告流序列，将广告流序列中数据量最大的IP流作为广告流。

技术领域

本发明涉及视频广告流量识别领域，尤其是一种基于DFI的移动端加密视频广告流量识别方法。

背景技术

广告流量识别是指从互联网上的正常流量中识别并定位出广告流量的一种技术，用户在访问互联网资源(如访问网页、观看视频)的过程中往往被强制性的推荐观看广告，如何准确地从互联网流量中识别出广告流量是实现精准广告投放、广告屏蔽与反屏蔽等课题的基础工作，已经成为一个较为热门的研究方向。

目前针对互联网广告流量常见的识别方法有：基于音视频处理的广告流量识别方法，基于DPI(Deep Packet Inspection，深度包检测)的广告URL字段匹配方法，基于DFI(Deep Flow Inspection，深度流检测)的广告流量行为特征识别方法等。

(1)基于音视频处理的广告识别方法

Kaushik等人基于对音视频的处理，发现了广告最后一帧的特点，提出了一种音视频相结合的广告检测方法。针对音频使用了语音识别算法，将广告的音频内容转化成单词，作为机器学习的输入量。针对视频使用了基于视频边缘和灰度的梯度检测算法进行分析。这种方法能较为准确地识别广告的前后边界，但数据处理较为耗时，分类结果的准确率较低，而且不易学习图像特征复杂的互联网原生广告。

聂淼采用了基于广告拷贝检测和机器学习相结合的广告检测算法。首先通过提取视频关键帧的特征向量，与离线广告特征向量数据库进行相似性匹配，再采用机器学习的方法，训练广告特征，减少人工干预，保证了较高的查准率。但是该广告检测算法比较依赖离线的数据库，需要不断的更新数据库以保证识别的准确率。

(2)基于DPI的广告URL字段匹配方法

基于DPI的广告URL字段匹配方法是通过过滤请求广告的URL字段来识别广告流量，AdBlock Plus是目前较为强大的开源的浏览器广告过滤插件，它具有丰富的广告URL规则库，并由使用者共同更新广告过滤规则，目前较多的研究都是基于AdBlock Plus开展进一步的工作。

Huang Jun等人通过实验对比了AdBlock和AdBlock Plus两种广告过滤工具的性能。AdBlock Plus和AdBlock通过一系列过滤规则筛选浏览器请求的URL，过滤规则包括地址过滤、域名过滤和异常规则过滤。以视频和游戏过滤为例，探讨了如何在广告过滤原则和规则语法的基础上，利用广告过滤工具实现具有特定需求的流量过滤。

方橙提出了一种适用于大规模互联网实时广告流量检测系统，该系统以AdBlock规则列表作为基本规则库，结合HashTable和Aho-Corasick两种快速匹配算法，对需要检测的URL请求字符串进行规则匹配，实现对网页广告流量的快速实时匹配。还将匹配算法部署在并行流式工作框架Spark Streaming之上，以处理大规模流式网络数据，该检测系统具有较高的准确率和检测效率。但是该系统只能识别非加密环境下的互联网广告流量。

(3)基于DFI的广告流量行为特征识别方法