[发明专利]App应用特征码库的构建方法及构建系统

说明书

本发明公开了一种App应用特征码库的构建方法，对apk文件的各数据包进行协议解析，提取预设的关键协议字段，利用预定义第二规则将提取的关键协议字段生成与App应用对应的各条特征码规则，然后将满足预设条件的特征码规则识别为相应App应用的特征码，加入现有特征码库。本发明能同时对海量App应用进行处理，具有统一的特征码的识别标准，且准确度高，极大提升了工作效率。而根据预设时间按照预定义第三规则对特征码库进行机器学习训练，能删除错误规则或失效规则，保证特征码库的自动、准确更新，极大减少了人工介入工作量，能够很好的应用于应用程序流量识别领域，准确性高。本发明还公开了一种App应用特征码库的构建系统。

技术领域

本发明属于数据流量分析技术领域，具体涉及App应用特征码库的构建方法及构建系统。

背景技术

随着移动互联网的发展，在网络的流量出入口处对应用程序(俗称App)的识别是非常重要的，无论是网络安全产品、业务质量分析产品、用户行为分析产品、流量管控产品还是专业的流量分析引擎，应用流量的准确识别不但可洞悉整个网络的运行情况，精准识别每个用户的使用行为，而且可针对具体需求做用户行为的准确管控。

应用流量识别的准确性，非常依赖于特征码库。所谓特征码是指针对一个特定App应用，通过其运行过程中产生的数据包流量中的一些特性(例如IP地址、端口号、载荷、HTTP协议的关键字段如Host等的单一或者组合条件匹配规则)能精确区分该应用。图1示出了一个典型IP数据报文，从OSI七层协议的第3-7层的相关字段特征可以精确识别某一个特定应用。比如：微信、微博、手机淘宝、百度搜索等。这一般是通过DPI(Deep Packet Inspection，深度报文检测)技术来实现的。

现有的特征码库的构建大多依赖于人工手动方式，通过人为主动下载安装App应用，启动、运行并产生流量，然后对流量进行抓包和协议栈分析，总结出该应用的特征码。这种方法基本取决于人工经验，针对同一个App应用，不同分析人员可能总结出不同的特征码，准确度不高，且效率低下。特别是现在互联网内容浩如烟海，新的App应用层出不穷，版本更新和内容迭代此起彼伏，使得特征码库的更新非常耗费人力，也很难做到及时、准确。

发明内容

针对现有技术中存在的缺陷，本发明的目的是提供一种App应用特征码库的构建方法，该特征码库能自动、准确更新，极大减少了人工介入工作量，提升了工作效率。该App应用特征码库的构建方法能够应用于应用程序流量识别领域，准确性高。

一种App应用特征码库的构建方法，包括以下步骤：

获取并运行apk文件生成流量数据，进行抓包，按预定义第一规则对apk文件的所有数据包进行协议解析，提取预设的关键协议字段；

利用预定义第二规则将提取的关键协议字段生成与App应用对应的各条特征码规则；

将满足预设条件的特征码规则识别为相应App应用的特征码，并加入现有特征码库；

根据预设时间按照预定义第三规则对特征码库进行机器学习训练，实现特征码库的更新。

进一步的，所述预定义第一规包括：

对应用层Http协议和/或传输层TCP/UDP协议进行解析,若对数据包进行HTTP协议解析，则预设的关键协议字段为url、host、X-Online-Host、URI、User-Agent、Referer、content-type中的至少一种；若对数据包进行TCP/UDP协议解析，则预设的关键协议字段为：服务器IP地址、服务器端口、传输层协议中的至少一种。

进一步的，所述预定义第二规则包括：

针对一种协议提取的至少一种关键协议字段构成一特征码规则；或者组合针对多个协议提取的关键协议字段构成一特征码规则。