[发明专利]一种多终端系统网络流量采集与标签方法

说明书

本发明公开了一种多终端系统网络流量采集与标签方法，方法包括Windows系统下的网络流量采集与标签方法和Android系统下的网络流量采集与标签方法，本发明在Windows系统端所使用的“端口‑进程”包含两次映射关系，其特点在于结合端口、进程ID和进程名依次为多对一关系的特性，避免重复调用系统API查询，提高由端口寻找对应进程名的效率；本发明在Android系统终端进行流量采集时，服务器初始化配置并启动的步骤可在一次性完成后进行多次反复使用，此后其运行完全自动化，存在对于用户完全无感透明；日常采集过程仅需在Android系统终端设备上完成，无需其他任何依赖，采集操作简便易上手。

技术领域

本发明属于网络测量领域，具体涉及一种多终端系统网络流量采集与标签方法。

背景技术

流量分析是网络安全管理中不可或缺的重要手段，而对于流量数据的准确而全面的采集是进行准确全面的流量分析的基础。在加密流量研究领域，如何高效地获取带有标签的流量样本数据是研究中的关键问题之一。纯净而充足的流量样本有利于后续研究中把握更加精准的流量特征，提高加密流量识别和分类的准确性。一方面，目前公开的流量数据集往往采集时间较早，数据样本陈旧，不能适用于互联网应用不断增加的新功能，同时新型网络协议(如QUIC，TLS 1.3)逐渐成熟和广泛部署造成了网络环境的整体变迁，加密流量的占比越来越高，现有的公开数据集不能作为当前网络流量的样本代表，难以支撑对于网络流量分析的新研究。另一方面，在标签流量样本的构建方法上，通过人工在运行多进程的终端机器上采集流量样本的传统方式，难以获得纯净的流量样本，缺乏高效的标签数据样本采集方法。此外，各大互联网厂商对产品更新频繁，同一产品的不同版本产生的流量特征并非一成不变，造成样本的有效生命周期缩短，因此以人工方式采集数据样本的效率往往难以满足需求，使得加密流量的研究成本也相应提高。

截止到2020年11月，全球Windows用户的占有率已经达到87％，作为目前应用覆盖面最广、占比最高的主流桌面级操作系统，Windows平台上存在各个操作系统中最多的网络应用类型。但反过来，Windows系统的用户亲和性导致其存在大量需要占用大量系统或网络资源的应用(如：游戏、高性能渲染等)。该类应用需要消耗大量资源，导致流量采集程序不能占用较多的系统资源，否则将影响应用的正常运行，导致流量样本特征出现偏差。目前对数据集的构建主要还是通过Wireshark等网络流量分析工具结合人工采集与标签的方式进行，导致大部分私有数据集中的流量不够纯净，存在设备操作系统背景流量的干扰和可能存在的人工误差。此外业界产生了一种由Python和C++开发的OpenQPA开发的开源的进程化抓包工具，该工具基于WinPcap在Windows系统下采集流量。然而WinPcap在2018年9月已经停止更新维护，随着Windows系统的更新，该工具存在不稳定和不支持新版Windows系统的风险。

考虑到当前在Windows平台下流量采集工具的缺陷，一种高效、稳定和精确的流量采集方法能够改善当前在网络流量采集工作的不足。采用持续维护的Windows数据包采集库作为底层的流量采集模块，同时结合高效的“端口-进程”映射的方式对采集到的流量实时按照系统进程分类，以此构建完备的进程级标签数据集，能够极大地过滤采集样本中的背景流量，减少系统误差，提高流量分析准确性。

同时，当今移动互联网蓬勃发展，其用户量和接入量已经超过了传统固定互联网。相较于各类研究相对成熟的Windows系统与Linux系统，Android作为用户量可观的移动端系统，超过90％以上的流量都在移动端产生。而目前Android系统下实现流量采集的方法都需要获取手机的root权限，然而获取root权限的方式较为复杂，具有一定门槛，难以在普通用户中普及；且获取root权限的本质是对于Android系统安全机制的破坏，具有严重的安全风险，易对手机原有的系统造成不可逆的破坏，导致未知的错误与漏洞。另外，通过安装用户证书，采取中间人攻击的方法，则会将报文负载解析为明文，对用户的隐私造成难以忽视的隐患。