[发明专利]一种基于学习型布隆过滤器的多层恶意URL识别方法

说明书

本申请涉及一种基于学习型布隆过滤器的多层恶意URL识别方法、恶意URL识别模型构建方法，模型构建方法包括：初始化预标准布隆过滤器，将预过滤器构建数据集哈希映射到初始化的预标准布隆过滤器中，构建预过滤器；基于训练数据集对分类器进行多次训练，得到训练后的分类器；初始化后置标准布隆过滤器，将被训练后的分类器误判为恶意URL的数据哈希映射到初始化的后置标准布隆过滤器中，构建后置过滤器。本申请引入一个预过滤器，以便排除掉大多数关于恶意URL；之后再通过分类器降低误判率，最后使用后置过滤器来保证假阴性的误判率为0；使用预过滤器能够达到降低分类器的假阳性概率，增强模型鲁棒性，进而缩小后置过滤器的空间开销。

技术领域

本申请涉及网络信息安全技术领域，具体地，涉及一种基于学习型布隆过滤器的多层恶意URL识别方法。

背景技术

互联网给用户带来丰富资源和便捷服务的同时，因其开放性和匿名性，也成为网络攻击的平台。不法分子对个人的网络攻击会使私人信息和财产安全遭受巨大威胁，而针对国家金融、政务数据平台的网络攻击，将导致难以挽回的损失。在各式各样的网络安全问题中，基于恶意网页进行的网络攻击不计其数。恶意网页传播范围广，一个恶意网页在几分钟之内可以被成千上万名用户访问。在大数据时代，如何实现对恶意网页的精准快速识别，已经成为一项迫切且具有挑战性的工作。

目前，恶意URL的过滤技术主要分为三类：基于黑白名单过滤技术、基于机器学习恶意URL检测方法和基于深度学习的恶意URL识别方法。然而，黑白名单技术本质上是一种“事后”检测，浏览器虽然能通过该类技术阻断恶意网页的加载过程，但仅可以阻断已知类型，且带有严重的滞后性，容易引起漏判；基于机器学习的恶意URL检测技术则需要人为提取数据特征，难以应对复杂的数据集；而基于深度学习的检测方法尽管能够从数据本身提取特征，但面对不断增长且快速更新的URL时，为了保证分类的准确度，需要不断调整数据重新训练模型，训练过程需要在图形处理器等硬件设备上进行，成本较高。

发明内容

为了克服现有技术中的至少一个不足，本申请实施例提供一种基于学习型布隆过滤器的多层恶意URL识别方法。

第一方面，提供一种恶意URL识别模型构建方法，包括：

将URL数据集划分为预过滤器构建数据集和训练数据集；

初始化预标准布隆过滤器，将预过滤器构建数据集哈希映射到初始化的预标准布隆过滤器中，构建预过滤器；

基于训练数据集对分类器进行多次训练，得到训练后的分类器；分类器包括卷积神经网络CNN和循环神经网络GRU；

初始化后置标准布隆过滤器，将被训练后的分类器误判为恶意URL的数据哈希映射到初始化的后置标准布隆过滤器中，构建后置过滤器；

预过滤器、训练后的分类器和后置过滤器构成恶意URL识别模型。

在一个实施例中，将URL数据集划分为预过滤器构建数据集和训练数据集，包括：

URL数据集包括良性URL和恶意URL，将良性URL按照第一设定比例分成两部分，分别为s1和s2，将恶意URL按照第二设定比例分成两部分，分别为s3和s4，s1构成预过滤器构建数据集，s2和s3构成训练数据集中的训练数据，s4构成训练数据集中的测试数据。

在一个实施例中，初始化预标准布隆过滤器，包括：

根据预过滤器构建数据集中数据量大小n、期望误判率FP，确定预标准布隆过滤器的比特位数m；

根据比特位数m、预过滤器构建数据集中数据量大小n，确定假阳性率达到最小时的哈希轮数k；

以比特位数m和哈希轮数k作为参数调用预标准布隆过滤器库函数的构造器，初始化预标准布隆过滤器。