[发明专利]一种基于BERT-BiGRU的恶意URL检测方法

权利要求书

1.一种基于BERT-BiGRU的恶意URL检测方法，其特征在于，包括以下步骤：

步骤1)输入URL数据集作为分类任务中的集合，并且针对数据集中重复或者格式紊乱的数据，进行相应的处理；

步骤2)使用步骤1处理后的数据集，将其输入特征处理器Transformer中，利用多头自注意力机制动态地生成不同连接的权重；首先计算self-attention，对同一个句子的embedding变换得到Query向量，Key向量，Value向量，之后计算Attention Score；多头注意力机制即把每一个self-attention的输出结果拼接而成，最后Transformer输出融合多头注意力机制的词向量特征矩阵；

步骤3)训练一个BiGRU网络，将Query向量，Key向量，Value向量输入该网络中，BiGRU通过更新门与重置门可保留文本重要特征，确保上下文关系不会丢失；

步骤4)最后一个构建softmax分类器，把BiGRU的结果送入其中，输出最终分类标签。

2.根据权利要求1所诉的一种基于BERT-BiGRU的恶意URL检测方法，其特征在于，所述步骤1)具体如下：

步骤11)针对数据集部分格式紊乱的URL数据，统一将URL转化为UTF-8格式；部分URL携带图片，视频链接占据大量长度，对其携带的静态文件名进行过滤以减少数据量；去除重复的数据和无效的数据，保留可用数据。

3.根据权利要求1所诉的一种基于BERT-BiGRU的恶意URL检测方法，其特征在于，所述步骤2)具体如下：

步骤21)Transformer包括Encoder结构，Encoder结构先将一组input：I＝[I₁,…,I_N]，N表示步骤1)处理后的数据集中的数据数量，经过一段Embedding，做一个线性变换α＝WI，W是一个权重矩阵，可将高维词向量矩阵转换为低维矩阵，I矩阵最原始是one-hot编码的高维稀疏词向量矩阵，通过W矩阵，高维稀疏词向量矩阵I会线性转换为低维词向量稠密矩阵α，然后让其与句子token的position信息求和，即X＝P+α；用X＝[x₁,…,x_N]表示N个输入信息；通过线性变换得到Query向量，Key向量，Value向量，如式(1)、(2)、(3)所示，

Query＝W_QX#(1)

Key＝W_KX#(2)

Value＝W_VX#(3)

步骤22)计算Query与Key之间的点乘，然后为了防止其结果过大，除以一个尺度标度其中d_k为一个Query或Key向量的维度；再利用softmax操作将其结果归一化为概率分布，然后再乘以Value就得到权重求和的表示，如式(4)示；

步骤23)多头注意力机制有多组W_Q，W_K，W_V的权重矩阵，每一组注意力的多组W_Q，W_K，W_V的权重矩阵都是随机初始化的，将Embedding的向量切成多份，与权重相乘，构成输入向量W_iX，如式(5)、(6)、(7)所示，形成Query_i，Key_i，Value_i，i＝1,…,h，其中i表示切分的head个数；然后计算Attention权重矩阵得到每个head，最后将所有head合并，点乘权重W^O，将切分后的head，线性转换为原维度的矩阵，得到Multi-Head矩阵，这个矩阵包含了所有attention heads的信息，如式(8)、(9)所示

Query_i＝QW_i^Q#(5)

Key_i＝KW_i^K#(6)

Value_i＝VW_i^V#(7)

head_i＝Attention(Query_i,Key_i,Value_i),i＝1,…,h#(8)

MultiHead(Query,Key,Value)＝Concact(head₁,…,head_h)W^O#(9)

上标Q、K、V分别表示对应权重矩阵；

步骤24)将Query向量，Key向量，Value向量，输入一层AddNorm层，Add将自注意力层的输入和输出相加，Norm进行归一化，得到的向量列表会传入一层全连接的前馈神经网络，经过相应的AddNorm层处理，输出融合多头注意力机制的词向量特征矩阵。