[发明专利]一种基于transformer模型的网络协议识别方法

权利要求书

1.一种基于transformer模型的网络协议识别方法，其特征在于：具体包括以下步骤：

S1)构建语料库：通过采集已知的各类协议数据包，整合到一个文件中，使用标签工具对协议数据的格式信息进行标注，构建出具有不同协议类型的语料库；

S2)对数据预处理，得到训练数据集和测试数据集；

S3)构建模型的编码器；

S4)构建模型的解码器；

S5)使用训练数据集，对模型进行训练；

S6)使用测试数据集，输入到训练好的模型，对数据的协议类型进行识别。

2.如权利要求1所述的基于transformer模型的网络协议识别方法，其特征在于：所述步骤S2中对数据预处理，其包括以下步骤：

S21)对数据过滤，只保留与协议相关的部分，得到词数据；

S22)对数据分词：采用WordPiece方法，首先将所述词数据中的每个词分成一个一个的字符，然后在词的范围内统计字符对出现的次数，每次将次数最多的字符对保存起来，直到循环次数结束，得到若干分词结果；

S23)对数据编码转化为词向量：采用one-hot方法将步骤S22中的分词结果转化为词向量；

S24：将步骤S23得到的词向量数据划分为训练数据集和测试数据集。

3.如权利要求2所述的基于transformer模型的网络协议识别方法，其特征在于：所述步骤S3构建模型的编码器，其包括以下步骤：

S31：构建编码器层；

S32：子层之间构建残差连接；

S33：重复执行步骤S31和步骤S32至少四次。

4.如权利要求3所述的基于transformer模型的网络协议识别方法，其特征在于：所述步骤S4构建模型的解码器，其包括以下步骤：

S41：构建解码器层，所述解码器层包含有Masked多头注意力机制层，将一段序列中的部分词掩盖掉，通过预测被掩盖的词来判断模型的准确性；

S42：子层之间构建残差连接；

S43：重复步骤S41和步骤S42至少四次；

S44：构建线性层和softmax层。

5.如权利要求2所述的基于transformer模型的网络协议识别方法，其特征在于：在所述步骤S5中，将所述步骤S1得到的语料库和步骤S2得到的训练数据集输入到模型中进行训练；所述步骤S6中需要将步骤S2得到的测试数据集输入到模型中训练。

6.如权利要求2所述的基于transformer模型的网络协议识别方法，其特征在于：所述步骤S23)对数据编码转化为词向量，其包括采用N位状态寄存器来对N个状态进行编码，每个状态都有它独立的寄存器位，并且在任意时候只有一位有效，通过遍历，把每个分词结果转化为词向量。

7.如权利要求3所述的基于transformer模型的网络协议识别方法，其特征在于：所述步骤S31中构建的所述编码器层包括多头注意力机制层、第一ADDNormalize层、FeedForward前馈神经网络层和第二ADDNormalize层；其中，所述多头注意力机制层用于获取各词之间的依赖程度；所述第一ADDNormalize层与所述第二ADDNormalize层作用相同，用于归一化；所述Feed Forward前馈神经网络层用于增加模型表现力。