[发明专利]黑灰产众包流量预测装置及方法

说明书

本申请公开了一种黑灰产众包流量预测装置，包括基于Informer的长时预测模型，基于Informer的长时预测模型包括：编码器，包括改进的多头主动稀疏自我注意机制模块和蒸馏机制模块；解码器，包括改进的多头主动稀疏自我注意机制模块和多头注意力机制模块；全连接层，与解码器连接；采集黑灰产众包流量历史数据，将黑灰产众包流量历史数据作为编码器输入，截取黑灰产众包流量历史数据中的至少部分作为解码器输入；编码器输入通过编码器生成特征映射图；解码器接收特征映射图和解码器输入，并通过改进的多头主动稀疏自我注意机制模块和多头注意力机制模块获得解码器输出；全连接层接收解码器输出，并最终输出黑灰产众包流量预测结果。

技术领域

本申请属于数据处理技术领域，特别涉及黑灰产众包流量预测装置及方法。

背景技术

近年来，随着数字化产业的发展，利用互联网新技术产生的各类网络犯罪形式层出不穷。在巨额利益的驱动下，网络黑灰产已达到规模化发展的产业形态。为了在黑灰产对企业产生实际利益损失前预判黑灰产众包用户，需要设计一种黑灰产众包流量预测算法，精准地预测网络流量变化趋势，以此提前判定并阻止黑灰产众包用户行为，减少企业损失。

目前，常见的流量异常预测算法有基于RNN(Recurrent Neural Network)、LSTM(Long Short-Term Memory)和GRU(Gate Recurrent Unit)的预测算法，这些算法仅仅依赖于网络过去的隐藏状态来捕获先前序列的知识，容易欠拟合，且循环网络固有的顺序属性阻碍了训练样本间的并行化，对于长序列，内存限制将阻碍对训练样本的批量处理，拖慢了训练速度。

黑灰产的众包流量数据属于长时监测数据，因此采用上述算法预测黑灰产异常流量模型能力不足。基于Transformer的预测算法避免了上述算法的循环模型结构，完全依赖于注意力机制对输入输出的全局依赖关系进行建模，提高了模型对长时序列的预测能力，但其自注意力机制的二次计算，导致每层的时间复杂度和内存使用量均较大，在数据量较大时，模型的训练速度仍然不理想。

因此，为了实现大量复杂长时黑灰产众包流量的及时预测，需要设计一个预测能力强且训练速度快的预测模型。

发明内容

本申请目的是提供一种黑灰产众包流量预测方法及装置，解决现有技术中流量异常预测模型时间复杂度和空间复杂度高引起的模型训练速度慢的问题。

本申请提供一种黑灰产众包流量预测装置，所述装置包括基于Informer的长时预测模型，所述基于Informer的长时预测模型包括：

编码器，所述编码器包括改进的多头主动稀疏自我注意机制模块和蒸馏机制模块；

解码器，与所述编码器连接，所述解码器包括改进的多头主动稀疏自我注意机制模块和多头注意力机制模块；

全连接层，与所述解码器连接；

采集黑灰产众包流量历史数据，将所述黑灰产众包流量历史数据作为编码器输入，截取所述黑灰产众包流量历史数据中的至少部分作为解码器输入；

所述编码器输入通过所述编码器生成特征映射图；

所述解码器接收所述特征映射图和所述解码器输入，并通过所述改进的多头主动稀疏自我注意机制模块和所述多头注意力机制模块获得解码器输出；

所述全连接层接收所述解码器输出，并最终输出黑灰产众包流量预测结果。

进一步的，所述改进的多头主动稀疏自我注意机制模块基于多头主动稀疏自我注意机制，根据所述黑灰产众包流量历史数据生成Query向量、Key向量和Value向量，并通过线性层分别转换为Query矩阵、Key矩阵和Value矩阵，所述改进的多头主动稀疏自我注意机制模块包括基于对称性指标的多角度度量稀疏单元和多头双重全局注意力机制单元；

所述基于对称性指标的多角度度量稀疏单元包括：