[发明专利]黑灰产众包流量预测装置及方法

权利要求书

1.一种黑灰产众包流量预测装置，其特征在于，所述装置包括基于Informer的长时预测模型，所述基于Informer的长时预测模型包括：

编码器，所述编码器包括改进的多头主动稀疏自我注意机制模块和蒸馏机制模块；

解码器，与所述编码器连接，所述解码器包括改进的多头主动稀疏自我注意机制模块和多头注意力机制模块；

全连接层，与所述解码器连接；

采集黑灰产众包流量历史数据，将所述黑灰产众包流量历史数据作为编码器输入，截取所述黑灰产众包流量历史数据中的至少部分作为解码器输入；

所述编码器输入通过所述编码器生成特征映射图；

所述解码器接收所述特征映射图和所述解码器输入，并通过所述改进的多头主动稀疏自我注意机制模块和所述多头注意力机制模块获得解码器输出；

所述全连接层接收所述解码器输出，并最终输出黑灰产众包流量预测结果；

其中，所述改进的多头主动稀疏自我注意机制模块基于多头主动稀疏自我注意机制，根据所述黑灰产众包流量历史数据生成Query向量、Key向量和Value向量，并通过线性层分别转换为Query矩阵、Key矩阵和Value矩阵，所述改进的多头主动稀疏自我注意机制模块包括基于对称性指标的多角度度量稀疏单元和多头双重全局注意力机制单元；

所述基于对称性指标的多角度度量稀疏单元包括：

多分布融合差异评分标准组件，通过KL散度度量Query向量的注意系数概率分布分别与均匀分布、正态分布、指数分布的差异；

基于对称性度量指标的稀疏偏差矫正组件，用于在度量Query向量的注意系数概率分布与各个种类分布的KL散度时引入对称性度量指标PSI，矫正KL散度，获得优化的稀疏标准，并根据优化的稀疏标准将Query矩阵转换为稀疏Query矩阵，稀疏Query矩阵包括稀疏Query向量；

所述多头双重全局注意力机制单元包括：

注意力全局参数设定组件，统筹全局信息获得所述稀疏Query向量与所述Key向量之间的交互信息，以及，所述Key向量与所述Value向量之间的交互信息；

双重加性注意组件，用于将所述稀疏Query矩阵通过加性注意转换为全局稀疏Query向量，将所述Key向量与所述全局稀疏Query向量相结合，并通过加性注意转换为全局Key向量；

将所述Value矩阵与所述全局Key向量相结合，并结合所述稀疏Query矩阵，最终获得所述改进的多头主动稀疏自我注意机制模块的输出矩阵。

2.根据权利要求1所述的黑灰产众包流量预测装置，其特征在于，所述多分布融合差异评分标准组件通过KL散度度量所述Query向量的注意系数概率分布分别与均匀分布、正态分布、指数分布的差异，所述差异表示如下：

其中, p表示Query向量的注意系数概率分布，i表示Query向量的项数,t表示均匀分布，KL(t||p)表示Query向量的注意系数概率分布与均匀分布的差异，m表示均匀分布，KL(m||p)表示Query向量的注意系数概率分布与正态分布的差异，n表示均匀分布，KL(n||p)表示Query向量的注意系数概率分布与指数分布的差异。