[发明专利]一种基于Transformer网络和知识蒸馏的无线资源需求预测方法

权利要求书

1.一种基于Transformer网络和知识蒸馏的无线资源需求预测方法，其特征在于，包括以下步骤：

S1，获取历史基站原始数据，包括数值型指标特征信息、类别型指标特征信息和文本型数据，划分为训练集、验证集和测试集；

S2，分别对训练集、验证集和测试集中的数值型指标特征信息、类别型指标特征信息和文本型数据进行预处理；

S3，建立教师网络模型，采用训练集中的数值型指标特征信息和类别型指标特征信息作为训练数据输入所述教师网络模型进行训练，得到配置最优参数的教师网络模型及其学到的知识；

S4，建立学生网络模型，结合步骤S2中的文本型数据作为网络输入，通过自然语言分析，并采用步骤S3训练好的教师网络，基于知识蒸馏算法将教师网络学到的知识迁移到学生网络，通过不断地反复迭代实验，当学生网络的总损失Loss_student下降收敛稳定时，得到最终的学生网络模型；

S5，采用步骤S4得到的学生网络模型对无线规划需求库中的站点进行推理，得到对应的需求度；结合基站需求度以及待需求预测区域的地址信息，按照优先级高低顺序输出待需求预测区域内无线基站清单。

2.根据权利要求1所述的基于Transformer网络和知识蒸馏的无线资源需求预测方法，其特征在于，所述数值型指标特征信息具体包括站间距、所有无线基站的站间距、同频段无线基站的站间距、同网络无线基站的站间距和覆盖面积值；所述类别型指标特征信息包括：站型、网络类型、场景值、区域类型值、建设类型值、覆盖目标重要程度值、高度维度网络结构值、距离维度网络结构值、网络结构值、需求频段类型值、问题点类型值和问题点关联数量值；所述文本型数据包括基站站点名。

3.根据权利要求1所述的基于Transformer网络和知识蒸馏的无线资源需求预测方法，其特征在于，步骤S2中的预处理过程具体包括：对数值型指标特征信息进行归一化处理，对类别型指标特征信息进行独热处理，以及对文本型数据进行分词向量化处理。

4.根据权利要求1所述的基于Transformer网络和知识蒸馏的无线资源需求预测方法，其特征在于，步骤S3中，建立的教师网络模型包括两个全连接层块和结果预测全连接层；所述全连接层块包括全连接层、层正则化、激活层和随机失活层；

数值型指标特征信息和类别型指标特征信息作为结构化数据输入全连接层块进行训练，所述结果预测全连接层输出预测结果；采用损失函数Loss_teacher优化模型中的参数，直到损失函数Loss_teacher稳定下降且收敛，并以在测试集中Loss_teacher结果符合预期的教师网络模型配置参数，作为教师网络的参数最优配置。

5.根据权利要求4所述的基于Transformer网络和知识蒸馏的无线资源需求预测方法，其特征在于，所述损失函数Loss_teacher采用均方误差损失函数：

其中Y_i代表真实值，代表教师网络预测值，N则是批次样本数据个数。

6.根据权利要求1所述的基于Transformer网络和知识蒸馏的无线资源需求预测方法，其特征在于，步骤S4中，所述学生网络模型包括Transformer编码器模块，GRU网络层和全连接网络层；所述Transformer编码器模块的子层数为2，多头注意力数目为4。

7.根据权利要求1所述的预测方法，其特征在于，学生网络模型的损失函数Loss_student包含对预测结果的均方误差Loss_hard，还包含教师网络中的知识迁移的均方误差Loss_soft，直到Loss_student下降稳定收敛，就将其作为学生网络的最优参数配置，如公式(2)所示：

其中Y_i代表真实值，代表教师网络预测值，P_i代表教师网络中间层特征值，代表学生网络中间层特征值，N是批次样本数据个数，α和β为权重系数。

8.根据权利要求1所述的基于Transformer网络和知识蒸馏的无线资源需求预测方法，其特征在于，步骤S5中所述结合目标位置信息，按照优先级高低输出目标区域内无线基站数据，具体包括：以这个待预测的目标位置为圆心，D为半径，扩充为一个圆形区域，输出落在这个圆形目标区域内的规划需求库平台无线基站清单，并列出清单中这些无线基站的需求度，输出需求度最高的M个规划需求库平台无线基站。