[发明专利]一种基于Transformer网络和知识蒸馏的无线资源需求预测方法

说明书

本发明公开了一种基于Transformer网络和知识蒸馏的无线资源预测方法，本方法分别构建教师网络和学生网络，以历史基站原始数据作为数据集，训练基于全连接网络模型的教师网络；将训练好的教师网络，采用知识蒸馏方法对基于Transformer网络模型的学生网络进行训练；将训练好的学生网络结合无线资源的文本描述和地理位置进行需求度预测，提供优化参考。本发明依据知识蒸馏思想，采用可以明确处理详细的无线资源属性信息的教师网络，引导处理模糊简便的本文描述信息的学生网络，使得学生网络对于文本数据信息具有更强大的判别推理能力，对于输入数据的要求极大地降低，显著提升网络优化工作效率。

技术领域

本发明涉及无线网络领域，尤其涉及一种基于Transformer网络和知识蒸馏的无线资源需求预测方法。

背景技术

无线网络的优化对于人们的生产生活一直都起着至关重要的作用，但是在实际生活中，对于无线资源的优先级规划及需求预测没有一种客观的标准，只能依据网络建设经验丰富的人员，通过分析网络布局与业务分布进行规划，分析过程中费时费力。如果仅凭专家经验对需求度进行预估，条件单一，随机因素较多，客观性也不足；而无线资源的参数涉及面广，参数较多，难免会出现有若干参数缺失的情况，这也会影响到最终结果的判断。因此，智能化的无线资源的优先级规划及需求预测在无线网络的优化中就显得尤为重要。

发明内容

本发明的目的在于提供一种基于Transformer网络和知识蒸馏的无线资源需求预测方法，从而解决现有技术中存在的前述问题。

为了实现上述目的，本发明采用的技术方案如下：

一种基于Transformer网络和知识蒸馏的无线资源需求预测方法，包括以下步骤：

S1，获取历史基站原始数据，包括数值型指标特征信息、类别型指标特征信息和文本型数据，划分为训练集、验证集和测试集；

S2，分别对训练集、验证集和测试集中的数值型指标特征信息、类别型指标特征信息和文本型数据进行预处理；

S3，建立教师网络模型，采用训练集中的数值型指标特征信息和类别型指标特征信息作为训练数据输入所述教师网络模型进行训练，得到配置最优参数的教师网络模型及其学到的知识；

S4，建立学生网络模型，结合步骤S2中的文本型数据作为网络输入，通过自然语言分析，并采用步骤S3训练好的教师网络，基于知识蒸馏算法将教师网络学到的知识迁移到学生网络，通过不断地反复迭代实验，当学生网络的总损失Loss_student下降收敛稳定时，得到最终的学生网络模型；

S5，采用步骤S4得到的学生网络模型对无线规划需求库中的站点进行推理，得到对应的需求度；结合基站需求度以及待需求预测区域的地址信息，按照优先级高低顺序输出待需求预测区域内无线基站清单。

优选的，所述数值型指标特征信息具体包括站间距、所有无线基站的站间距、同频段无线基站的站间距、同网络无线基站的站间距和覆盖面积值；所述类别型指标特征信息包括：站型、网络类型、场景值、区域类型值、建设类型值、覆盖目标重要程度值、高度维度网络结构值、距离维度网络结构值、网络结构值、需求频段类型值、问题点类型值和问题点关联数量值；所述文本型数据包括基站站点名。

优选的，步骤S2中的预处理过程具体包括：对数值型指标特征信息进行归一化处理，对类别型指标特征信息进行独热处理，以及对文本型数据进行分词向量化处理。

优选的，步骤S3中，建立的教师网络模型包括两个全连接层块和结果预测全连接层；所述全连接层块包括全连接层、正则化层、激活层和随机失活层；