[发明专利]一种基于Transformer网络和知识蒸馏的无线资源需求预测方法

摘要

本发明公开了一种基于Transformer网络和知识蒸馏的无线资源预测方法，本方法分别构建教师网络和学生网络，以历史基站原始数据作为数据集，训练基于全连接网络模型的教师网络；将训练好的教师网络，采用知识蒸馏方法对基于Transformer网络模型的学生网络进行训练；将训练好的学生网络结合无线资源的文本描述和地理位置进行需求度预测，提供优化参考。本发明依据知识蒸馏思想，采用可以明确处理详细的无线资源属性信息的教师网络，引导处理模糊简便的本文描述信息的学生网络，使得学生网络对于文本数据信息具有更强大的判别推理能力，对于输入数据的要求极大地降低，显著提升网络优化工作效率。