[发明专利]基于迁移学习的下行MISO-OFDMA协作传输方法

说明书

本发明是一种基于迁移学习的下行MISO‑OFDMA协作传输方法，包括步骤1：定义下行MISO‑OFDMA系统的关键参数；步骤2：利用深度Q网络在当前环境下训练当前智能体，为每个智能体构建一个深度Q网络即为多智能体深度Q网络，解决波束协作和资源分配问题；步骤3：以不同方案改变当前环境并提出一种迁移学习框架，所述迁移学习框架在新环境下通过步骤2中训练好的智能体的知识和新智能体的经验来训练新智能体；步骤4：动态调整波束成形协作和资源分配策略，以最大化所有用户的和速率。本发明可以有效地提升系统性能，加快神经网络的收敛速度，使新智能体更快更有效地适应新的网络环境。

技术领域

本发明属于无线通信领域，具体的说是涉及一种基于迁移强化学习的下行MISO-OFDMA系统协作传输方法。

背景技术

近年来，由于海量接入和低时延通信需求的不断增长，第五代(5G)技术中的资源分配问题引起了广泛关注。作为无线通信系统的主要接入方式，正交频分多址(OFDMA)将传输带宽划分为一系列正交的、互不重叠的子载波集，在同一时隙内将不同的子载波集分配给不同的用户，实现多址接入。OFDMA技术根据信道增益自适应地分配资源，极大地提高了系统性能。此外，波束成形技术近年来也受到高度重视，因为波束成形技术可以提高下行传输中多天线的性能。波束成形协作可以减轻蜂窝网络下行链路中的同信道干扰，从而有利于通信资源的分配。

目前，已经有大量的工作研究OFDMA系统下的波束协作和资源分配问题。然而，这些工作采用的模型驱动的方法需要准确的信道状态信息(CSI)，因此难以建立数学模型。作为一种无模型的方法，深度Q网络(DQN)大大降低了数学建模的难度。它引入了一种试错机制，通过与环境交互来优化输出策略。已经有一些工作利用DQN方法解决了OFDMA系统中的资源分配问题。然而，据我们所知，在现有的文献中还没有对OFDMA系统中基于DQN的波束协作进行研究；另一方面，在无线通信系统中，网络配置可能一直在变化。因此，当网络配置发生变化时，如何在新的网络环境下快速有效地训练新的网络是一个具有挑战性的问题。

近年来，迁移学习作为一种新的学习框架应运而生。迁移学习是指一种学习对另一种学习的影响，或习得的经验对完成其他活动的影响。迁移学习将一个领域(即源域)的知识迁移到另外一个领域(即目标域)，使得目标域能够取得更好的学习效果。比如说，用来辨识汽车的知识(或者是模型)也可以被用来提升识别卡车的能力。此外，迁移学习被认为是解决经验驱动的网络环境下的重构问题的一种很有前途的技术。具体来说就是，当网络环境发生变化时，迁移学习可以有效地帮助新的智能体在新的网络环境下进行训练。