[发明专利]一种基于多智能体深度强化学习的D2D资源分配方法

说明书

本发明公开了一种基于多智能体深度强化学习的D2D资源分配方法，属于无线通信领域。首先构建蜂窝网络与D2D通信共享频谱的异构网络模型，基于其存在的干扰，建立D2D接收用户的信干噪比SINR以及蜂窝用户的SINR，然后分别计算蜂窝链路和D2D链路的单位带宽通信速率后，以将最大化系统容量为优化目标，构建异构网络中的D2D资源分配优化模型；针对时隙t，在D2D资源分配优化模型的基础上，构建每一个D2D通信对的深度强化学习模型；分别对后续时隙中的每个D2D通信对提取各自的状态特征矢量，输入训练好的深度强化学习模型中，得到各个D2D通信对的资源分配方案。本发明优化了频谱分配和传输功率，最大化了系统容量，提供了低复杂度的资源分配算法。

技术领域

本发明属于无线通信领域，涉及异构蜂窝网络系统，具体是一种基于多智能体深度强化学习的D2D资源分配方法。

背景技术

智能终端的普及以及移动互联网业务的井喷式发展，对无线通信网络的数据传输能力提出了更高的要求。在当前的大趋势下，现有的蜂窝网络存在频谱资源短缺以及基站负载过重等问题，不能满足未来无线网络的传输需求。

设备到设备(D2D，Device-to-Device)通信允许邻近用户建立直接链路进行通信，因为其具有提升频谱效率、节约能耗和卸载基站负载等优势，成为了未来无线通信网络中一种很有潜力的技术。在蜂窝网络中引入D2D通信，一方面可以节约能耗、改善边缘用户的性能，另一方面D2D通信共享蜂窝用户的频谱可以极大的提升频谱利用率。

然而，D2D通信复用蜂窝网络的频谱会对蜂窝通信链路造成跨层干扰，蜂窝用户作为蜂窝频段的主用户通信质量应该得到保证，同时在D2D通信密集部署的情况下，多个D2D通信链路复用相同的频谱会造成彼此之间的同层干扰，所以蜂窝网络与D2D通信共存时的干扰管理问题是一个亟待解决的问题。无线网络资源分配旨在通过合理的资源配置来缓解干扰，提升频谱资源利用效率，是解决上述干扰管理问题的有效途径。

现有的对于蜂窝网络中D2D通信资源分配的研究可以分为集中式和分布式两类。集中式方法假定基站具有即时的全局信道状态信息(CSI，Channel State Information)，由基站控制D2D用户的资源分配，但是基站要获取全局信道状态信息需要巨大的信令开销，在未来海量的无线设备场景下，基站很难拥有即时的全局信息，所以在未来通信设备密集的场景下，集中式算法不再适用。

分布式方法让D2D用户自主进行无线网络资源的选择，现有的研究主要基于博弈论和强化学习。博弈论方法将D2D用户建模为博弈玩家进行竞争博弈，直到纳什均衡状态，但是求解纳什均衡状态需要用户间大量的信息交换，而且需要大量的迭代才能收敛。基于强化学习的资源分配研究主要基于Q学习，比如深度Q网络(DQN，Deep Q Network)，将D2D用户看做智能体，自主学习策略进行无线网络资源的选择。但是在多个智能体学习训练时，每个智能体的策略都在变化，会造成训练环境不稳定，训练不易收敛。因此需要研究一种收敛性好、复杂度低的分布式资源分配算法来解决蜂窝网络中D2D通信的干扰管理问题。

发明内容

本发明为了解决上述问题，基于深度强化学习理论，提供了一种基于多智能体深度强化学习的D2D资源分配方法，优化了D2D用户的频谱分配和传输功率，实现了蜂窝网络和D2D通信的系统容量最大化，并且保证了蜂窝用户的通信质量。

具体步骤包括：

步骤一、构建蜂窝网络与D2D通信共享频谱的异构网络模型；

异构网络模型包括蜂窝基站BS、M个蜂窝下行用户以及N个D2D通信对。

设定第m个蜂窝用户为C_m，其中1≤m≤M；第n个D2D通信对为D_n，其中1≤n≤N。D2D通信对D_n中的发射用户和接收用户分别用和表示。