[发明专利]基于深度Q网络的D2D-NOMA通信系统资源分配方法

说明书

本发明适用于通信技术领域，提供了基于深度Q网络的D2D‑NOMA通信系统资源分配方法，所述基于深度Q网络的D2D‑NOMA通信系统资源分配方法包括以下步骤:建立蜂窝网络下D2D‑NOMA通信系统的网络模型；计算蜂窝用户i被D2D‑NOMA簇复用后的信干噪比以及第j个簇内第k个D2D接收机的信干噪比构建以最大化D2D用户总吞吐量为目标的优化问题；建立马尔科夫模型；设计深度Q网络中的Behavior网络和Target网络；利用深度Q网络使智能体与环境交互，输出最优资源分配策略。本发明利用深度Q网络方法在保证蜂窝用户的服务质量的前提下，提高了D2D‑NOMA系统的吞吐量和频谱效率。

技术领域

本发明涉及通信技术领域，具体是基于深度Q网络的D2D-NOMA通信系统资源分配方法。

背景技术

随着移动通信技术的不断发展，对于通信系统的数据传输速率、网络容量、频谱利用率等方面都有着更高的需求。因此，如何利用有限的带宽资源实现高频谱效率和高容量成为通信行业研究的重点。如何更加有效地利用现有的频谱资源、提升用户通信速率等成为第五代移动通信系统(the Fifth GenerationMobile Communication Systems,5G)亟待解决的核心问题。

用户之间的直接通信称为D2D通信。在D2D通信中，用户之间的频谱复用可以提高系统的能量效率和总速率。随着5G的发展，除了D2D技术之外的另一种新技术非正交多址接入技术(Non Orthogonal Multiple Access,NOMA)已经被提出，可以在满足用户体验需求的前提下，更加高效的利用频谱资源。NOMA在支持大规模连接和提高系统和速率方面很有潜力，实现一个新的多址接入功率维度。除了这些优点，NOMA技术还提高了小区内用户之间的公平系数。综上所述，D2D通信技术与NOMA技术都被认为是下一代通信网络关键技术之一。因此，将D2D和NOMA结合起来能大大提高未来移动通信系统的服务质量。然而，这些技术会增加小区内的干扰。如果不采用适当的资源管理，可能无法实现上述优势。因此，对其进行信道分配和功率分配十分有意义。

目前，将NOMA技术与D2D技术结合起来的研究已经取得一些成果，已经有研究者提出了基于NOMA技术的“D2D簇”的新场景，在簇内D2D发射机可采用NOMA技术同时与两个接收机通信，且大多数研究集中在使用传统的匹配理论完成信道分配因子的求解，以及使用凸优化对功率分配因子求解。然而，这类NP难问题若使用传统方法解决，会计算复杂。

由上可见，现有的D2D-NOMA通信系统资源分配方法在大量用户以D2D-NOMA簇的形式接入网络时，在保证蜂窝用户的QoS需求的前提下，难以整个D2D-NOMA系统吞吐量达到最优，并且难以做到合理的功率分配，在满足应用NOMA技术的条件同时不便于协调蜂窝用户与D2D用户之间的干扰，因此难以得到广泛应用。

发明内容

本发明实施例的目的在于提供基于深度Q网络的D2D-NOMA通信系统资源分配方法，旨在解决以下问题：现有的D2D-NOMA通信系统资源分配方法在大量用户以D2D-NOMA簇的形式接入网络时，在保证蜂窝用户的QoS需求的前提下，难以整个D2D-NOMA系统吞吐量达到最优，并且难以做到合理的功率分配，在满足应用NOMA技术的条件同时不便于协调蜂窝用户与D2D用户之间的干扰，因此难以得到广泛应用。

本发明实施例是这样实现的，基于深度Q网络的D2D-NOMA通信系统资源分配方法，包括以下步骤：

S1：建立蜂窝网络下D2D-NOMA通信系统的网络模型：系统由M个蜂窝用户和N个D2D-NOMA簇构成，每个簇内包含一个D2D发射机和K个D2D接收机；

S2：计算蜂窝用户i被D2D-NOMA簇复用后的信干噪比以及第j个簇内第k个D2D接收机的信干噪比

S3：构建以最大化D2D用户总吞吐量为目标的优化问题；

S4：建立基于深度Q网络的马尔科夫模型；