[发明专利]一种考虑业务优先级的多信道接入建模及分布式实现方法

说明书

本发明提出了一种考虑业务优先级的多信道接入建模及分布式实现方法，基于一个考虑业务优先级分类的通用缓存队列模型，结合相同无线资源传输不同优先级业务对全网所产生的效益不同这一特性，建立了新的网络效益最大化约束优化模型；将该模型转化为Multi‑agent强化学习决策过程，从而构建了基于该模型的多链路分布式动态信道接入的深度学习框架，用所建立模型的优化目标作为奖励对所有Agent进行集中训练，得到了相应的分布式动态信道接入方法；通过将该深度学习框架训练的Agent加载到链路发射机上进行分布式执行，可实现各链路仅利用局部观测就能实现具有全局业务优先级平衡效果的动态频谱接入决策。

技术领域

本发明属于无线网络动态频谱接入领域，具体地涉及一种考虑业务优先级的多信道接入建模及分布式实现方法。

背景技术

近来，不断提高的无线通信需求与日渐紧缺的频谱资源间矛盾日益凸显，允许用户在可用无线信道上灵活切换的动态频谱接入技术是提高稀缺频谱资源利用率的关键手段。对于多链路动态频谱接入通常需要考虑三个目标：选择最佳条件的信道、碰撞避免和按需接入。目标一主要通过链路的信道估计和频谱感知所获取的局部信息实现，而目标二和目标三在仅依赖局部信息决策时所得性能较差，尤其对于目标三，各链路按照自己业务需求进行接入信道选择较易实施，但各链路间协作接入以平衡业务负载则较为困难，通常在没有全局信息辅助下难以实现。中心式频谱资源调度虽然能够实现同时满足三个目标的频谱接入，但所需协调信号开销较大，过度消耗原本稀缺的频谱资源。而一个既能够达到可接受性能的分布式频谱接入，以局部信息为输入进行信道接入决策，且信号开销小是动态频谱接入问题中广泛考虑的实现形式。

传统基于竞争的分布式动态频谱接入方式中，各节点自私地去抢占无线资源、不考虑其他链路的业务需求情况和全网的效益，其性能随着网络负载的增加而急剧恶化。因此，在无信息交互下，实现具有全局意识的无线资源分配效果，是动态频谱接入面临的关键挑战之一。考虑到深度强化学习中神经网络具有的记忆性和泛化能力，本发明将每个链路看作一个Agent，基于考虑业务优先级的缓存队列模型，提出一个新颖的多信道接入优化问题建模方法，并将该问题优化目标作为奖励来对所有Agent进行集中训练，从而赋予了各链路在分布式执行时，仅根据局部信息便具有全局业务优先级平衡的能力。

发明内容

为了解决传统动态频谱接入方法中无线资源利用效率低且缺乏全局业务优先级平衡意识的问题，本发明提出一种考虑业务优先级的多信道接入优化问题建模方法，并基于Multi-agent深度强化学习设计了一种分布式实现方法，即通过将上述优化问题模型的优化目标作为奖励去集中训练所有Agent，并将训练好的Agent加载到各链路设备上进行分布执行，以达到各链路仅依赖局部信息便可进行具有全局业务优先级平衡能力的动态信道接入决策。

本发明提出了一种考虑业务优先级的多信道接入建模及分布式实现方法，包括以下步骤：

步骤1：建立考虑业务优先级的多链路动态信道接入约束优化模型；

步骤2：将步骤1建立的约束优化模型转化为Multi-agent强化学习决策过程，构建基于约束优化模型的多链路动态信道决策的深度学习框架。

步骤3：将步骤1建立的约束优化模型的优化目标作为奖励，对步骤2构建的深度学习框架的所有Agent进行集中训练，将训练好的Agent加载到网络对应的各链路发射机上进行分布式执行，输入当前时隙的各链路局部观测，从而得到当前时隙每条链路发射机选择接入的信道。

步骤1中的约束优化模型为：