[发明专利]一种基于深度Q网络的动态多信道协作感知方法

说明书

本发明公开了一种基于深度Q网络的动态多信道协作感知方法，在初始感知阶段初期将所有次级用户的状态矩阵发送给协同服务器并发起协同请求，协同服务器在接收到协同请求后，以次级用户的状态矩阵作为深度Q网络的输入进行训练，利用DDQN网络结构保持深度Q网络内部状态，以维度为K+1的向量作为次级用户下一时隙占用信道的协同矩阵输出至服务器，接入服务器接收请求后，根据协同矩阵对次级用户进行信道接入，并根据信道的真实状态得到即时奖励；本发明结合深度Q网络算法从用户角度出发实现频谱信道资源的合理利用，将更加直观、有效的提升信道的利用率，主动规避多用户之间的碰撞问题造成的信道资源的浪费，从而提高了信道资源利用率。

技术领域

本发明属于无线网络中频谱分配领域，涉及一种基于深度Q网络的动态多信道协作感知方法。

背景技术

随着互联网通讯不断的发展，越来越多的次级用户对频谱信道的资源利用提出了更高的要求，尤其是在授权信道存在大部分空闲的情况下，如何在最大限度利用授权信道的前提下，减少次级用户之间冲突导致的接入信道失败概率，成为一个亟待解决的问题。所以频谱信道分配作为认知无线电关键技术之一被广泛研究中。

面对多用户协同分配信道的情况，传统方法通过共享次级用户之间的信息，即腾出一条专用的公有信道来广播信息。但是公有广播信道存在很多不足，首先是这条公有信道很容易被外界控制导致存在安全隐患；其次，需要同时调度广播所有用户，所以调度的复杂度和成本比较高；最后这条专有的公共信道必须拥有固定的带宽，限制了网络的可变性。目前很难出现一条公有信道贯穿整个网络，因为授权信道的无规则分布，随着网络结构动态的变化，公有信道也要跟着变化，稳定性太差。

发明内容

本发明的目的在于提供一种基于深度Q网络的动态多信道协作感知方法，以克服现有技术的不足。

为达到上述目的，本发明采用如下技术方案：

一种基于深度Q网络的动态多信道协作感知方法，包括以下步骤：

步骤1)、在整个认知无线电的环境下，感知阶段初期将所有次级用户的状态矩阵发送给协同服务器并发起协同请求；

步骤2)、协同服务器在接收到协同请求后，以次级用户的状态矩阵作为深度Q网络的输入进行训练，利用DDQN网络结构保持深度Q网络内部状态，以维度为K+1的向量作为次级用户下一时隙占用信道的协同矩阵输出至服务器；

步骤3)、服务器根据协同矩阵对次级用户进行信道接入，并根据信道的真实状态得到即时奖励，更新次级用户的状态矩阵，进入下一时隙的感知阶段。

进一步的，步骤1)具体包括以下步骤：将所有次级用户状态矩阵发送给协同服务器，状态矩阵的维度为N*(2K+2)，表达式如下：

其中s_i表示第i个次级用户的状态，每个次级用户的状态由2K+2个元素组成，前K+1个元素表示用户的发送情况，中间K个元素表示K个信道的剩余容量，最后1个元素表示ack信号，其中：

s_i＝[ξ₁，…，ξ_K+1，c₁，…，c_K，ack]

其中ξ_j表示选择第j-1个信道进行发送，c_j表示第j个信道的剩余量，ack表示ack信号。

进一步的，用户的发送情况具体为：如果用户未发送，则第一个元素值为1，其他元素值为0；如果用户选择信道K进行发送，则第K+1个元素值为1，其他元素值为0。

进一步的，2.1协同服务器将次级用户的状态矩阵按行分为N份，将每份状态矩阵的s_i作为输入向量，输入到深度Q网络中；