[发明专利]一种分布式认知无线传感器网络中基于Q学习的频谱分配方法

摘要

本发明公开了一种分布式认知无线传感器网络中基于Q学习的频谱分配方法，以最大化分布式认知无线传感器网络的平均吞吐量和平均能量效率比为目标，认知无线传感器网络中各节点针对周围授权频谱状态变化以及其他节点分配策略相互学习并最终适应，将该过程映射成分布式多智能体Q学习的过程，并通过执行时序轮替机制下的最佳响应Q学习迭代算法来逼近最佳频谱分配策略。本发明具有收敛速度快、计算复杂度低、改善认知无线传感器网络平均吞吐量和平均能量效率比的特点。

主权项

一种分布式认知无线传感器网络中基于Q学习的频谱分配方法，其特征在于，以网络平均吞吐量或网络平均能量效率比作为目标函数，以认知传感器节点作为智能体，以联合频谱状态S(t)＝[s1(t),...,sj(t),...,sM(t)]作为Q学习的环境状态集合S，任一时隙内认知传感器节点频谱的分配动作A(t)作为智能体Agent的动作集合A，以认知传感器节点与授权频谱和其他节点之间的对应关系作为智能体的瞬时反馈奖励函数，采用时序轮替机制下的最佳响应Q学习迭代算法对网络中各节点频谱进行分配，在迭代过程中设定探索利用率为et；其中，sj(t)∈{0,1}，sj(t)＝1表示授权频谱Cj在时隙t处于占用状态，M表示授权频谱数量；sj(t)＝0则表示授权频谱Cj在时隙t处于空闲状态。