[发明专利]认知无线电中基于协作学习的多用户动态频谱接入方法

摘要

本发明的目的在于提供一种认知无线电系统中基于协作学习的多用户动态频谱接入方法，该方法将黑板模型、融合算法以及强化学习方法结合起来，先对各个状态-动作对函数值用Boltzmann机进行非线性化，再采用轮盘赌算法进行动作选择，然后确定奖赏函数，实现黑板模型，即所有认知用户将各自当前的Q值通过公共控制信道发送到黑板，并且可以从黑板中获取其它认知用户的Q值，然后利用融合算法进行计算，在此基础上，每个认知用户都根据融合后的Q值进行动作选择。本发明中的每个认知用户独立执行强化学习算法，同时它们之间进行相互合作，共享状态、策略和奖赏，从而加快学习速度。

主权项

1.一种认知无线电系统中基于协作学习的多用户动态频谱接入方法，其特征在于该方法的具体内容为：a、初始化：随机初始化每个认知用户的状态-动作对函数值Q(s，a)，s表示认知用户的状态，a表示认知用户所采取的动作，设定初始学习速率α₀、温度参数T和迭代次数N；b、状态空间的构建：状态空间S={s1,s2,···,sK,sd1,sd2,···,sdM},]]>其中s_k＝0表示信道被授权用户k占用；s_k＝1表示信道未被占用；s₁～s_K表示授权用户占用的信道，K为授权用户数，表示被认知用户占用的信道，d₁～d_M表示M个认知用户数；c、动作选择策略：对状态-动作函数值Q(s_t，a_t)用玻耳兹曼法进行非线性化，然后再采用轮盘赌算法进行选择，用Boltzmann机分布选择动作的概率p(ai/st,Q)=eQ(st,ai)/TΣaj∈AeQ(st,aj)/T,]]>其中，Q(s_t，a_i)是每个状态-动作对的函数值，A为认知用户作用于环境的动作集合，p(aⁱ/s_t，Q)表示在状态s_t选择动作aⁱ的概率，i和j为动作的序号，T为可调节的温度参数，T的大小代表了随机性的大小，T越大则选择动作的随机性越强；d、确定奖赏函数：系统中存在一个信道同时被两个用户占用即冲突时，奖赏函数r为“-6”，是一种惩罚；不存在即没有冲突时r为“2”，反映了降低冲突概率的要求。e、实现黑板模型：在迭代了N次以后，所有认知用户将各自当前的Q值通过公共控制信道发送到黑板即控制中心，并且可以从黑板中获取其它认知用户的Q值，然后利用融合方法进行计算，在此基础上，每个认知用户都根据融合后的Q值进行动作选择。