[发明专利]一种认知无线电实现最优传输的在线学习方法

说明书

技术领域

本发明是一种提高认知无线电传输性能的在线学习方法，属于无线通信和信息传播技术领域。

背景技术

认知无线电(Cognitive Radio，CR)是建立在软件无线电平台上的一种内容认知型的智能无线电，通过在无线域建模来扩展软件无线电的功能，它通过学习实现自我重配置，动态自适应通信环境的变化。认知无线电的出现是为了解决频谱资源匮乏的问题，尽量提高现有频谱的利用率。认知无线电的核心思想就是通过频谱感知(Spectrum Sensing)和系统的智能学习能力，实现动态频谱分配(DSA：dynamic spectrum allocation)和频谱共享(Spectrum Sharing)。

近年来无线设备(智能手机和平板电脑)的普及导致了对更多频谱带宽需求的急剧增加，可供分配的频谱资源越来越少，造成目前频谱资源紧张，但另一方面，无线频谱的利用率却相当低。被分配的频谱中超过90％的频谱利用率严重不足。动态频谱接入技术的出现，解决了大量的频谱利用不足和频谱短缺之间的矛盾。动态频谱中最有前途的实现方式是认知无线电。频谱共享是认知无线电系统中有效利用空闲频隙以提高频谱利用率的关键技术。

在线学习算法通过感知环境状态和从环境中获得不确定的信息来学习动态系统的最优策略。环境仅对某一动作的好坏做出评价，并不告知如何产生最优动作。

目前国内外研究人员已经提出了多种频谱共享模型：基于图着色和生物学的启发式算法；基于经济学的拍卖机制和博弈论；跨层优化的频谱共享模型；在参数未知情况下通过在线学习达到近似对数后悔值的非贝叶斯感知问题；通过单门限策略离线分析各种参数GE(Gilbert-Elliot)衰减信道中最小化传输能力和延迟。

本发明是针对未知Gilbert-Elliott信道模型最优传输提出的在线学习方案：基于部分可观察马尔科夫决策过程POMDP(Partially Observable Markov Decision Processes)对网络信道建模，将K臂赌博机算法转化为K步信道保守策略，并采用UCB算法求解及UCB-Tuned算法优化。

发明内容

本发明的目的在于解决认知无线电环境不完全感知情况下的传输问题，该方法将信道建模为POMDP模型，利用多臂赌博机在线学习实现了最优传输。

一、基于POMDP的信道建模

在POMDP中，非授权用户(SU)须利用现有的部分信息、历史动作和立即回报值来进行策略决策。如图1为POMDP模型的框架，b为信念状态，是状态集合S中所有状态的概率分布。SU处于某一状态s的概率为b(s)，且有∑_s∈Sb(s)=1.0，则所有可能的信念状态构成的信念空间表示为B(S)={b：∑_s∈Sb(s)=1.0，,b(s)≥0}，信念状态为求解最优动作策略A^*的一个充分统计量。模型描述为：1)状态估计器(SE)：P×A×B(S)→B(S)，其中P为置信概率，即状态估计器(SE)负责根据上一次动作和信念状态以及当前观察更新当前的信念b；2)策略π：B(S)→A，即在当前信念状态b下使用策略π从而选择动作a，其回报为r(b，a)，表示为r(b，s)=∑_s∈Sb(s)r(s，a)。

假设在授权用户网络中，每个信道只有两种状态S，即二值的Gilbert-Elliott(G-E)马尔科夫链：如图2所示，当S=1时，表示当前信道处于空闲，对于SU而言信道状态较好，能够成功地高速传输数据；当S=0时，表示当前信道忙碌，对SU而言信道状态较差，SU只有以较低的速率传输才能成功。该图中λ0为信道的状态从忙到空闲的转移概率，(1-λ1)为信道的状态从空闲到忙碌的转移概率。转移概率为：