[发明专利]基于强化学习的无线局域网调制编码自适应选择方法及无线设备

说明书

本发明提出基于强化学习的无线局域网调制编码自适应选择方法及无线设备，该方法在无线设备内训练一张关于当前链路信噪比SNR和所有支持的MCS索引值的Q值表；在训练Q值表的过程中，无线设备根据学习策略在Q表中选择MCS索引值，并根据搭建的外部环境反馈的吞吐量和丢包率计算奖励值，通过更新策略更新Q表。最终训练完成的Q表可获得特定SNR下一定丢包率范围内吞吐量最大的MCS索引值，无线设备实时通过带宽测试得到无线局域网络的吞吐量和丢包率数据，然后自适应地从训练好的Q值表中选择预设丢包率范围内预计获得最大网络吞吐量的最优MCS索引值，并执行相应调制编码方案，保证了传输的可靠性和有效性，同时避免了抽样探测带来的网络性能浪费问题。

技术领域

本发明涉及无线通信技术领域，具体涉及一种基于强化学习的无线局域网调制编码自适应选择方法及无线设备。

背景技术

IEEE802.11标准下的无线局域网(Wireless Local Area Network，WLAN)已成为解决家庭无线设备接入，中大型企业和商业设施网络部署的主要方式。在WLAN系统中，由于无线信道衰落的特征，为了保证传输的可靠性和有效性，无线接入点(Access Point，AP)通常会采用不同的调制编码(Modulation and Coding Scheme，MCS)方式以应对不同的信道状况。

IEEE802.11标准并没有定义不同调制编码方式间的选择方式，MCS的自适应算法主要由硬件厂商在设备驱动中定义。当前主流的MCS自适应算法包括Minstrel算法，ath9k算法和MiRA算法等。上述算法均采用了按一定顺序对设备支持的所有MCS索引值进行抽样探测，得到不同MCS下的吞吐量和丢包率，再进行门限值比较判别的方法来选择最优的MCS。在网络环境复杂，信道状况不稳定时，基于抽样的算法存在算法即时性不够的问题，同时其中的抽样过程对网络性能均会造成一定的浪费。

发明内容

发明目的：为克服现有的基于抽样的MCS自适应算法的不足，本发明提出一种基于Q学习的无线局域网调制编码自适应选择方法。

技术方案：强化学习(Reinforcement Learning,RL)是机器学习的一个分支，主要用于描述和解决智能体与环境的交互过程中通过一定的学习策略得到最大化的回报的问题，其不要求预先给定任何数据，而是通过智能体接收环境对所采取的动作反馈回的奖励值更新模型参数。相比于传统无线技术，强化学习方法可使得网络性能得到一定的提升。Q学习是强化学习算法中一种基于价值的算法。本发明基于Q学习原理设计了无线局域网调制编码自适应选择机制，并提出了一种基于强化学习的无线局域网调制编码自适应选择方法，该方法由无线设备实现，包括以下步骤：

(1)在无线设备内构建一张关于当前链路信噪比SNR和所有支持的MCS索引值的Q值表；所述Q值表的回报函数R(t)为：

其中，TP为通过带宽测试得到的无线局域网络的吞吐量，t表示时间节点；PLR为通过带宽测试得到的无线局域网的丢包率；m为序列窗口值，表示前m次带宽测试得到的吞吐量数据；k₁，k₂和k₃为参数系数，用于调参以便R(t)在训练过程中的收敛；

Q值更新策略如下：

其中，s为当前信噪比和MCS状态；a为由当前MCS索引值切换为下一个MCS索引值的行为；α为学习效率；r为通过回报函数计算出的奖励值；γ为未来奖励的衰减系数；

(2)训练所述Q值表至R(t)收敛；

(3)无线设备实时通过带宽测试得到无线局域网络的吞吐量和丢包率数据，然后自适应地从训练好的Q值表中选择预设丢包率范围内预计获得最大网络吞吐量的最优MCS索引值，并执行相应调制编码方案。