[发明专利]一种基于强化学习的水声通信自适应调制方法

说明书

本发明公开了一种基于强化学习的水声通信自适应调制方法，解决了现有水声自适应通信系统中的反馈信道状态信息过时问题引起的系统性能下降的问题。本发明的方法基于水声自适应调制系统，步骤1、建立并初始化系统Q表；在初始时刻采取动作，计算奖励值；步骤2、下一时刻更新Q表，选择下一动作执行；步骤3、发送端将信号经水声信道发送至接收端；步骤4、接收端接收信号，反馈相关信息到发送端；步骤5、发送端将获取的信息送入强化学习模块，计算并更新奖励值，为下一时刻的更新Q表做好准备；步骤6、重复步骤2—步骤5，直至信号发送结束，最终可得经过强化学习优化自适应调制的系统吞吐量。

【技术领域】

本发明属于水声通信自适应调制技术领域，具体涉及一种基于强化学习的水声通信自适应调制方法。

【背景技术】

由于水下环境时刻发生着变化，水声信道受环境影响显著，因此呈现出复杂多变特性。在水声通信系统中，如果采用固定调制方式，那么在动态变化的水声信道中，当信道状态较差时，固定调制可能误码率很高；而当信道状态较好时，固定调制造成不可忽视的资源浪费。针对此，自适应调制技术能够根据信道状态的好坏，改变调制参数与当前信道状态相匹配，充分利用信道特性以提高通信的可靠性和有效性。

陆上无线电自适应通信的研究和应用比较成熟，而复杂多变水声信道中的自适应调制还面临较大挑战。声波在水中传播的典型传输速度约1500m/s，比无线电的传播速度低5个数量级，导致水声传播时延非常长。在水声自适应调制系统中，收发链路的信道状态信息需要通过水声链路反馈给发送端。由于反馈时延很长且信道是时变的，在接收到信道状态信息时，实际的信道状态往往已经发送变化，面临着信道状态信息传输过时的问题。可见，过长的反馈时延，导致发射端接收到的来自接收端的反馈信息与实际信道状态信息不匹配，根据过时信道状态信息进行的自适应调制决策，无法最优化水声自适应通信系统性能。

美国麻省理工大学M.Stojanovic团队的在水声自适应调制领域的研究工作Adaptive OFDM modulation for underwater acoustic communications:designconsiderations and experimental results提出了一种基于信道预测的自适应方案，其估计的信道状态信息通过海面船载的无线电设备反馈给发送端，并基于反馈信道状态信息进行预测以实现自适应调制。此研究工作中的信道状态信息通过无线电链路反馈，时延很短，而实际中长期布放在海中的通信系统需要通过水声链路进行信息交互，反馈时延往往长达秒级。美国康涅狄格大学S.Zhou团队的研究成果Adaptive modulation and codingfor underwater acoustic OFDM进行自适应调制和编码调整，信道状态信息通过水声链路反馈。基于以上成果可见，对于水声自适应通信系统中的反馈信道状态信息过时问题引起的系统性能下降的研究有待进一步探索。

【发明内容】

本发明的目的是提供一种基于强化学习的水声通信自适应调制方法，以解决现有水声自适应通信系统中的反馈信道状态信息过时问题引起的系统性能下降的问题。

本发明采用以下技术方案：一种基于强化学习的水声通信自适应调制方法，方法基于水声自适应调制系统，系统包含发送端和接收端，发送端包含自适应调制模块和强化学习模块，接收端包括接收解调模块和反馈模块；

具体包括以下步骤：

步骤1、设定水声自适应调制系统的Q表三要素：状态集S、动作集A和奖励集R，建立并初始化水声自适应调制系统Q表；

在初始时刻，采用随机选择策略，从动作集A中选取a作为初始时刻状态s_t下所采取的动作；发送端的自适应调制模块执行动作a，在时变水声信道中发送信号给接收端，接收端的接收解调模块解调信号并通过反馈模块反馈数据包给发送端，发送端根据接收的数据包计算得到状态s_t下动作a的奖励值r_t；