[发明专利]一种基于强化学习的水声通信自适应调制方法

摘要

本发明公开了一种基于强化学习的水声通信自适应调制方法，解决了现有水声自适应通信系统中的反馈信道状态信息过时问题引起的系统性能下降的问题。本发明的方法基于水声自适应调制系统，步骤1、建立并初始化系统Q表；在初始时刻采取动作，计算奖励值；步骤2、下一时刻更新Q表，选择下一动作执行；步骤3、发送端将信号经水声信道发送至接收端；步骤4、接收端接收信号，反馈相关信息到发送端；步骤5、发送端将获取的信息送入强化学习模块，计算并更新奖励值，为下一时刻的更新Q表做好准备；步骤6、重复步骤2—步骤5，直至信号发送结束，最终可得经过强化学习优化自适应调制的系统吞吐量。

主权项

1.一种基于强化学习的水声通信自适应调制方法，其特征在于，所述方法基于水声自适应调制系统，所述系统包含发送端和接收端，发送端包含自适应调制模块和强化学习模块，接收端包括接收解调模块和反馈模块；/n具体包括以下步骤：/n步骤1、设定水声自适应调制系统的Q表三要素：状态集S、动作集A和奖励集R，建立并初始化水声自适应调制系统Q表；/n在初始时刻，采用随机选择策略，从动作集A中选取a作为初始时刻状态s_t下所采取的动作；发送端的自适应调制模块执行所述动作a，在时变水声信道中发送信号给接收端，接收端的接收解调模块解调信号并通过反馈模块反馈数据包给发送端，发送端根据接收的数据包计算得到状态s_t下动作a的奖励值r_t；/n步骤2、下一时刻，系统从状态s_t到达状态s_t+1，根据所述状态s_t+1、以及奖励值r_t，更新状态s_t中的水声自适应调制系统Q表作为状态s_t+1的Q表，并在状态s_t+1下根据更新后的水声自适应调制系统Q表选择最佳调制方式，即采用贪婪算法来选择下一动作a'执行；/n步骤3、发送端使用所述步骤2中选择的最佳调制方式调制信号，通过自适应调制模块将信号经水声信道发送至接收端；/n步骤4、接收端的接收解调模块接收所述步骤3中经过水声信道传输来的信号，解调获得相关信息，送入反馈模块并以数据包的形式反馈相关信息到发送端；/n步骤5、发送端根据接收到的数据包，将获取的信息送入强化学习模块，计算并更新执行动作a'所获得的奖励值r_t+1，更新参数，将s_t+1赋值给s_t，将r_t+1赋值给r_t，为下一时刻的更新Q表做好准备；/n步骤6、重复步骤2—步骤5，直至信号发送结束，最终可得经过强化学习优化自适应调制的系统吞吐量。/n