[发明专利]基于Q学习算法的卫星物联网异步随机接入方法

摘要

本发明提出了一种基于Q学习算法的卫星物联网异步随机接入方法，用于解决现有技术中存在的低吞吐量导致信道资源利用率较低的问题。实现步骤为：卫星向用户端发送信道区间信息；用户端初始化Q学习算法的参数；用户端向卫星发送接入数据包；卫星将接收到的所有接入数据包转发至地面网关；地面网关向卫星发送奖惩因子r；卫星通过广播将已赋值的奖惩因子r发送至用户端；每个用户利用奖惩因子r对信道区间的Q评估值分别进行更新；直至所有用户全部完成发送数据包。本发明通过学习用户发送数据包的信道区间，降低了数据包冲突概率，提高了系统吞吐量，进而提升了信道资源利用率。

主权项

1.一种基于Q学习算法的卫星物联网异步随机接入方法，其特征在于，包括如下步骤：(1)卫星向用户端发送信道区间信息：卫星将自己信道的多个连续数据帧分别划分为k个均匀信道区间，并将k发送给用户端的M个用户，k≥2，M≥1；(2)用户端初始化Q学习算法的参数：用户端创建由M×k个Q评估值组成的Q评估表，并将每个Q评估值初始化为0，将第m个用户在第i个信道区间上的Q评估值表示为Q_m(i)，1≤m≤M，1≤i≤k；(3)用户端向卫星发送接入数据包：(3a)用户端的每个用户对接入信息进行编码，得到编码数据，并对该编码数据进行交织，得到交织数据，对交织数据进行调制，得到净荷数据，再将该净荷数据与用户自己的导频序列组合成接入数据包，其中各用户的导频序列相同；(3b)用户端的每个用户通过随机选择的当前时刻卫星信道数据帧中Q评估值最大的两个信道区间的任意位置，分别向卫星发送接入数据包；(4)卫星将接收到的所有接入数据包转发至地面网关；(5)地面网关向卫星发送Q学习算法的奖惩因子r：(5a)地面网关对每个接入数据包与该每个接入数据包包含的导频序列进行相关运算，得到2M个互相关序列，并检测每个互相关序列中大于预定阈值γ^*的相关值的数目l，将l＝1的互相关序列对应的接入数据包作为未受其他数据包干扰的接入数据包，将其余互相关序列对应的接入数据包作为受其他数据包干扰的接入数据包，l≥1；(5b)地面网关采用迭代干扰消除算法对未受其他接入数据包干扰的接入数据包进行解调，采用分组片段最大信干噪比合并算法对受其他接入数据包干扰的接入数据包进行解调，得到2M个包括净荷数据的解调结果；(5c)地面网关通过每个接入数据包的CRC校验码对该每个接入数据包解调结果中的净荷数据进行校验，若校验通过，则对Q学习算法的奖惩因子r赋值1，否则，则对Q学习算法的奖惩因子r赋值‑1，并将已赋值的r发送至卫星；(6)卫星通过广播将已赋值的奖惩因子r发送至用户端；(7)用户端的每个用户利用其对应的已赋值的奖惩因子r对该用户发送接入数据包的两个信道区间的Q评估值分别进行更新，更新公式为：Q_m(i)←Q_m(i)+α(r‑Q_m(i))其中，α表示Q学习算法中的学习速率，0≤α≤1；(8)判断每个用户的所有用户包是否全部发送至卫星，若是，卫星物联网异步随机接入完成，否则，每个用户通过两个信道区间更新后的Q评估值替换当前时刻卫星信道数据帧中Q评估值，并重复执行步骤(3)～(7)。