[发明专利]一种群体感知中利用图卷积强化学习最小化信息年龄方法

权利要求书

1.一种群体感知中利用图卷积强化学习最小化信息年龄方法，其特征在于，包括以下步骤：

步骤1、感知平台打开主进程，建立一个空的经验复用池并初始化GCRL-min算法的参数且算法的参数包括关系图卷积网络的参数、下一状态预测模块的参数、估值网络的参数；

步骤2、感知平台开启与环境交互的子进程，子进程与环境交互一个回合，建立了一个群体感知场景的仿真环境，部署U个感知体作为感知数据采集的执行者，环境中存在M个移动用户，移动用户的初始位置和移动轨迹由具体的真实数据集给出，整个感知任务被划分为相等的T个时间步，每个时间步具有相同的时长τ；

U个携带满能量E_max的感知体部署在同一起点，设定感知体在高度恒定的二维平面上移动，在每一个时间步[t，t+1)内，每一个感知体以速度沿着方位角的方向移动，其中，v_max是感知体的最大速度，收集数据，当具体使用无人机作为感知体时，感知体在时间步[t，t+1)的能耗由下公式(1)计算：

其中，u表示感知体，c₁、c₂、c₃是取决于无人机重量、转子、叶片和空气密度的常数，v_tip和分别为转子的叶尖速度和平均速度；

M个移动用户从初始位置开始移动并感知场景、生成数据，在时间步[t，t+1)内，每个移动用户生成数据并将其全部数据上传至距移动用户最近的感知体，具体表现为移动用户的信息年龄的变化如以下公式(2)所示：

其中，m表示移动用户，u表示距移动用户最近的感知体，是移动用户在时间步[t，t+1)结束时的信息年龄，PL_t(u，m)-G^Tx-G^Rx≤MCL是感知体成功采集移动用户的数据的条件并对条件中各变量的含义具体解释如下：

仿真环境基于毫米波的数据上传系统，其中，移动用户和感知体分别是发射者和接收者(Rx)，采用特定毫米波频率下的视距和非视距链路的信道衰弱模型如以下公式(3)所示：

其中，α^LoS、β^LoS、α^NLoS、β^NLoS是浮动截距和坡度上的环境参数，是移动用户m和感知体u之间的3D距离，PL_t(u，m)随着d_t(u，m)的增大而增大；

对于LoS和NLoS，当感知体位于高度h^u，每个移动用户被建模为平均高度为h^user、平均直径为g^user的圆柱体，设定携带智能设备的移动用户位于高度h^device，其中，h^device＜h^user，当一个移动用户上传数据给感知体，根据以下公式(4)计算时间步[t，t+1)中LoS的概率：

其中，是移动用户和感知体之间的欧氏距离，平均的信道衰弱如以下公式(5)所示：

其中，根据5G NR，选择最大耦合损耗来表示感知体在每个时间步中的最大感知范围，定义为系统能够容忍且仍然能够运行的传导电平中的最大损失；

步骤3、子进程在每一个时间步，观察感知区域中的移动用户和感知体的状态，使用关系图卷积网络充分挖掘空间信息，抽取感知体-移动用户的交互特征，得到对环境更可靠的表征；

步骤4、子进程在每一个时间步，利用关系图卷积网络得到的交互特征作为输入，送入下一状态预测模块和估值网络模块，以蒙特卡洛树搜索方法作为辅助向前看N步，以选择最佳动作，使用最佳动作与环境交互，向经验复用池发送经验；

步骤5、反复执行步骤3、步骤4，直到回合结束，收集当前回合的轨迹数据并上传至经验复用池，子进程关闭，当在回合的某一个时间步中检测到存在感知体撞到障碍物或者能量耗尽，则也立即结束这一回合，子进程关闭；

步骤6、感知平台的主进程从经验复用池中采样出批量经验数据，通过梯度下降法更新网络参数，优化感知集群的策略以逐渐降低执行策略所得的信息年龄，保存最优参数；

步骤7、反复执行步骤2、步骤5、步骤6，直到交互的回合数量达到上限；

步骤8、感知平台主进程取出保存的GCRL-min算法的最优参数，即得到能够最小化信息年龄的智能集群最优策略，根据最优策略得到对应的感知集群调度轨迹，向感知集群发送最优轨迹调动指令以获取感知区域内移动用户的最新数据。