[发明专利]一种群体感知中利用图卷积强化学习最小化信息年龄方法

说明书

本发明公开了一种群体感知中利用图卷积强化学习最小化信息年龄方法。包括以下步骤：步骤1、感知平台打开主进程，步骤2、感知平台开启与环境交互的子进程，步骤3、观察感知区域中的移动用户和感知体的状态包括感知体和用户的位置、移动方向，步骤4、利用关系图卷积网络得到的交互特征作为输入，步骤5、反复执行步骤3、步骤4，直到回合结束，步骤6、感知平台的主进程从经验复用池中采样出批量经验数据，步骤7、反复执行步骤2、步骤5、步骤6，直到交互的回合数量达到上限；步骤8、感知平台主进程取出保存的最优参数，本发明有益效果是能够最小化信息年龄，能够减轻对仿真平台的过度依赖。

技术领域

本发明属于群体感知技术领域，具体涉及一种群体感知中利用图卷积强化学习最小化信息年龄方法。

背景技术

群体感知已被公认为是用于获取各种智慧城市应用数据(如交通控制和路况监测)的一种高效且扩展性强的方式。在群体感知任务的场景中，地面的移动用户不断移动并获取城市中的数据，感知集群(由多个感知体组成)作为移动基站服务于移动用户，收集移动用户获取到的数据，用作后续的分析处理。

在群体感知任务中，很多数据有很强的时效性(例如交通路况信息)，从移动用户处获取实时数据的延迟是衡量任务完成质量的关键指标，如何设计感知集群收集数据的轨迹以最大程度地保证数据的时效性是核心问题。借鉴学界常用的方法，使用“信息年龄”(Age of Information，定义为移动用户向感知集群成功传输数据后经过的时间)作为评估数据收集及时性的指标，将核心问题转换为最小化信息年龄。感知集群四处移动并接收来自多个移动用户上传的数据，当在某时刻某个移动用户的数据被某个感知体成功地收集到，则信息年龄会重置为1，否则会随时间不断增加。

然而，在现实的群体感知中信息年龄最小化任务中，感知体(例如无人机)所能携带能源有限。如何设计感知集群的调度算法，做到在尽可能快、尽可能多地收集实时数据的同时提高能源的使用效率，成为了新的研究热点，信息年龄最小化任务中有如下三个待解决的技术难题：

1.感知集群调度算法应该同时在多个评价指标上达成好的效果，包括尽快且高效地采集到每个移动用户的数据、保证高用户覆盖率、尽可能节省感知体能耗，然而挑战在于这些评价指标很难兼顾，为了提高用户覆盖率，感知体不可避免地需要前往较为偏远的地区采集数据，导致较大的能量消耗。

2.移动用户的移动是随机且不可控的，感知集群需要根据移动用户随时间变化的位置分布仔细设计其轨迹，这相比于调度感知体收集静止对象的数据的任务困难得多。

3.需要让感知集群的各感知体彼此之间学习合作控制策略，使得每个感知体可以专注于自己所负责的区域，以达到第一个技术挑战的要求。

发明内容

针对现有技术中的缺陷，本发明提出了一种群体感知中利用图卷积强化学习最小化信息年龄方法(称为GCRL-min(AoI))。

本发明所述方法包括以下步骤：

步骤1、感知平台打开主进程，建立一个空的经验复用池并初始化GCRL-min(AoI)算法的参数且算法的参数包括关系图卷积网络的参数、下一状态预测模块的参数、估值网络的参数；

步骤2、感知平台开启与环境交互的子进程，子进程与环境交互一个回合(强化学习中序贯决策问题被建模为有限马尔可夫决策过程且该过程称为一个回合，下文所述所有“回合”均为此含义)，建立了一个群体感知场景的仿真环境，部署U个感知体作为感知数据采集的执行者，环境中存在M个移动用户，移动用户的初始位置和移动轨迹由具体的真实数据集给出，整个感知任务被划分为相等的T个时间步，每个时间步具有相同的时长τ；