[发明专利]基于深度强化学习的无线传感器网络目标追踪方法

摘要

本发明实现在网络覆盖范围内对目标车辆的分布式追踪，提出了一种动态激活区调整策略，在每个时刻网络中都存在一个基于传感器对车辆感知区域而确定的感知区域，以及一个上一时刻预先开启的激活区域。在此分布式跟踪策略中，在激活区域内存在一个数据融合中心将其跟踪估计结果向相邻节点广播。在考虑有限网络对车辆感知区域的基础上，提出了对激活区域动态调整方案，以提高跟踪精度和节能效果。通过结合深度强化学习算法，找出在每个时刻针对于每种状况的最优决策，从而获得最优的追踪精度与最少的能源消耗，从而极大提升无线传感器网络对行驶车辆轨迹追踪的效率与资源的节约。

主权项

1.一种基于深度强化学习的无线传感器网络目标追踪方法，其特征包括：在无线传感器网络中通过分布式追踪方法实现对车辆的追踪；通过深度神经网络的学习方法找到网络中分布式区域大小的最优决策，以获得比较理想的效果；所述在无线传感器网络中实现对车辆的动态追踪方法，包括：步骤11)建立无线传感器网络中车辆追踪的四个模型：(1)移动模型，x(t+1)＝Ax(t)+w(t)     (1)其中A表示车辆状态改变矩阵，公式表示车辆的移动过程，(2)测量模型，z_i(t)＝Hx(t)+v_i(t)其中i＝1,2,...,m(t)，m(t)表示重合区域中的传感器个数，(3)时间模型，当车辆进入激活区域与感知区域的重合区域，重合区域内m(t)个传感器将对车辆进行感知与数据采集，每一个传感器的采集时间为总的传输时间为在信道增益为下的τ₁'(t)：当m(t)个传感器完成对车辆的数据采集后，需要随机挑选一个节点作为虚拟数据融合中心J，通过区域内的数据融合，获取局部最优的追踪数据。每一个传感器到数据融合中心的数据传输时间为总的传输时间为在信道增益下的τ₂'(t)：当数据融合过程完成后，系统将通过融合的信息预估下一时刻车辆的位置，并通过所选择的激活区域半径确定激活区域的大小，通过数据融合中心J向下一时刻激活区域内m_next(t)个传感器传输数据，每一个的传输时间为总的传输时间为在信道增益下的τ₃'(t)每个回合总的时间为τ(t)＝τ₁'(t)+τ₂'(t)+τ₃'(t)，(4)滤波模型，在这个模型中，应用的是卡尔曼滤波模型，从而进行对车辆的轨迹跟踪与预判，P_i'(t)＝AP_i'(t‑1)A^T+Q(t‑1)其中协方差矩阵更新过程如下，由上一时刻的协方差矩阵，以及测量矩阵构成：P_i'(t)＝[P_i'(t)^‑1+H^T[R_i(t)]^‑1H]^‑1在上衣时刻预估位置以及测量数据的基础上，预估的下一时刻位置的预判过程如下：这就是一个完整的目标追踪预判过程，步骤12)计算激活区域与感知区域重合区域内的传感器，对于预测位置与真实位置x(t)，距离为其中感知区域半径r_s(t)，激活区域半径r_a(t)：同样的θ₂(t)也可以得出，因此，重合区域可以确定：S_int(t)＝r_a²(t)[θ₁(t)‑sinθ₁(t)cosθ₁(t)]+r_s²[θ₂(t)‑sinθ₂(t)cosθ₂(t)]，从而区域内的传感器m(t)也可以确定下来，步骤13)将目标追踪过程建立为马尔可夫决策过程，对于每一个状态提供相应的动作决策，从而使回报最大，状态空间：S＝{s(t)|t＝1,2,...,T}动作空间：A＝{r_a(t)|t＝1,2,...,T}回报：其中能量消耗为e(t)＝e_t(t)+e_w(t)：传输能耗工作能耗e_w(t)＝[P_wm(t)+P_idle[m_next(t)‑m(t)]]τ(t)最终通过找到最优的决策序列，使回报最大化，提升目标追踪的精度，减少能量消耗。