[发明专利]一种基于演化博弈论的动态无线网络选择方法

摘要

本发明公开了一种基于演化博弈论的动态无线网络选择方法，属于异构无线网络移动性管理技术领域。本发明提出异构无线网络中基于能量效率的动态网络选择机制，在无线网络选择中考虑数据传输的能量消耗，实现基于能量效率的网络选择。应用演化博弈理论对用户的网络选择过程建模，用演化博弈的复制动态方程表示用户之间不断博弈和演化的过程，然后根据复制动态得到演化博弈的均衡点，根据非线性系统的稳定原理得到网络选择的稳定策略。通过改进的Q‑Learning算法实现了用户网络选择的演化博弈过程，把用户选择网络的过程模拟为多智能体的马尔可夫决策过程，解决了基础Q‑Learning算法在多智能体条件下难以收敛的问题。

主权项

1.一种基于演化博弈论的动态无线网络选择方法，其特征在于，包括：步骤1建立基于IP核心网络的松耦合异构无线网络架构，设定该异构无线网络中的信号传输模型，并针对所述信号传输模型定义能量模型；步骤2针对所述步骤1建立的网络架构，建立演化博弈模型，包括定义收益模型和所述演化博弈模型参数设定，其中：所述收益模型定义为：Uj(n)＝f(cj(n))‑g(pj(n))，其中，n表示选择无线网络j的用户数量；f(cj(n))和g(pj(n))分别表示收益函数和代价函数；cj(n)表示无线网络j的数据率；pj(n)表示无线网络j的能量消耗；所述演化博弈模型参数包括：(1)区域h的群体的策略选择比例用向量表示，其中x_hj表示区域h中选择无线网络j的用户占区域h总用户数的比例；s_n表示可供选择的无线网络总数，并且满足关系式：(2)区域h的总用户数定义为Nh，其中选择无线网络j的总用户数定义为Nhj，并且满足关系式：Nhj＝Nh·xhj；(3)假设无线网络j分配给每个用户的带宽为分配给每个用户的数据率为其中，B_j、C_j分别表示无线网络j的总带宽和总数据率，N_j表示选择无线网络j的用户数；步骤3针对所述演化博弈论模型，通过复制动态来求解演化博弈的均衡点，使得演化博弈达到的稳定状态；步骤4不断调整用户选择的网络以获得最好的收益，直至所有用户都达到了所述步骤3的演化博弈稳定状态，整个流程结束；所述步骤4包括以下子步骤：(4‑1)参数初始化；(4‑2)用户i根据如下公式来估计其他用户的策略：其中，表示用户i估计其他用户的混合策略；表示用户i和用户i^*采取联合行动后转移到状态s_t+1的条件转移概率；表示用户i^*采取行动后转移到状态s_t+1的条件转移概率；p(aⁱ)表示用户i^*对用户i在状态s采取动作aⁱ的概率估计；S为MDP模型定义的状态集合；A为MDP模型定义的行动集合，然后计算混合策略下的混合概率Ππⁱ(s')，找到最优的混合策略，用户i采取最有混合策略的动作aⁱ；(4‑3)用户i计算自身在当前时刻t获得的收益(4‑4)根据如下公式更新Q值：其中，aⁱ，a^‑i分别表示用户i的动作和所有其他用户的动作；γ表示折扣因子；表示混合最优策略下的收益；σ表示学习率；(4‑5)根据用户当前选择的网络更新概率其中表示智能体i^*所选择的网络的总用户数；(4‑6)时刻t＝t+1，同时学习率σ衰减，根据所述步骤3的稳定策略判断网络是否达到稳定状态，是则执行步骤(4‑7)，否则执行步骤(4‑2)；(4‑7)动态网络选择到达稳定状态，循环结束。