[发明专利]异构无线网络中优化用户QoE的动态网络选择方法

权利要求书

1.一种异构无线网络中优化用户QoE的动态网络选择方法，其特征是该方法结合传输的业务类型和当前用户接入的网络，周期的动态更新接入网络。

2.根据权利要求1所述的异构无线网络中优化用户QoE的动态网络选择方法，其特征是该方法包括以下步骤：建立三种业务类型的用户QoE需求函数以及初始化Q学习中变量的步骤；采用Q学习方法进行网络选择决策及执行切换的步骤；和Q学习方法中变量更新的步骤。

3.根据权利要求1所述的异构无线网络中优化用户QoE的动态网络选择方法，其特征是该方法具体包括以下步骤：

步骤1.初始化，完成以下工作：

1.1建立三种业务类型的用户QoE需求函数，所述的三种业务类型包括视频业务、音频业务和弹性业务，QoE需求函数将网络服务质量性能参数映射成用户的QoE回报；前述QoE需求函数输入为QoS参数，输出为评分值，评分值的取值范围为1～5，评分越高，代表用户的体验好或满意度高，三种业务对应的QoE需求函数分别如下：

1)视频业务，记为s_video：视频业务的QoE取决于接收信号的峰值信躁比P_snr，其QoE

需求函数F_video(P_snr)定义为

Fvideo(Psnr)=4.5-3.51+exp(b1(Psnr-b2))]]>

其中，参数b₁确定QoE的增长速度；参数b₂确定函数的中点位置，即QoE取中间值2.75时所需的峰值信躁比；调整b₁和b₂能够满足不同用户对视频业务的个性化要求情况；

2)音频业务，记为s_audio：音频业务的QoE与数据包的丢包率e和时延d有关，丢包率和时延可以分别由下式计算

e=e_network+(1-e_network)e_playout

d=d_codec+d_playout+d_network

其中，e_network为网络传输中引起的丢包率，e_playout为播放缓冲时的丢包率，d_codec为编码器产生的时延，d_playout为播放缓冲导致的时延，d_network为网络传输中产生的时延；上述的丢包和时延导致的音频业务的性能损失I_e和I_d分别为

I_e=γ₁+γ₂ln(1+γ₃e)

I_d=0.024d+0.11(d-177.3)I_{d-177.3}

其中，参数γ₁，γ₂和γ₃取决于采用的编解码器，时延d的单位为毫秒，177.3毫秒为常用的时延门限值，I_{·}为指示函数，由I_e和I_d导致的总体性能损失定义为R_f指数，

R_f=94.2-I_e-I_d

由R_f指数，得到音频业务的QoE需求函数F_audio(R_f)

F_audio(R_f)=1+0.035R_f+7·10^-6R_f(R_f-60)(100-R_f)

3)弹性业务，记为s_elastic：弹性业务的QoE与吞吐量θ有关,其QoE需求函数F_elastic(θ)定义为

F_elastic(θ)=b₃log(b₄θ)

给定用户的最小期望吞吐量θ₁和最大期望吞吐量θ₂，参数b3=1log(b4θ1);]]>

1.2初始化Q学习中的变量：记业务类型集为可用网络集为定义x=[s,n]∈X为用户的状态，x表示的状态是用户当前所在网络为n且新到达的业务对应的类型为s，为用户状态空间，为切换目标网络，即切换到的网络，初始化Q值为Q(x,n)=0，系统时隙长度为T，初始化网络切换开销矩阵其中c_m,n≥0表示从网络m切换至网络n的切换开销，并且c_n,n=0；这里的开销表征的是网络切换中产生的协议开销；

步骤2.采用Q学习方法进行网络选择决策及执行切换，完成以下工作：

2.1在第t个时隙的起始时刻，t时隙传输的业务类型为s(t)；

2.2结合当前接入的网络n(t)，得到x(t)=[s(t),n(t)]，并按照下面的规则选择切换网络：以概率ε(t)随机选择一个网络接入；以概率1-ε(t)选择网络,δ)接入，ε(t)随着t会变小，始终大于0；

2.3执行网络切换，建立连接；

步骤3.Q学习方法中变量更新：

3.1建立连接后，进行业务传输；

3.2当第t个时隙的传输结束，根据所传输的业务类型，计算相应业务类型的QoE回报回报即F_s(t)，然后，计算用户的净回报r(x(t),δ(t))

r(x(t),δ(t))=F_s(t)-ρc_n(t),δ(t)

其中0≤ρ≤1为开销权重；

3.3在第t+1时隙的起始时刻，业务类型为s(t+1)，系统状态转移到新状态x(t+1)=[s(t+1),δ(t)]；

3.4按下式更新Q值

其中α_t<1为Q学习中的控制参数，随t增大而减小，满足

3.5t=t+1，回到步骤2。