[发明专利]异构无线网络中优化用户QoE的动态网络选择方法

说明书

技术领域

本发明涉及通信网络中的无线接入网络领域，具体讲是在不依赖异构网络先验状态信息的条件下，基于强化学习，提出一种优化用户QoE的动态网络选择方法。

背景技术

随着无线通信技术的迅猛发展，全球无线通信数据业务快速增长。一方面，移动宽带数据业务已经超过语音业务并将持续增长（指数速度），预计2015年人均月消费1GB数据流量。另一方面，用户对于无线数据传输质量的期望越来越高。为了满足不断增长的无线数据传输需求，进一步提长无线通信系统的性能，异构无线网络架构是未来4G、B4G中一种有效的解决方案，它能够以较低的成本显著地提升网络容量和网络覆盖能力。异构无线网络可以认为是一种包含多种无线接入技术、协议类型、传输方式或者是不同发射功率基站的网络架构。与此同时，无线多模终端凭借其配备的多个空中接口，具有灵活接入多种不同类型无线网络的能力，能够高效地利用异构无线网络资源，从而极大的提升无线数据传输质量。无线多模终端的工作性能取决于合理、高效的网络接入选择和切换机制，目前已有大量的相关方面的研究成果。

现有异构无线网络选择/切换方面的研究主要围绕切换效用函数设计及切换算法设计两方面。切换效用函数是网络选择/切换中的关键性能评估指标，直接影响着最终的传输质量。在切换效用函数设计方面，最常用的效用为接收信号强度、接收信号的信干躁比、带宽、吞吐量、时延、网络负载等一个或多个与服务质量（quality of service,简称QoS）相关的指标。这些效用主要关注的是如何选择网络使得通信的性能得到提升。相比于以上的切换效用，近年来，以用户体验（quality of experience,简称QoE）作为网络选择/切换中的效用受到了研究人员的广泛关注。QoE表示用户对于其业务的服务质量感受，其应用于网络选择/切换的优势在于能够从更高的层次，更准确地反映用户的需求。QoE改变了传统效用与QoS的线性变化关系，以QoS指标的函数的形式反映用户的需求与系统性能的关系。目前将QoE引入网络选择/切换中的研究和应用还处于初级阶段，现有工作仅考虑用户具有一种特定的QoE需求，并没有完全考虑到在实际场景中，用户QoE的需求会随着应用的业务类型变化而变化的问题。因此如何根据用户动态变化的QoE需求做出合理的网络选择/切换是一个待解决的问题。

另一方面，在网络选择/切换算法设计相关的研究方面，通常是根据切换效用函数来确定的网络切换决策。常见的算法包括多属性决策算法、灰度相关算法和马尔可夫决策过程等。然而，现有算法往往假设终端对于网络状态信息是全部或部分先验已知的。这种假设在实际的场景中是比较苛刻的，主要原因在于现有的异构无线网络往往不是完全紧耦合的，而是由多个运营商（或服务提供商）所有的，所有权的不同导致不同的网络运营商间存在竞争关系，网络状态信息难以有效共享。此外，即使消除了竞争层面的问题，技术层面也有障碍：提供异构网络间信息共享并辅助资源共享决策的相关技术标准（如IEEE802.21协议）到目前并没有获得广泛的应用，现有的协议和技术限制了网络状态信息的有效共享。以上两个方面的问题直接导致网络状态信息不能共享，使得现有的算法在实际的场景中不能有效工作。

发明内容

本发明的目的是针对异构无线网络中动态变化的用户QoE需求以及网络状态先验信息未知的问题。以QoE回报为网络性能度量指标，利用强化学习，实现动态的无线网络选择/切换，最大化用户的累积期望净回报。这里的净回报是扣除网络切换开销的QoE回报

本发明的技术方案是：

一种异构无线网络中优化用户QoE的动态网络选择方法，该方法结合传输的业务类型和当前用户接入的网络，周期的动态更新接入网络。

本发明的方法包括以下步骤：建立三种业务类型的用户QoE需求函数以及初始化Q学习中变量的步骤；采用Q学习方法进行网络选择决策及执行切换的步骤；和Q学习方法中变量更新的步骤。

本发明的方法具体包括以下步骤：

步骤1.初始化，完成以下工作：

1.1建立三种业务类型的用户QoE需求函数，所述的三种业务类型包括视频业务、音频业务和弹性业务，QoE需求函数将网络服务质量性能参数映射成用户的QoE回报；前述QoE需求函数输入为QoS参数，输出为评分值，评分值的取值范围为1～5，评分越高，代表用户的体验好或满意度高，三种业务对应的QoE需求函数分别如下：