[发明专利]基于强化学习的异构网络资源管理方法

摘要

本发明的基于强化学习的异构网络资源管理方法，针对异构网络的多种业务需求和多样呼叫类型，将强化学习用于异构无线网络的资源管理中，将不同的呼叫类型区分对待，赋予不同的处理优先级，对不同的业务类型采取不同的资源分配策略，给出了基于负载的带宽自适应均衡因子和基于带宽的利润函数，并将二者联合作为回报函数，在尽量满足各种业务带宽需求的情况下实现了不同网络之间的负载均衡和同一网络内的自适应带宽分配，提高了资源利用率。

主权项

一种基于强化学习的异构网络资源管理方法，其特征在于该方法将强化学习用于异构网络的资源管理中，具体包括以下内容：a.状态空间由可用网络数量、当前的网络负载状况、呼叫类型及业务类型组成；b.动作空间包括网络的选择以及带宽的分配，带宽分配是按照2b个带宽单元来分配的，其中b＝0，1，2，......，所以在此用b的取值来定义动作空间A：A＝{0，1，2，......n·(K+1)‑1}，其中n就是状态空间中的可用网络数量，K表示b的最大取值，K＝max(b)，如果当前只有一个网络覆盖，则A＝{0，1，2，......K}，分别表示当前网络所能够分配的不同带宽等级：20个带宽单元，21个带宽单元，......22个带宽单元，如果当前有两个网络覆盖，则A＝{0，1，2，...K，K+1，...2K+1}，分别表示不同的网络所能分配的不同带宽等级；c.回报函数需要根据不同的业务进行定义：语音业务对带宽要求不高，只要Bvc个带宽单元就能满足其通信需求，不管接入哪个网络，只要给它分配的带宽多于Bvc个带宽单元，则回报就是0，如果给它分配的带宽是Bvc个带宽单元，则就获取相应的回报，Bvc为传输语音业务所需要的带宽单元数目；对于视频业务和数据业务就涉及到带宽需求的问题，用一个利润函数P来和每次分配动作相关联，则视频业务的回报函数定义为 r = β · P + ( 1 - β ) · G B min vd ≤ 2 b ≤ B max vd 0 else , 其中β是权重系数，G为自适应带宽均衡因子，Bmin vd为视频业务所需的最小带宽，Bmax vd为视频业务所需要的最大带宽；数据业务的回报函数定义为 r = β · P + ( 1 - β ) · G 2 b ≥ B min da 0 else , 其中Bmin da为数据业务所需的最小带宽。