[发明专利]利用强化学习进行无线资源管理的方法和单元

说明书

代理节点(210，500)及其中的方法(600)，用于配置通信系统(200)的无线小区(215)的无线资源参数。该代理节点(210，500)配置为获取控制策略(430)；确定表示在第一时间段该通信系统(200)的至少一部分的状态的特征；基于该获取的控制策略(430)和该确定的至少一个特征，确定在该第一时间段对该无线小区(215)中的控制执行的控制动作，该控制动作来自与该无线小区(215)相关联的一组可用控制动作；以及基于该确定的控制动作配置该无线小区(215)的指令。此外，公开了用于基于接收的参数向代理节点(210，500)提供控制策略(430)的对应训练机节点(400)和方法(800)。

技术领域

本文描述的实施方式一般涉及网络接入单元和网络接入单元中的方法。特别地，本文描述了一种用于配置通信系统的无线小区的无线资源参数的机制。

背景技术

在诸如第三代合作伙伴计划(3GPP)长期演进(LTE)系统的现有技术无线接入网络中的无线资源管理(RRM)包括若干问题，包括功率控制、无线资源调度、链路自适应、负载平衡、无线天线倾斜、小区范围扩展以及用户与无线小区的关联等。每个RRM问题可能需要控制某个无线资源参数(例如，一个或多个eNodeB的下行链路传输功率、一个或多个用户设备的上行链路发射功率、一个或多个eNodeB的电倾斜等)，或者控制给定控制算法的参数(例如，用于执行小区切换的阈值、用于选择要分配给用户设备的一个或多个射频载波的阈值等)，或者分配共享无线资源的一部分(例如，时间-频率资源块)到用户设备。由用户设备报告的无线环境测量以及由无线接入网络节点执行的无线测量提供RRM算法所需的基本信息来控制一个或多个网络操作。无线环境测量包括例如参考信号接收功率(ReferenceSignal Received Power,RSRP)、信噪比(Signal to Noise Ratio，SNR)、干扰、信道质量指示符(Channel Quality Indicator，CQI)、信道状态信息(Channel State Information，CSI)等。

传统上使用专用算法来应对不同的RRM问题，该算法优化一个特定RRM任务的网络操作，但是通常不能将相同的算法重用于其他RRM任务。此外，在RRM架构中，不同的RRM任务相互影响或需要相互交互。当RRM任务在相关的关键时间限制内无法完全完成或者只有其他RRM任务的部分信息可用时，这会引入大的信令开销、额外的复杂性以及可能的性能下降。

将UE接入异构网络的方法存在改进的空间。

发明内容

因此，目的是消除至少一些上述缺点并改进通信系统的无线资源管理。

通过所附独立权利要求的特征实现该目的和其他目的。根据从属权利要求、说明书和附图，进一步的实施方式是显而易见的。

根据第一方面，提供了一种用于配置通信系统的无线小区的无线资源参数的代理节点。该代理节点配置为获取控制策略。此外，该代理节点配置为确定表示在第一时间段通信系统的至少一部分的状态的至少一个特征。该代理节点还配置为基于所获取的控制策略和所确定的至少一个特征，确定将被执行以用于在第一时间段配置无线小区中的无线资源参数的控制动作，该控制动作来自与该无线小区相关联的一组可用控制动作。此外，该代理节点配置为基于所确定的控制动作配置无线小区的无线资源参数。

从与无线环境的算法交互收集测量，通过使用该测量自主学习不同的无线资源管理策略，可以进行任意无线资源参数的适当调整。因此，提供了基于学习网络环境性能的无线资源管理，其可以适应无线环境条件的变化而无需手动调整。从而可以更好地管理无线资源，从而提高网络性能。