[发明专利]一种基于深度强化学习的异构网高能效功率控制方法

说明书

本发明属于无线通信和深度学习技术领域，具体涉及一种基于深度强化学习的异构网高能效功率控制方法。本发明设定目标为优化每个微基站的发射功率并最大化每个时隙的全局能量效率，并建立了目标模型，基于目标模型，采用深度强化学习让每个微基站根据本地信息确定发射功率，同时根据云端的数据来更新神经网络的参数。利用本发明提出的方法，基站在配置发射功率时仅需要局部状态信息，不需要获取即时的全局信道信息；基站在配置发射功率时不需要与其他基站进行通信协作，可以实现独立工作；同时本发明提出的方法的计算复杂度将比基于迭代优化的算法复杂度低。

技术领域

本发明属于无线通信和深度学习技术领域，具体涉及一种基于深度强化学习的异构网高能效功率控制方法。

背景技术

随着移动通信的快速发展，无线数据流量呈现出了爆炸式增长的趋势，因而传统蜂窝网络已经难以适应不断增长的数据流量。异构网络作为一种灵活、经济的无线网络架构，通过部署小型基站作为对传统宏基站的补充，缩短了基站和用户之间的距离，以此给用户提供更高的传输速率和更好的服务质量。然而，更多的基站将导致更高的能量消耗和二氧化碳排放量，这给异构网络技术的发展带来了压力。

当前绿色通信的主题已经受到了广泛关注，能量效率已经成为未来绿色通信的设计准则，因此，在满足用户需求的前提下，如何有效利用网络现有的频谱资源，降低网络能量开销，提高网络的能量效率，是下一代无线网络优化设计中亟待解决的问题。

异构网络通过部署大量微基站来增加网络的吞吐量，但部署大量的微基站将造成较高的能量损耗，因此，在满足用户服务需求的前提下，提高网络的能量效率是不容忽视的关键问题。传统的分数规划理论可以有效地解决基站和用户之间单个通信链路的能量效率最大化问题，然而，当异构网络中存在多个基站-用户链路，并且所有的链路重复使用相同的无线信道为彼此造成干扰时，能量效率的最大化问题将变得十分复杂。现有的能量效率功率控制方法可以大致分为三类：基于迭代优化的方法、基于深度学习的方法、基于深度强化学习的方法。

(1)基于迭代优化的方法包括基于序贯分式规划(sequential fractionalprogramming，SFP)和基于分支定界的算法，两种算法都需要收集即时的全局信道状态信息，并利用其来迭代求解优化问题的边界，最终可通过优化发射功率来提高网络能量效率；

(2)基于深度学习的方法通过利用已有的优化算法生成数据集，并使用这些数据集训练人工神经网络进行功率控制，最终使用有效训练后的人工神经网络可以实现接近最优的全局能量效率性能；

(3)基于深度强化学习方法可以减少生成数据集的步骤，智能体采用试错的方式不断与环境交互，并通过利用历史交互经验来更新自己的功率控制策略，以逐渐提高网络的能量效率性能，最终在算法收敛后，利用训练好的模型可以快速配置发射功率。

但是上述方法都需要先收集即时的全局信道状态信息，然后利用全局信道状态信息来优化发射功率。然而，在实际情况下，获取即时的全局信道状态信息具有较大的挑战性。假设有即时的全局信道状态信息可以利用，并且具有较高的时间复杂度，而现有的基于深度强化学习算法假设基站之间需要相互协作，使其无法直接应用于典型的蜂窝异构网络中。

发明内容

针对上述问题，本发明通过扩展现有的基于策略的深度强化学习算法，即深度确定性策略梯度(Deep Deterministic Policy Gradient,DDPG)算法，为宏基站和微基站设计一种智能功率控制方法。利用本发明所提出的方法，每个基站可以仅基于本地信息独立地确定发射功率。

A问题描述

如图1所示，本发明考虑一个下行异构网络，其中宏基站负责为整个宏小区提供无线服务，并部署N个微基站以加强小范围区域内无线信号的覆盖。其中，宏基站和微基站复用相同的频段并会给彼此造成干扰。分别将基站及其服务的用户记为基站n和用户n，下面，提供系统模型和问题描述。