[发明专利]蜂窝网络下行传输资源协同分配方法及装置

说明书

本发明提供一种蜂窝网络下行传输资源协同分配方法及装置，涉及无线通信技术领域，该方法首先构建蜂窝网络中下行传输资源协同分配的初始优化问题模型；然后确定初始优化问题模型对应的收益函数、状态空间以及动作空间，确定初始优化问题模型对应的初始经验元组；此后基于优化问题的等价性，将初始优化问题模型等价转换为目标优化问题模型，并对初始经验元组进行增广，得到目标经验元组；最后通过目标经验元组，采用深度确定性策略梯度算法，对目标优化问题模型进行求解，得到蜂窝网络中的下行传输资源协同分配方案。由于对初始经验元组进行增广，可以实现算法初期对经验元组的多样性需求，可以有效降低算法须与环境交互才能生成经验元组的代价。

技术领域

本发明涉及无线通信技术领域，尤其涉及一种蜂窝网络下行传输资源协同分配方法及装置。

背景技术

蜂窝网络通信链路的动态性，以及终端设备大量、零星的入网使网络的业务需求存在时间高峰及空间聚集行为，这给网络服务质量的公平性和灵活性带来挑战。因此，高效、智能的传输资源协同配置机制对保证用户服务质量的公平性等性能至关重要。

近年来，深度强化学习已经成为动态环境下蜂窝网络资源分配与性能优化研究的热点方向，这类算法支持面向随机性或不确定性动态系统的序贯决策。作为深度强化学习离线算法的重要成员，深度确定性策略梯度(Deep Deterministic Policy Gradient，DDPG)算法能够在高维连续空间内实现策略单步更新，并最大化系统累积折扣回报，能够有效解决动态环境中连续空间的策略优化问题。

虽然DDPG算法的经验回放机制使智能体能够从过往的经验中学习，但是，智能体通过与环境交互产生经验元组的代价很高，限制了算法在训练时期的训练速度，降低了算法的可用性。因此，减少智能体与环境交互的代价对提高训练速度和算法的可用性意义重大。

发明内容

本发明提供一种蜂窝网络下行传输资源协同分配方法及装置，用以解决现有技术中存在的缺陷。

本发明提供一种蜂窝网络下行传输资源协同分配方法，包括：

基于蜂窝网络中的下行系统数据速率、所述蜂窝网络的公平性指数以及所述蜂窝网络中子信道切换次数，构建所述蜂窝网络中下行传输资源协同分配的初始优化问题模型；

确定所述初始优化问题模型对应的收益函数、状态空间以及动作空间，并基于所述收益函数、所述状态空间以及所述动作空间，确定所述初始优化问题模型对应的初始经验元组；

基于优化问题的等价性，将所述初始优化问题模型等价转换为目标优化问题模型，并基于所述等价性，对所述初始经验元组进行增广，得到目标经验元组；

基于所述目标经验元组，采用深度确定性策略梯度算法，对所述目标优化问题模型进行求解，得到所述蜂窝网络中的上行传输资源协同分配方案。

根据本发明提供的一种蜂窝网络下行传输资源协同分配方法，所述等价性基于置换矩阵确定；

所述基于所述等价性，对所述初始经验元组进行增广，得到目标经验元组，包括：

将所述初始经验元组中的所述收益函数、所述状态空间以及所述动作空间均右乘所述置换矩阵，生成多个新的经验元组；

基于所述多个新的经验元组，对所述初始经验元组实现数据增广，得到所述目标经验元组。

根据本发明提供的一种蜂窝网络下行传输资源协同分配方法，所述置换矩阵为多个；

相应地，所述基于所述多个新的经验元组，对所述初始经验元组实现数据增广，得到所述目标经验元组，包括：

将所述多个新的经验元组存入所述深度确定性策略梯度算法对应的经验回放池内，所述经验回放池用于存放所述目标经验元组；

若所述经验回放池达到上限，则停止右乘所述置换矩阵的操作。