[发明专利]蜂窝网络上行传输资源协同分配方法及装置

说明书

本发明提供一种蜂窝网络上行传输资源协同分配方法及装置，涉及无线通信技术领域，该方法首先构建蜂窝网络中上行传输资源协同分配的初始优化问题模型；然后确定初始优化问题模型对应的收益函数、状态空间以及动作空间，并确定初始优化问题模型对应的初始经验元组；此后基于优化问题的等价性，将初始优化问题模型等价转换为目标优化问题模型，并对初始经验元组进行增广，得到目标经验元组；最后通过目标经验元组，采用柔性动作‑评价算法，对目标优化问题模型进行求解，得到蜂窝网络中的上行传输资源协同分配方案。由于对初始经验元组进行增广，可以实现柔性动作‑评价算法初期对经验元组的多样性需求，提高算法的训练速度，进而提高分配效率。

技术领域

本发明涉及无线通信技术领域，尤其涉及一种蜂窝网络上行传输资源协同分配方法及装置。

背景技术

随着计算智能技术的发展，深度强化学习算法已逐渐被应用在移动通信领域，这类算法能够解决动态时变环境下的蜂窝网络上行传输资源优化策略问题。

柔性动作-评价(Soft Actor-Critic，SAC)算法是一种基于深度强化学习框架的计算智能优化算法，该算法能在最大化系统回报的同时最大化策略的熵，算法因鼓励探索具有很好的稳定性，可为连续区间的策略优化提供有效的解决方案。

SAC算法是一种典型的离线深度强化学习算法，算法通过从过往的经验中学习而更新神经网络参数，即在训练过程中通过智能体与环境交互产生新的经验元组并存入经验回放池，经验回放池需要收集到足够多的经验元组才能从中抽取小批量进行网络参数的更新。

然而，算法与环境交互产生经验元组的代价很高。因此，如何减少智能体与环境交互的代价已经成为提高算法训练速度和可用性的瓶颈问题之一。

发明内容

本发明提供一种蜂窝网络上行传输资源协同分配方法及装置，用以解决现有技术存在的缺陷。

本发明提供一种蜂窝网络上行传输资源协同分配方法，包括：

基于蜂窝网络中的上行系统数据速率、所述蜂窝网络的公平性指数以及所述蜂窝网络中子信道切换次数，构建所述蜂窝网络中上行传输资源协同分配的初始优化问题模型；

确定所述初始优化问题模型对应的收益函数、状态空间以及动作空间，并基于所述收益函数、所述状态空间以及所述动作空间，确定所述初始优化问题模型对应的初始经验元组；

基于优化问题的等价性，将所述初始优化问题模型等价转换为目标优化问题模型，并基于所述等价性，对所述初始经验元组进行增广，得到目标经验元组；

基于所述目标经验元组，采用柔性动作-评价算法，对所述目标优化问题模型进行求解，得到所述蜂窝网络中的上行传输资源协同分配方案。

根据本发明提供的一种蜂窝网络上行传输资源协同分配方法，所述等价性基于对称群确定，所述对称群中元素位置的置换基于双行表示。

根据本发明提供的一种蜂窝网络上行传输资源协同分配方法，所述基于所述等价性，对所述初始经验元组进行增广，得到目标经验元组，包括：

将所述初始经验元组中的所述收益函数、所述状态空间以及所述动作空间均作为所述对称群中的元素进行位置置换，生成多个新的经验元组；

基于所述多个新的经验元组，对所述初始经验元组实现数据增广，得到所述目标经验元组。

根据本发明提供的一种蜂窝网络上行传输资源协同分配方法，所述将所述初始经验元组中的所述收益函数、所述状态空间以及所述动作空间均作为所述对称群中的元素进行位置置换的过程为多轮迭代过程，每轮迭代产生的新的经验元组的个数逐渐减少。

根据本发明提供的一种蜂窝网络上行传输资源协同分配方法，所述状态空间以及所述动作空间的确定过程，包括：