[发明专利]基于分支D3QN的工业5G网络智能动态资源分配方法

权利要求书

1.一种基于分支D3QN的工业5G网络智能动态资源分配方法，其特征在于，在单基站多切片多节点系统模型中，通过分支结构改进的D3QN分配方法，在每个时隙为每个节点动态分配物理资源块和功率，在满足切片之间相互隔离，可靠性的条件下，最小化物理资源块使用量和功率的加权和；

该方法具体包括以下步骤：

S1：获取工业5G网络系统中参数信息，构造分支结构改进的D3QN，并初始化网络参数；

S2：根据系统模型和基于最小化物理资源块使用量和功率的加权和的优化目标建立状态空间，动作空间以及奖励函数；

S3：更新各节点的延迟、积压量、可靠性信息和分支结构改进的D3QN探索动作空间，并输出最优动作；

S4：对网络进行训练，并计算损失函数，再利用梯度下降算法更新网络的参数直至网络收敛，得到训练完成的网络。

2.根据权利要求1所述的工业5G网络智能动态资源分配方法，其特征在于，步骤S1中，构造分支结构改进的D3QN，具体包括以下步骤：

S101：分支结构改进的D3QN包含一个共享决策模块和多个网络分支；设在一个单基站小区下行链路场景下，其中工业5G网络中包含N个节点；共享决策模块由所有分支共享，共享学习经验；根据节点数确定分支数为N+2，其中包括一个共享值输出分支，一个物理资源块分配分支，N个功率分配分支；共享值输出模块输出共享值V(s)，并用在决斗体系中的优势函数中；物理资源块的分配在一个分支中完成；各个节点功率的分配是相互独立的，将N个节点的功率分配划分到N个分支中；

S102：在分支结构改进的D3QN中采用对决结构；对决结构中每个分支的优势函数为：

Q_d(s,a_d)＝V(s)+A(s,a_d)

其中，Q_d(s,a_d)是分支d的状态-动作值，V(s)是共享值，A(s,a_d)是状态为s且动作为a_d时分支d的动作优势值；

S103：分支结构改进的D3QN中对于目标值的计算，选择分别针对每个单独的分支进行计算，分支d的目标值y_d的计算公式为：

其中，r表示奖励，γ表示折扣因子，对应于分支d的分支的目标网络被定义为s^′和a^′_d分别表示下一时隙的状态和分支d中的动作。