[发明专利]网络资源优化方法、装置、电子设备及存储介质

权利要求书

1.一种网络资源优化方法，其特征在于，包括：

采集网络系统中的通信样本资源、计算样本资源、缓存样本资源以及用户终端信息；

将所述通信样本资源、所述计算样本资源、所述缓存样本资源和用户终端信息输入至深度确定性策略梯度模型中进行处理，输出代理动作信息和奖励数据信息；

将所述环境数据信息、所述代理动作信息和奖励数据信息进行记录，生成数据集；

利用所述所述数据集对梯度增强决策树初始模型进行训练，得到能够对网络资源进行优化的梯度增强决策树模型；

将网络系统的当前通信资源、当前计算资源、当前缓存资源和当前用户终端信息输入至梯度增强决策树模型中进行处理，梯度增强决策树模型输出网络系统的最大化总效用的资源分配策略。

2.根据权利要求1所述的方法，其特征在于，所述网络系统包括：相互通信连接的用户终端、设有控制器的移动通信基站和配备多接入边缘计算的小基站；

所述采集网络系统中的通信样本资源、计算样本资源和缓存样本资源，具体包括：

所述移动通信基站根据获取的每个有服务请求的用户终端与小基站的关联指标、小基站的总频谱宽带和分配给用户终端的子信道，确定分配给小基站的频谱带宽，将确定的分配给小基站的频谱带宽作为通信样本资源；

所述移动通信基站获取分配给用户终端的小基站的计算能力作为计算样本资源；

所述移动通信基站将获取到的分配给小基站的缓存空间作为缓存样本资源。

3.根据权利要求1所述的方法，其特征在于，所述将所述通信样本资源、所述计算样本资源、所述缓存样本资源和所述用户终端信息输入至深度确定性策略梯度模型中进行处理，输出代理动作信息和奖励数据信息，具体包括：

设置所述深度确定性策略梯度模型的第一输入参数和第一输出参数，其中，所述第一输入参数至少包括：所述通信样本资源、所述计算样本资源、所述缓存样本资源和所述用户终端信息，所述第一输出参数至少包括：代理动作信息和奖励数据信息；

将获得的所述通信样本资源、所述计算样本资源、所述缓存样本资源和所述用户终端信息输入至演化网络中，并根据时间进行循环执行，执行过程中不断计算对应的第一损失函数，根据所述第一损失函数对深度确定性策略模型的参数进行调整；

全部处理完成后获取深度确定性策略模型输出的第一输出参数的具体数据。

4.根据权利要求3所述的方法，其特征在于，所述深度确定性策略模型包括：演化网络和评价网络；

所述将获得的所述通信样本资源、所述计算样本资源、所述缓存样本资源和所述用户终端信息输入至演化网络中，并根据时间进行循环执行，执行过程中不断计算对应的第一损失函数，根据所述第一损失函数对深度确定性策略模型的参数进行调整，具体包括：

预先对演化网络和评价网络的参数进行初始化；

在所述演化网络中进行循环执行，执行过程中，

利用评价网络不断计算第一损失函数，对所述第一损失函数进行最小化处理，根据最小化的损失函数对评价网络的参数进行调整；

依据采样的策略梯度对演化网络的参数进行调整；

对演化目标网络和评价目标网络的参数进行调整。

5.根据权利要求1所述的方法，其特征在于，利用所述环境数据信息、所述代理动作信息和奖励数据信息作为训练样本，对梯度增强决策树初始模型进行训练，得到能够对网络资源进行优化的梯度增强决策树模型，具体包括：

设置所述梯度增强决策树初始模型的第二输入参数和第二输出参数，其中，所述第二输入参数包括：环境数据信息、代理动作信息和奖励数据信息，所述第二输出参数包括：网络系统的最大化总效用的资源分配策略；

设置迭代计数m的初始值为0，并初始化梯度增强决策树初始模型中的附加预测器；

将深度确定性策略梯度模型输出的第一预定数量的环境数据信息、代理动作信息和奖励数据信息作为训练样本输入至梯度增强决策树初始模型中进行训练，每训练一次，对应的m加1，直至m的数值达到预定阈值时，停止训练，将训练后的梯度增强决策树初始模型作为梯度增强决策树模型。