[发明专利]移动网络自优化方法、系统、终端及计算机可读存储介质

权利要求书

1.一种移动网络自优化方法，其特征在于，包括：

获取移动网络中小区智能体的环境状态观测值；

将所述环境状态观测值输入到基于强化训练学习获取的现实网络配置策略模型Actor，获取与所述环境状态观测值对应的网络配置策略；

根据所述网络配置策略生成相应的控制指令，将所述控制指令下发至对应的小区，指示所述小区根据所述网络配置策略进行网络参数配置；

所述获取移动网络中小区智能体的环境状态观测值之前还包括：

获取所述小区智能体网络配置策略的初始样本数据，将所述初始样本数据存储至样本池；

对所述初始样本数据进行归一化处理，形成表征所述小区智能体各优化目标网络配置策略的样本数据；其中，所述样本数据的格式为(S_t,R_t,S_t+1,A_t)，其中S_t表示t时刻归一化之后某指标的状态向量，A_t表示在状态S_t下所执行的动作向量，S_t+1表示在状态S_t下执行动作A_t转移到的下一个时刻的状态向量，R_t表示在状态S_t下执行动作A_t转移到S_t+1所产生的收益值；

周期性的从所述样本池中取得样本数据(S_t,R_t,S_t+1,A_t)，将S_t+1输入到目标网络配置策略模型Actor-target输出估计动作A_t+1；

将(S_t+1,A_t+1)输入到目标评价网络模型Critic-target，输出状态-动作(S_t+1,A_t+1)对应的目标评价值Q(S_t+1,A_t+1)；

将样本数据中已经发生的(S_t,A_t)输入到现实评价模型Critic，获取状态-动作(S_t,A_t)对应的现实评价值

根据公式Q(S_t,A_t)＝R_t+γ*Q(S_t+1,A_t+1)计算得到状态-动作(S_t,A_t)对应的目标评价值Q(S_t,A_t)，其中，γ为预设权重；

通过最小化来优化模型Critic，根据优化后的模型Critic更新模型Critic-target，其中Loss为损失函数；

将状态S_t输入到所述模型Actor中，输出当前策略下的动作A_t'，将状态-动作(S_t,A_t')输入到所述模型Critic，得到对应的评价输出Q(S_t,A_t')；

根据策略梯度公式，将最小化Q(S_t,A_t')作为所述模型Actor的损失函数对所述模型Actor进行优化。

2.如权利要求1所述的移动网络自优化方法，其特征在于，所述根据所述网络配置策略生成相应的控制指令，将所述控制指令下发至对应的小区，指示所述小区根据所述网络配置策略进行网络参数配置之后还包括：

根据所述环境状态观测值和所述网络配置策略生成新的样本数据，将所述新的样本数据存储至样本池，供强化训练学习优化模型Actor使用。

3.如权利要求1所述的移动网络自优化方法，其特征在于，所述获取所述小区智能体网络配置策略的初始样本数据，将所述初始样本数据存储至所述样本池之后包括：

记录所述小区智能体的历史环境状态信息，采用长短期记忆网络LSTM算法预测的未来值作为所述小区智能体环境状态的补充特征。