[发明专利]一种用于电力信息网络路由流量的控制方法

权利要求书

1.一种用于电力信息网络路由流量的控制方法，其特征在于，包括以下步骤：

S1、抓取流量数据并创建数据集；

S2、预处理所述数据集X，所述预处理包括对无序数据进行调整；

S3、建立网络环境并创建智能体，所述智能体包括目标网络和策略网络，且令所述智能体与网络环境进行交互，包括以下步骤：

S31、利用所述智能体根据下式分配优先级即执行动作：

式中，y_k为所述智能体当前执行的动作，且y_k∈Y，所述Y包括低优先级、中优先级及高优先级，argmax为预定义的参数，z_k为所述网络环境的当前状态，且z_k从所述数据集X中获得，ζ为独立高斯噪声，为策略网络；

S32、在所述智能体执行动作y_k后，对所述智能体赋予奖励b_k与所述网络环境的下一个状态z_k′，并将四元组(z_k,y_k,b_k,z_k′)放入至经验池U中，重复执行S31至S32直至得到所述数据集X中所有的z_k对应的y_k，即得到所有的四元组(z_k,y_k,b_k,z_k′)；

S33、通过下式对经验池U中的四元组(z_k,y_k,b_k,z_k′)进行采样，包括：

式中，M(i)为采样后的数据，i为经验池U中第i个四元组，m_i为第i条数据采样的权重，k为经验池U中的数据总数，m_j为第j条数据采样的权重，α为优先级采用的比率，b_k为奖励，γ为衰减因子，z_k为所述网络环境的当前状态，且z_k从所述数据集X中获得，z_k′为所述网络环境的下一个状态，y_k为所述智能体当前执行的动作，且y_k∈Y，所述Y包括低优先级、中优先级及高优先级，ζ为独立高斯噪声，为目标网络，和为策略网络，ε为正数，A_i为优势函数；

再更新智能体，包括通过下式更新策略网络参数：

式中，j为从经验池U中抽取数据的序号，m为从经验池U中抽取的数据个数，γ为衰减因子，z_j为状态，y_j为z_j状态下执行的动作，z′_j为z_j状态下执行动作y_j进入的下一个状态，b_j为z_j状态下执行动作y_j获得的奖励，为目标网络，和为策略网络，ω_j为第j条数据在更新策略网络参数时对应的权重，其通过下式确定：

ω_j＝(N*M(j))^-β

式中，ω_j为第j条数据在更新策略网络参数时对应的权重，N为对经验池U的采样数量，M(j)为采样后的数据，j为经验池U中第j个四元组，β为超参数；

S4、通过更新后的智能体对待检测的流量数据进行处理，得到对应的优先级，进而基于所述优先级控制电力信息网络的路由流量。

2.如权利要求1所述的用于电力信息网络路由流量的控制方法，其特征在于，步骤S1中的流量数据包括数据ID、数据IP地址、协议类型、累计字节数。

3.如权利要求2所述的用于电力信息网络路由流量的控制方法，其特征在于，在步骤S2中，所述对无序数据进行调整的方法包括：

对所述流量数据中的数据IP地址和协议类型进行独热编码，得到的数据如下式：

z＝(x₁,x₂,...,x_n)

式中，z为数据，n为数据z连接在一起的维度，x_i为数值。