[发明专利]一种基于增强学习的串行生产系统生产维护联合优化方法

权利要求书

1.一种基于增强学习的串行生产系统生产维护联合优化方法，其特征在于，包括以下步骤：

通过马尔科夫链表示串行生产系统的系统状态，确定串行生产系统的状态转移概率的计算方法，构建包括状态空间、动作空间、转移矩阵和成本函数的马尔科夫模型；

采用贪心策略求解所述马尔科夫模型，从所述动作空间中选取维护策略，构建回放记忆数据集；采用所述回放记忆数据集对预先建立的神经网络进行迭代训练，直至达到预设的迭代终止条件；

采用训练后的所述神经网络，获取实际串行生产系统的生产维护策略；

所述系统状态的表达式为：

s(t)＝[α₁(t),...,α_M+1(t),b₁(t),...,b_M(t)]

b_m(t)＝b_m(t-1)+TH_m(t)-TH_m+1(t)

式中，s(t)为系统状态，t为时间，TH_m(t)为在时间t机器M_m的产量，M_m为生产系统的第m台机器，α_M+1(t)为机器M_m的运行状态变量，1表示在在时间t机器m处于加工工件状态，反之为0，b_M(t)为在时间t缓冲区B_m的容量；

所述串行生产系统的系统状态的转移概率的计算过程包括：

计算所述串行生产系统中各机器的状态转移概率，从而计算所述系统状态的转移概率，所述串行生产系统中各机器的状态转移概率的计算表达式为：

式中，为时间t的机器状态序列，为各台机器在t时刻的维护决策c_m(t)的序列，p_m为第m台机器的转移概率；

所述系统状态的转移概率的计算表达式为：

式中，s(t)为系统在t时刻的状态；

所述马尔科夫模型的求解目标是找到最优维护策略π^*，最小化长期期望成本，即

当选择策略π时，带折扣因子的期望成本的表达式为：

式中，为每个时间单位的决策成本，s为系统状态，E_π为选择策略π时，带折扣因子的期望成本，γ^t(0＜γ^t＜1)为表示折扣因子；

所述马尔科夫模型的目标函数的表达式为：

式中，s′为下一个时刻的机器状态，V(s′)为下一个状态s′的值函数。

2.根据权利要求1所述的一种基于增强学习的串行生产系统生产维护联合优化方法，其特征在于，所述TH_m(t)的计算表达式为：

式中，v_m(α_M(t))为机器M_m在状态α_M(t)下的速度。

3.根据权利要求1所述的一种基于增强学习的串行生产系统生产维护联合优化方法，其特征在于，所述决策成本的计算表达式为：

式中，g^b为单位库存成本，g^-为单位缺货成本，x^-(t)＝v_M+1(α_M+1(t))-TH_M+1，g^m(t)表示维护成本，即

4.根据权利要求1所述的一种基于增强学习的串行生产系统生产维护联合优化方法，其特征在于，所述回放记忆数据集的构建过程包括：

有ε的概率从动作空间随机选取有1-ε的概率根据第一算式选取所述第一算式的表达式为：

构建经验存进回放记忆数据集D_t＝(e₁,....,e_t)中，为系统在状态s+1时的最优价值函数，为神经网络中函数逼近权重。