[发明专利]一种基于增强学习的串行生产系统生产维护联合优化方法

说明书

本发明涉及一种基于增强学习的串行生产系统生产维护联合优化方法，包括：通过马尔可夫链表示串行生产系统的系统状态，构建包括状态空间、动作空间、转移矩阵和成本函数的马尔科夫模型；采用贪心策略求解马尔科夫模型，从动作空间中选取维护策略，构建回放记忆数据集；采用回放记忆数据集对预先建立的神经网络进行迭代训练，直至达到预设的迭代终止条件；采用训练后的神经网络，获取实际串行生产系统的生产维护策略。与现有技术相比，本发明构造马尔可夫决策过程数学模型，可反映生产系统的动态变化，结合神经网络框架和经验回放技术，优化了算法的收敛速度和求解能力，可适用于复杂度高的串行生产系统的动态决策求解需求。

技术领域

本发明涉及串行生产系统领域，尤其是涉及一种基于增强学习的串行生产系统生产维护联合优化方法。

背景技术

随着制造业信息化发展，生产系统的改善问题也经历着新的改革变迁。如何利用大量生产数据有效优化生产系统，降低生产成本，提高产品质量已成为学术界和制造业共同关注的焦点。

串行生产系统是指机器以串行方式连接，并通过缓冲区将在制品在机器间输送的生产系统。在串行生产系统中，机器可以指单个机器或是一组机器，用来执行车、铣、刨、磨等任务。缓冲区分为连接生产系统内部各机器的在制品缓冲区和连接生产系统和外部市场需求的成品缓冲区。在制品缓冲区除了有运输的作用外，还可以用于储存半成品，以减少系统中某台机器停机对其他机器生产的影响。成品缓冲区的作用是过滤不合格产品，保证生产系统能够可靠地满足市场需求。除了纯粹用于生产的机器外，生产系统中还有用于质量检测的机器。在可重入生产系统中，被检测到的不合格产品会被送到专门的机器重新加工。在另外的生产系统中，不合格产品会被直接抛弃。

在系统特性方面，同步系统又称分段时间轴系统，在这种情况下，生产时间加工周期分成多个时间段，机器和缓冲区的状态，如机器从生产状态变为停机，缓冲区内在制品数量变化等，都在时间段的开始或末尾同时变化；离散性指在离散时间系统里，一个工件只有在一台机器上完成所有加工操作后才会被完整地输送到下游缓冲区中。也就是说，缓冲区的在制品数量是一个非负整数；不可靠性与有限缓冲区指机器在生产过程中会出现停机的情况，停机时无法继续加工，其上游机器可以继续加工直到有限的上游缓冲区装满，其下游机器也可以继续加工直到下游缓冲区中的在制品消耗空。缓冲区容量越大，上下游机器不受停机影响可以继续工作的时间就越长。

为了提高生产和维护效率并降低生产成本，对联合生产维护计划进行优化是制造企业的重中之重，但目前的生产维护联合优化方法缺乏对复杂的系统动态变化进行深入研究。因此需要在充分考虑生产系统模型的动态变化的基础上设计维护控制算法，从而找到最优维护控制决策。此外在实时维护控制领域，大多数生产系统的决策依赖于启发式算法或临时规则，而生产系统的复杂性使得这些方法难以用来深入优化系统性能。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种适用于复杂的生产系统的策略求解的基于增强学习的串行生产系统生产维护联合优化方法。

本发明的目的可以通过以下技术方案来实现：

一种基于增强学习的串行生产系统生产维护联合优化方法，包括以下步骤：

通过马尔可夫链表示串行生产系统的系统状态，确定串行生产系统的状态转移概率的计算方法，构建包括状态空间、动作空间、转移矩阵和成本函数的马尔科夫模型；

采用贪心策略求解所述马尔科夫模型，从所述动作空间中选取维护策略，构建回放记忆数据集；采用所述回放记忆数据集对预先建立的神经网络进行迭代训练，直至达到预设的迭代终止条件；

采用训练后的所述神经网络，获取实际串行生产系统的生产维护策略。

进一步地，所述系统状态的表达式为：