[发明专利]基于深度强化学习的制造网络维修-检测联合优化方法

说明书

本发明提出了一种基于深度强化学习的制造网络维修‑检测联合优化方法，其步骤为：首先，对于机器层面，在考虑机器故障停机导致的动态生产速度的情况下，构建了考虑进料质量影响的机器可靠性模型和考虑机器可靠性影响的加工质量模型；其次，基于可靠性模型和质量模型对制造网络状态和性能进行系统评估；并搭建制造网络维修和质量检测联合优化模型；最后，在系统层面，以制造网络的经济运行作为策略评价的标准，通过设计的一种深度确定性策略梯度算法学习给定制造网络状态下质量检测与维修的最优策略。本发明可以很好地平衡制造网络的经济收益和运行风险之间的矛盾，对动态和多样化的制造场景具有更好的适应性。

技术领域

本发明涉及质量与可靠性技术领域，特别是指一种基于深度强化学习的制造网络维修-检测联合优化方法。

背景技术

大规模定制化生产带来了更高的生产灵活性，但增加了制造系统的复杂性。在此背景下，更多具有柔性能力的高科技制造设备接连出现，极大丰富了产品的工艺路线，使得制造系统以机器为节点，以在制品流为边，呈现出复杂网络的特征。机器灵活性和结构复杂性的提高都加强了制造系统的非线性特征，这将增加网络结构制造系统的运营管理难度，削弱柔性机器带来的利润增长。

制造系统的运行控制是指通过生产管理方法优化系统性能，其中机器维修和在制品的质量检测是两项重要的管理措施。通过生产调度、在制品质量、机器可靠性等联合控制进行集成优化，已成为提高制造系统性能的首选。现有的研究尝试了不同的集成形式，如单一的预防性维修(PM)，生产计划与维修的集成，或生产计划、维修和质量检测的集成。目前，制造系统联合优化的研究主要集中在基于仿真的方法。此外，传统的动态规划、整数规划和启发式算法也是解决该问题的重要方法。这些传统的优化方法在优化小规模系统方面具有很大的潜力，如单机制造系统、简单串行制造系统或单元化制造系统。然而，对于具有复杂系统结构的大规模制造系统的优化，这些方法仍显不足。尽管启发式算法如遗传算法等可以有效地优化多级串联或并联制造系统，但其在具有复杂系统结构的大规模制造系统中的有效性尚未得到验证。

在许多制造系统中，工艺路线的多样化使其呈现出复杂网络的特征。除了系统规模大和结构复杂性外，交互行为是造成制造网络联合优化困难的另一个关键因素，尤其是在制品质量与机器可靠性之间的交互行为。当前，制造系统中可靠性与质量之间的相互影响引起了许多研究人员的兴趣。例如，在生产与维修的联合优化中，文献[Hajej Z,Rezg N,Gharbi A.Quality issue in forecasting problem of production and maintenancepolicy for production unit.International Journal of Production Research.2018；56:6147-63.]提出了受机器失效率影响的累积次品率函数；在串行多站制造系统的维修优化中，文献[Zhou X,Lu B.Preventive maintenance scheduling for serial multi-station manufacturing systems with interaction between station reliabilityand product quality.ComputersIndustrial Engineering.2018；122:283-91]建立了机器可靠性与产品质量之间相互影响的模型；在自动化生产线和串并联制造系统的性能评价中，文献[Ye Z,Cai Z,Si S,Zhang S,Yang H.Competing Failure Modeling forPerformance Analysis of Automated Manufacturing Systems with SerialStructures and Imperfect Quality Inspection.IEEE Transactions on IndustrialInformatics.2020；16:6476-86]构建了决策图模型和随机模型来表征可靠性和质量之间的相互影响。此外，文献[Wang L,Bai Y,Huang N,Wang Q.Fractal-based ReliabilityMeasure for Heterogeneous Manufacturing Networks.IEEE Transactions onIndustrial Informatics.2019；15:6407-14]通过基于分形的方法提出了制造网络的可靠性度量。这些研究试图解决上述提到的交互行为或大规模的问题，但是他们仅独立地研究了交互行为和结构复杂性问题的一个方面，无法全面把握制造网络的特征。