[发明专利]一种基于强化学习的多阶段装备组合规划方法

说明书

本发明公开了一种基于强化学习的多阶段装备组合规划方法，属于装备发展规划技术领域。该方法首先根据装备发展的需求确定所需输入参数；然后构建组合优化模型，构建组合优化模型时首先构建单阶段多场景的优化模型，再建立多阶段多场景的组合优化模型；然后基于强化学习中的Q‑Learning方法，构建优化求解算法。该求解算法首先采用NSGA算法或MOEA算法求解当前阶段的Pareto解集，然后借助Q‑Learning方法获得最优的组合方案；最后输入参数，并求解得到最终组合方案。本发明的方法能够针对多场景、多阶段的复杂环境，能够快速、高效地得到最优的装备组合规划方案，为决策者提供参考，从而使决策者快速地响应，做出准确的决策。

技术领域

本发明属于装备发展规划技术领域，具体涉及一种基于强化学习的多阶段装备组合规划方法。

背景技术

装备组合规划是在进行武器装备选型及发展时所面临的重大问题，是指在发展战略的指导下，对一定规划期内装备的具体建设进行总体设计和规划选择。当前战争形态的变化，要求决策者们更多关注装备组合作为一个整体发挥的效能，而不再局限于单一装备的性能，同时，在考虑涉及多个阶段的装备组合方面，任何单一阶段的最优装备组合无法保证整个规划周期内的最优性。因此，需要合理权衡规划不同阶段、不同周期的装备组合发展和选择问题，从而形成科学有效的装备组合规划方案，支撑顶层决策。

装备组合选择源于项目组合选择问题，H.Markowitz最早提出了组合的概念来处理投资组合问题，旨在最大化投资收益的同时降低投资的市场风险，奠定了金融领域的投资组合理论(Markowitz H.Portfolio selection.Journal of Finance,1952,7(1):77-91.)。后来该理论又逐渐被应用到项目管理中辅助组合方案的比较和选型。不同学者已经对军事领域的组合选择问题进行了广泛的尝试和探索，比较常用的方法包括多准则决策分析、专家评审法、价值分析法、风险分析法和资源分配方法等。例如，Kangaspunta等在考虑装备之间相互关联的条件下，提出了一种费用-效能分析方法，辅助装备组合选型(Kangaspunta J,J,Salo A.Cost-efficiency analysis of weapon systemportfolios.European Journal of Operational Research,2012,223:264-275.)；Yang等对复杂军事大数据环境下的武器装备组合选择优化问题进行了建模，并设计了一种自适应的遗传算法对模型进行求解(Yang S,Yang M,Wang S,Huang K.Adaptive immune geneticalgorithm for weapon system portfolio optimization in military big dataenvironment.Cluster Computing,2016,19(3):1359-1372.)；Li等基于能力规划的思想，提出了一种基于异质网络模型的高端装备组合选择方法(Li J,Ge B,Jiang J,Yang K,Chen Y.High-end weapon equipment portfolio selection based on a heterogeneousnetwork model.Journal of Global Optimization,2018,doi:10.1007/s10898-018-0687-1.)；Dou等提出了一种基于偏好基线值的方法，对装备组合中冗余装备的取舍进行了研究(Dou Y,Zhou Z,Xu X,Lu Y.System portfolio selection with decision-makingpreference baseline Value for system of systems construction.Expert Systemswith Applications,2019,123:345-356.)；王孟等运用epoch-era思想，构建了区间型需求下的装备组合多阶段随机规划模型(王孟,张怀强,蒋铁军.区间型需求下基于epoch-era思想的武器装备组合规划模型.海军工程大学学报,2018,30(6):36-41.)；孙盛智等提出了面向作战需求的卫星装备组合优化算法，对不同装备组合的作战效能进行了评估(孙盛智,侯妍,裴春宝.面向作战需求的卫星应用装备组合优化研究.电光与控制,2018,25(5):7-16.)。