[发明专利]一种基于搜索方向学习的智能工业设计强化学习算法

摘要

一种基于搜索方向学习的智能工业设计强化学习算法,通过以下几个步骤实现：步骤A：通过第一神经网络和第二神经网络分别描述设计变量与目标值的关系F(x)、任意设计点与对应的最佳搜索方向的关系G(x)；步骤B：系统将随机抽样，筛选抽样样本，由筛选后的样本数据构建学习数据；若两套新的神经网络未能满足强化终止条件，则继续抽样、筛选直至两套新的神经网络满足强化终止条件；步骤C：当两套新的神经网络满足强化终止条件，保留并输出当前两套神经网络模型结构。与传统方法相比，本发明的有益效果是：对于探索空间连续且空间较大的问题，本发明构建两套神经网络配合，强化学习的整个流程，本发明提高了学习的效率同时向算法收敛的方向进行。

主权项

1.一种基于搜索方向学习的智能工业设计强化学习算法,其特征在于，通过以下几个步骤实现：步骤A：首先确定工业设计中依赖的设计目标、设计变量及其取值范围；机器在通过样本数据训练的时候，通过第一神经网络和第二神经网络分别描述设计变量与设计目标的关系F(x)、任意设计点与对应的最佳搜索方向的关系G(x)；步骤B：系统不断地进行随机抽样，过滤异常样本，筛选抽样样本，由筛选后的样本数据构建学习数据，并评选当前最优设计点和计算学习数据搜索方向，通过所述学习数据重新构建所述关系F(x)和所述关系G(x)，即重建第一神经网络和第二神经网络，得到新的第一神经网络和新的第二神经网络；若新的第一神经网络和新的第二神经网络未能满足强化终止条件，则所述新的第一神经网络和新的第二神经网络继续强化训练，即新的第一神经网络和新的第二神经网络继续进行抽样、过滤、筛选、评选新的最优设计点和计算新的学习数据搜索方向，重新构建第一神经网络和第二神经网络，直至当前的第一神经网络和当前的第二神经网络满足强化终止条件；所述筛选的方式为，在设计空间内随机生成一批设计点，按照λ的比例分为两组，其中一组通过已建立的关系G(x)的神经网络生成对应的搜索方向，过滤异常样本点，然后通过描述关系F(x)的神经网络计算F()的结果，按照结果大小排序，取结果排序较大的设计点，与第二组设计点合并为新的样本设计点，通过实际计算获得新的样本点，并将新的样本点添加到样本集合中；对样本随机的多个方向计算梯度，如果梯度异常大，则对应样本为异常的可能性越高；步骤C：若当前的第一神经网络和当前的第二神经网络满足强化终止条件，保留并输出当前第一神经网络和当前第二神经网络的模型结构，在第一神经网络和第二神经网络配合强化训练完成后，机器具备关系F(x)和关系G(x)后，可以进行实际的设计工作用于实际设计过程。