[发明专利]一种基于深度强化学习的铣削参数优化方法

说明书

本发明属于数控加工相关技术领域，其公开了一种基于深度强化学习的铣削参数优化方法，基于BPNN回归方法建立机床功耗模型，实现机床功耗状态预测的连续性，并建立加工成本模型；然后，定义了相应的状态、动作、奖励函数和约束；最后，结合机床功耗模型和加工成本模型建立仿真环境，提出BP‑TD3深度强化学习方法，求解铣削加工参数优化。如此，本发明可以利用少量数据辅助建立机床功耗仿真BPNN功耗模型，在TD3模型与仿真环境交互训练中得到深度强化学习铣削参数优化模型，从而只需较少的实验数据，稳定的训练时间，就可以解决较大任务空间的铣削参数优化问题。

技术领域

本发明属于数控加工相关技术领域，更具体地，涉及一种基于深度强化学习的铣削参数优化方法。

背景技术

提高铣削过程加工系统能效对绿色制造具有重要意义。零件加工过程中的铣削参数对加工系统的材料去除率、加工时间、能源效率和经济性都有很大的影响。传统的铣削参数往往是根据操作人员经验和加工手册选择的，缺少对节能和经济性的重视，同时常常忽略主轴转速和进给速度变化所消耗的能量。

在机床加工过程的参数优化以降低能源消耗问题的研究中，首先需要建立准确的加工功耗预测模型。当前大多数研究基于经验模型，考虑更多的功耗因素，提高功耗预测模型的完整度也导致模型计算复杂，机床加工各部分功耗公式系数繁多，分析计算工作量增大；此外，建立加工功耗预测模型后，通常使用的优化方法主要是群体启发式算法和个体启发式算法两大类，针对较大任务空间进行优化时容易陷入局部最优解，且优化计算时间较长。

因此，本领域目前亟需研究一种加工功耗建模方法简单、优化效果好、速度快的铣削参数优化方法，用以解决较大任务空间的数控加工中心铣削加工参数优化问题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于深度强化学习的铣削参数优化方法，旨在提出一种建模简单、优化效果好、速度快的铣削参数优化方法，以解决较大任务空间的数控加工中心铣削加工参数优化问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于深度强化学习的铣削参数优化方法，所述方法包括：S1：采用BPNN回归方法构建以铣削参数为输入并以铣削功率为输出的BPNN功耗模型；S2：根据BPNN功耗模型输出的铣削功率构建加工成本模型；S3：构建以迭代过程中铣削参数和加工成本为参数的状态函数、待优化铣削参数的动作参数范围、以上次迭代加工成本与本次迭代加工成本为参数的奖励函数，以及迭代过程中的约束条件；S4：构建仿真环境模型，所述仿真环境模型包括所述BPNN功耗模型、加工成本模型、奖励函数以及状态函数，所述BPNN功耗模型根据铣削参数输出铣削功率，加工成本模型根据铣削功率获取本次迭代加工成本并将其输入奖励函数得到奖励值，根据奖励值判断是否结束任务；S5：将所述仿真环境模型与TD3模型进行耦合得到BP-TD3模型，以使的所述TD3模型根据所述仿真环境模型的观测状态在所述动作参数范围内选择铣削参数；S6：以最小化加工成本为目标对所述BP-TD3模型进行训练，将待优化铣削参数输入训练好的BP-TD3模型即可获得优化后的铣削参数。

优选地，所述加工成本模型包括：

其中，cost为加工成本，SEC为能源成本，T_p为加工时间成本，λ₁和λ₂为平衡因子，P_cutting为机床的铣削功率，MRR为材料的去除率，ψ为时间成本因子，L_c为铣削长度，f_c为铣削进给速度，MRR＝a_p·a_e·f_c，a_p为铣削深度，a_e为铣削宽度。

优选地，步骤S3中所述状态函数s_t为：