[发明专利]基于深度强化学习的双点渐进成形制造方法及装置

权利要求书

1.一种基于深度强化学习的双点渐进成形制造方法，其特征是，所述方法包括：

获取待制造的三维模型并对所述三维模型进行分层获取多个主工作路径以及与每个所述主工作路径对应的候选的多个支撑路径，根据成形方向选择初始的主工作路径以及与所述初始的主工作路径对应的一支撑路径作为初始的当前主工作路径和当前支撑路径；

根据当前主工作路径和选择的当前支撑路径在实际应用环境中分别循环控制主、从机器人的机械臂进行渐进成形，获取与所述当前主工作路径对应的成形曲面；

将所述成形曲面与目标曲面的偏差值作为状态向量，应用预训练的深度强化学习模型进行支撑策略的强化学习，循环输出与下一主工作路径对应的支撑路径，并根据所述下一主工作路径和与所述下一主工作路径对应的所述支撑路径循环更新所述当前主工作路径和所述当前支撑路径，直至完成所述三维模型的渐进成形。

2.如权利要求1所述的方法，其特征是，所述获取待制造的三维模型并对所述三维模型进行分层获取多个主工作路径以及与每个所述主工作路径对应的候选的多个支撑路径，包括：

获取待制造的三维模型，应用沿曲面偏移函数对所述三维模型以预设层厚沿成形方向进行分层，获取第一预设数量的曲线路径；

针对每个所述曲线路径，以预设点间距划分第二预设数量的离散点，并根据所述离散点生成与所述曲线路径对应的主工作路径；

针对每个所述主工作路径，分别根据多个支撑策略获取与所述主工作路径对应的候选的多个所述支撑路径，所述支撑策略为全局支撑策略、局部外围支撑策略、局部正面支撑策略以及跟随支撑策略的其中之一。

3.如权利要求1所述的方法，其特征是，在所述根据当前主工作路径和选择的所述支撑路径在真实环境中控制机械臂进行渐进成形，获取与所述当前主工作路径对应的成形曲面之前，包括：

在Grasshopper中构建与待制造的所述三维模型的实际应用环境相符的数字仿真环境；

在所述数字仿真环境对所述三维模型进行仿真，结合仿真结果对所述深度强化学习模型进行训练，获取预训练的所述深度强化学习模型。

4.如权利要求3所述的方法，其特征是，所述在所述数字仿真环境对所述三维模型进行仿真，并结合仿真结果对所述深度强化学习模型进行训练，获取预训练的所述深度强化学习模型，包括：

根据成形方向选择初始的主工作路径作为当前仿真主工作路径，并根据所述当前仿真主工作路径从候选的多个支撑路径中随机选择其中一个作为初始的当前仿真支撑路径；

根据所述当前仿真主工作路径和所述当前仿真支撑路径应用所述数字仿真环境进行仿真成形，获取与所述当前仿真主工作路径对应的仿真成形曲面和仿真成形曲面回弹值；

将所述仿真成形曲面与目标曲面的偏差值作为状态向量对输入所述深度强化学习模型进行支撑策略的强化学习，并结合所述仿真成形曲面回弹值，更新与下一仿真主工作路径对应的仿真支撑路径和当前回报值；

根据所述下一仿真主工作路径和对应的仿真支撑路径分别对所述当前仿真主工作路径和所述当前仿真支撑路径进行循环更新，根据更新后的所述当前仿真主工作路径和所述当前仿真支撑路径循环控制机械臂进行渐进成形，循环更新所述仿真成形曲面；

根据更新的所述仿真成形曲面与所述目标曲面循环更新所述状态向量，根据更新的所述状态向量和所述回报值调整所述深度强化学习模型的模型参数，直至满足所述深度强化学习模型的收敛条件。

5.如权利要求4所述的方法，其特征是，所述根据所述当前仿真主工作路径和所述当前仿真支撑路径应用所述数字仿真环境进行仿真成形，获取与所述当前仿真主工作路径对应的仿真成形曲面和仿真成形曲面回弹值，包括：

按照机器人语法规则将所述当前仿真主工作路径和所述当前仿真支撑路径的离散点的坐标和方向转化为机器人运动指令；

使用仿真软件构建板材形变的仿真模型，根据所述机器人运动指令进行仿真成形，返回与所述当前仿真主工作路径对应的仿真成形曲面和仿真成形曲面回弹值。