[发明专利]一种基于深度强化学习的电路自动3D打印方法

说明书

本发明涉及智能制造技术领域，更具体的说是一种基于深度强化学习的电路自动3D打印方法，该方法包括以下步骤：S1：将3D打印机喷头作为Agent在建立的模拟环境中训练更新深度神经网络；Agent是指智能体；S2：循环执行Agent的强化学习过程，并训练深度神经网络，循环完成后保存神经网络模型，开启摄像头，跳转至下一步；S3：摄像头传递打印实时环境图像信息，进行图像处理映射出模拟环境，Agent加载训练好的深度神经网络模型，根据实时探测的状态实施打印。先完成对3D打印机训练构建强化学习模型更新深度神经网络的过程，再具体到不同实际情况进行自动化打印，可以解决3D打印装备利用深度强化学习实现电路的自动化打印过程。

技术领域

本发明涉及智能制造技术领域，更具体的说是一种基于深度强化学习的电路自动3D打印方法。

背景技术

3D打印技术能够根据定制化的设计模型快速地实现结构成型。3D打印技术利用从无到有、自下而上式的材料累加原理，摆脱传统制造方式的约束与限制，将传统无法实现的复杂结构件制造变为可能。目前3D打印机技术依赖于设计模型的输入，然后根据既定的模型路径进行成型制造。随着功能结构一体化的发展，对功能器件3D打印过程还需要人工对工艺流程的严格把控与操作，无法实现在未知布局与环境下的电路自动规划与打印过程。

新兴的深度强化学习能够指导机器装备在未知环境下进行自主的智能化操作。从根本上说，3D打印机属于工业机器人的一种。然而当前基于深度强化学习算法用于指导的工业机器人主要集中在无人车、无人机和机械臂等，主要用于完成空间运动控制。而对于实现功能型电路的3D打印，不仅仅需要规划打印头的运动，还需要考虑复杂的制造工艺过程从而配合完成电路的按需制造成型。目前仍然缺乏基于深度强化学习考虑电路3D打印工艺过程的方法研究。

发明内容

本发明的目的是提供一种基于深度强化学习的电路自动3D打印方法，可以解决3D打印装备利用深度强化学习实现电路的自动化打印过程。

本发明的目的通过以下技术方案来实现：

一种基于深度强化学习的电路自动3D打印方法，该方法包括以下步骤：

S1：将3D打印机喷头作为Agent在建立的模拟环境中训练更新深度神经网络；Agent是指智能体；

S2：循环执行Agent的强化学习过程，并训练深度神经网络，循环完成后保存神经网络模型，开启摄像头，跳转至下一步；

S3：摄像头传递打印实时环境图像信息，进行图像处理映射出模拟环境，Agent加载训练好的深度神经网络模型，根据实时探测的状态实施打印。

进一步的，一种基于深度强化学习的电路自动3D打印方法，该方法详细包括以下步骤：

S11：将3D打印机喷头作为Agent在建立的模拟环境中感知局部状态s_i，选取执行运动a_i和规划打印路径；

S12：Agent执行选择的动作a_i后更新系统得到新的状态s_i+1，判断Agent是否与边界区域发生碰撞，碰撞则表示打印失败用布尔值c_i＝False表示，否则布尔值c_i＝True，并给出对应的奖励值r_i；

S13：将具有马尔可夫性质的序列集合(s_i,a_i,r_i,s_i+1,c_i)保存起来，用来训练更新建立的深度神经网络，训练更新神经网络的方法可以采用深度Q网络算法DQN、双重深度Q网络算法Double DQN或者对偶深度Q网络算法Dueling DQN；