[发明专利]一种基于深度强化学习的电路自动3D打印方法

权利要求书

1.一种基于深度强化学习的电路自动3D打印方法，其特征在于：该方法包括以下步骤：

S1：将3D打印机喷头(1)作为Agent(2)在建立的模拟环境中训练更新深度神经网络；

S2：循环执行Agent(2)的强化学习过程，并训练深度神经网络，循环完成后保存神经网络模型，开启摄像头(4)，跳转至下一步；

S3：摄像头(4)传递打印实时环境图像信息，进行图像处理映射出模拟环境，Agent(2)加载训练好的深度神经网络模型，根据实时探测的状态实施打印。

2.根据权利要求1所述的一种基于深度强化学习的电路自动3D打印方法，其特征在于：所述S1具体包括以下步骤：

S11：将3D打印机喷头(1)作为Agent(2)在建立的模拟环境中感知局部状态s_i，选取执行运动a_i和规划打印路径；

S12：Agent(2)得到更新的状态s_i+1，并判断是否与边界区域发生碰撞，碰撞则表示打印失败用布尔值c_i＝False表示，否则c_i＝True，并给出对应的奖励值r_i；

S13：保存序列(s_i,a_i,r_i,s_i+1,c_i)来训练更新深度神经网络。

3.根据权利要求1所述的一种基于深度强化学习的电路自动3D打印方法，其特征在于：所述S3具体包括以下步骤：

S31：摄像头(4)传递打印实时环境图像信息，基于计算机视觉的图像处理，构建映射出模拟环境；

S32：Agent(2)加载训练好的深度神经网络模型，基于实时状态进行动作判断和路径规划；

S33：对获取的路径参数进行处理得到打印参数，实施打印过程并跳转至S31直至打印结束。

4.根据权利要求2所述的一种基于深度强化学习的电路自动3D打印方法，其特征在于：在S11中，模拟环境为二维像素地图，地图中以几何图形替指3D打印机喷头(1)作为Agent(2)，抽象出槽体通道作为运动边界，将Agent(2)置于宽度为3D打印机喷头(1)直径2至3倍的通道中进行探索，可探索或进行打印的区域像素值为0，边界区域或不可打印区域的像素值大于0。

5.根据权利要求2所述的一种基于深度强化学习的电路自动3D打印方法，其特征在于：在S11中，局部状态s_i为11行3列二维矩阵，每一行代表相对于当前Agent(2)的不同方向，每行中的第一列是在给定方向下前方不可打印区域距离将3D打印机喷头(1)的像素距离，第二、三列则是不可打印区域点的x,y坐标值，局部状态s_i二维矩阵中每行所代表的方向分别为相对于Agent(2)当前前进方向的0°、±15°、±30°、±45°、±60°、±75°方向。

6.根据权利要求2所述的一种基于深度强化学习的电路自动3D打印方法，其特征在于：在S11中，执行运动a_i的具体方式为是基于概率从动作空间中随机选择任意一个动作，或者将当前状态矩阵的第一列元素输入到深度神经网络中，从输出的动作价值函数列表中选取价值最大的动作；两种选取方式的概率可以表示为：

式中P_(random)和P_(NN)分别为通过随机选择方式和利用深度神经网络方式选择动作的概率；x为回合内的运动次数，a和b分别为常数项。