[发明专利]基于强化学习的复杂薄壁结构物体3D打印路径规划方法

摘要

本发明属于人工智能及3D打印领域，涉及一种基于强化学习的复杂薄壁结构物体3D打印路径规划方法。本发明首先建立路径规划的仿真环境，然后基于强化学习中的Q‑learning算法，建立回报矩阵R，由回报矩阵R生成状态‑动作矩阵Q；再通过对状态‑动作矩阵Q的数据进行分析，得到打印的路径规划仿真结果；最后由仿真结果，结合实际打印机参数，完成实际打印过程。本发明借助Q‑learning算法，对3D打印的路径进行智能的学习，通过学习训练，使计算机能够智能的找到适合打印的一条路径，能够大大的提高打印的效率，成形的效果也明显好于传统的路径规划算法。本发明对于复杂薄壁图形具有通用性。

主权项

1.一种基于强化学习的复杂薄壁结构物体3D打印路径规划方法，其特征在于，首先建立路径规划的仿真环境，然后基于强化学习中的Q‑learning算法，建立回报矩阵R，由回报矩阵R生成状态‑动作矩阵Q；再通过对状态‑动作矩阵Q的数据进行分析，得到打印的路径规划仿真结果；最后由仿真结果，结合实际打印机参数，完成实际打印过程；具体步骤如下：第一步，建立3D打印路径规划的仿真环境根据需要打印的已知目标物体三维模型，并且目标物体三维模型被切片为K层，得到层目标物体Ci，其中，i＝1,…,K；为每层的层目标物体Ci建立一个离散二维空间作为其打印仿真环境Ii；以层目标物体Ci的左下角为坐标原点O(0,0)，从左下角向上建立离散的二维打印环境坐标系；横轴X和纵轴Y的刻度范围为(0,…,N)，模拟打印头在打印仿真环境中最小移动距离为单位1；在打印仿真环境中，令Ci上需要打印的坐标点值为1，其他非Ci上的点代表不需要打印的点，值为0；模拟打印仿真过程是从打印仿真环境Ii中一个值为1的点出发，按照约束条件，遍历打印仿真环境中所有值为1的点；第二步，路径规划核心计算(1)建立状态‑动作矩阵Q令状态‑动作矩阵Q的行s代表打印头在目标物体上的坐标位置Is(xi,yj)的状态，动作a代表从状态s打印头当前位置Is(xi,yj)打印到目标物体上另一个坐标Ia(xp,yq)的动作，因此建立一个N×N的打印状态‑动作矩阵Q(s,a)；并将状态‑动作矩阵Q中的所有元素值都进行初始化为0，如公式(1)，(2)建立打印回报矩阵R，并设置打印约束条件建立一个N×N的R(s,a)回报矩阵，回报矩阵R的值表示当打印头从状态s选择动作a后的奖励值，将回报矩阵R中所有的元素首先初始化为‑1，然后加入打印约束条件：①减少打印头抬起次数约束：在打印仿真环境Ii中，已知现在状态s打印头所在位置为点(xi,yj)，则考察其上下左右四临域方向的点(xi,yj‑1)、(xi,yj+1)、(xi‑1,yj)、(xi+1,yj)，如果有一个点的值为1，则令打印头从当前点(xi,yj)到值为1的邻域点的动作的回报值为R(s,a)＝1；②减少打印头的拐弯次数：在打印仿真环境Ii中，已知现在状态s打印头所在位置为点(xi,yj)，如果当前位置上、下相邻点(xi,yj‑1)和(xi,yj+1)的和大于左、右相邻点(xi‑1,yj)和(xi+1,yj)的和，则令从当前位置到上、下相邻点动作的回报值为R(s,a)＝2；如果当前位置左、右相邻点(xi‑1,yj)和(xi+1,yj)的和大于上、下相邻点(xi,yj‑1)和(xi,yj+1)的和，则分别令从当前位置到左、右相邻点对应的动作的回报值R(s,a)＝2；(3)状态‑动作矩阵Q迭代学习Q‑learning状态转移方程：其中，γ为贪婪因子，0<γ<1，s表示当前状态，a表示当前动作，表示下一状态，表示下一动作；状态‑动作矩阵Q迭代学习过程如下：步骤一：设置当前状态s为初始状态；根据建立的目标物体三维模型大小设置循环次数；步骤二：在当前状态s的所有可能行为中随机选择一个行为a；步骤三：利用行为a得到下一状态步骤四：按照公式(2)进行计算，得到Q(s,a)的值；步骤五：令之后回到步骤二进行循环；(4)路径选择在3D打印路径规划中需要对路径的完全遍历，具体步骤如下：对状态‑动作矩阵Q的数据分析，进行数据的选择：步骤一：选择打印头的起始位置为状态s；步骤二：利用状态‑动作矩阵Q中状态s对应的最大值动作a，得到下一状态步骤三：令重复步骤二N次，当状态s下没有大于0的对应的动作时，对状态‑动作矩阵Q进行遍历找到一个大于0的值令