[发明专利]一种基于强化学习和动态搜索的自动化装箱方法

说明书

本发明涉及自动化包装和物流仓储应用领域，公开了一种基于强化学习和动态搜索的自动化装箱方法。该方法针对传统算法应用于自动化在线装箱场景时存在的难点和不足，结合强化学习能依据环境反馈不断调整自身策略，实现自动化学习的特点，以及动态搜索算法求解速度快、适应能力强的优势，在保证箱体空间利用率最高的前提下，实现了快速求解和优化货品堆放动作的目的，以及在堆放货品过程中，算法能够依据箱体和环境的实时反馈，不断调整自身的堆放动作和堆放位置，达到自动学习最佳堆放策略和在线实时指导装箱的效果。

技术领域

本发明涉及自动化包装和物流仓储应用领域，具体涉及一种基于强化学习和动态搜索的自动化装箱方法。

背景技术

三维装箱是指在满足容积限制、外形几何限制和稳定性限制等条件的情况下，把一定数量体积较小的物品放入具有较大容量的一个或多个箱子，达到所用箱子数量最少、空间利用率最高、稳定性最好、装载价值和容重比最高的目的。

三维装箱广泛存在于运输和包装等行业的物资装载过程中，因此，针对实际应用需求，设计具有较高操作性和装载效率的三维装箱求解算法，对降低物流配送成本、提高经济效益具有重大现实意义。

由于自动化在线装箱场景，存在着求解空间巨大、不确定性强、场景逻辑复杂多变等诸多难点，导致传统算法应用于自动化在线装箱场景时，容易出现求解速度慢、优化效率低、算法无法适应货箱和货品多样化等问题，到不到自动化在线装箱的要求。

发明内容

针对当前传统算法应用于自动化在线装箱场景存在的难点和不足，本发明结合强化学习能依据环境反馈不断调整自身策略，实现自动化学习的特点，以及动态搜索算法求解速度快、适应能力强的优势，提出了一种基于强化学习和动态搜索的自动化装箱方法。

一种基于强化学习和动态搜索的自动化装箱方法，包括步骤：

步骤S1，对将要堆放在同一箱体的货品进行统计，记为数量m，并赋予该箱体中的每个货品编号为I，编号i满足下列关系：

i∈m

i＝i+1

步骤S2，在货箱中开始进行堆放货品，判断逻辑L1是否成立，

具体地，逻辑L1是指货品与货箱的边界碰撞逻辑，计算公式为：

x′_i≤L,y′_i≤W,z′_i≤H,i＝1,2,3…,n

其中，L，W，H分别表示货箱的长，宽，高，i表示当前货品的编号，(x_i,y_i,z_i)为货品放入货箱后的右后下三维坐标，(x′_i,y′_i,z′_i)为货品放入货箱后的左前上三维坐标；

进一步地，如果逻辑L1结果为假，则执行下一步骤，否则执行动作D1，

具体地，动作D1是指改变货品堆放姿态，即货品堆放时共6种姿态，每次旋转分别以货品的长宽、长高、宽高平面为底，顺时针旋转90度，每旋转一次可以更新一次货品的姿态，并把旋转货品动作a_i存入知识库。

步骤S3，继续堆放货品，判断逻辑L2是否成立，

具体地，逻辑L2是指货品与货品之间的重叠判断逻辑，计算公式为：