[发明专利]一种基于DDQN的自动化集装箱码头AGV调度方法

说明书

本发明公开了一种基于DDQN的自动化集装箱码头AGV调度方法，针对自动化集装箱码头实际情况进行数据转化，利用数学建模方法构建自动化集装箱码头水平运输环节AGV任务分配调度问题模型；利用马尔可夫决策过程MDP，将AGV调度问题模型转变为强化学习DDQN模型；构建DDQN深度强化学习神经网络模型Q网络；编程仿真DDQN模型中的外部环境变化，对Q网络模型进行训练；将训练好的Q网络模型包装为自动化集装箱码头水平运输AGV的实时在线调度系统，对码头AGV进行实时、高效任务调度。该方法将深度强化学习DDQN方法引入自动化集装箱码头水平运输环节的AGV任务分配调度问题，用以实现面临码头动态环境时的AGV实时、高效任务调度，提高AGV利用率，提升运输效率。

技术领域

本发明涉及自动化集装箱码头资源调度优化领域，具体地说，是一种基于DDQN的自动化集装箱码头水平运输环节(AGV)调度方法。

背景技术

近年来，随着港口贸易进出口量的快速增长，传统集装箱码头面临集装箱吞吐量增长、船舶大型化、人工成本上升等诸多挑战。为此，我国沿海地区主要集装箱港口相继开展了自动化集装箱码头的新建和改造工作，建成投产了上海洋山深水港区四期工程和青岛前湾港区四期工程等为代表的一批自动化集装箱码头，取得了丰硕的应用技术成果和实践经验。我国自2021年8月1日其开始施行国家标准《自动化集装箱码头建设指南》，用以指导自动化集装箱码头的规范建设与统一标准。

自动化集装箱码头是指将岸桥作业、岸边与堆场间的作业、堆场内作业以及闸口集卡的进出等码头装卸与运输的各环节达到自动化操作的集装箱码头。自动化集装箱码头采用自动化装卸机械、自动化控制技术、智能的调控系统等对生产全过程进行优化控制，以实现部分或者全部替代人力完成码头工作，降低人工成本，提升生产效率。自动化集装箱码头的装卸工艺系统应包括码头装卸、水平运输、堆场装卸三大主要环节，其中水平运输环节配备自动导引运输车AGV，因此也被称作AGV水平运输作业系统。这一环节利用AGV将集装箱在码头桥吊与堆场轨道吊之间传递，连接码头前沿作业区与堆场作业区，因此，AGV的作业往往是影响码头装卸作业效率的主要因素。为了最大化码头的作业效率，高效装卸集装箱以及减小船舶周转时间，需要精心设计水平运输AGV任务分配调度方法，以达到AGV水平作业优化调度。目前已有的AGV调度研究大多采用与传统码头集卡调度优化相似的模式，采用启发式方法解决AGV的调度问题。此种解决方法不能针对复杂的动态环境给出实时反映，往往需要依赖时间窗口获取任务信息，难以有效利用控制系统获取到的现场信息，从而造成AGV利用率低、运输效率低、船舶周转率低等问题。

发明内容

本发明目的在于克服现有的AGV任务分配调度方法需要依赖于时间窗口，难以在面临动态环境时产生实时应对的问题，提供一种基于深度强化学习方法DDQN的实时、高效的自动化集装箱码头AGV调度方法。

本发明提供的基于DDQN的自动化集装箱码头AGV调度方法，具体步骤如下：

(1)：针对自动化集装箱码头实际情况进行数据转化，综合任务信息、AGV信息及AGV充电站信息，利用数学建模方法，构建自动化集装箱码头水平运输环节AGV任务分配调度问题模型；其中：自动化集装箱码头水平运输环节AGV任务分配调度问题模型包括任务信息、AGV信息及AGV充电站信息，任务信息包括：任务编号，任务类型(LOAD、UNLOAD、NOTASK)，任务起始位置，任务目的位置和任务完成时间；AGV信息包括：AGV编号，AGV运行状态(0代表空闲、1代表因故障或调度任务而锁死)，AGV工作状态(Green代表正常工作、Orange与Red代表故障)，AGV当前电量，AGV当前位置和AGV当前任务；AGV充电站信息包括：充电站编号，充电站位置和充电站完成充电时间；

(2)：利用马尔可夫决策过程MDP，设定码头AGV调度系统环境状态集S与AGV调度动作集A，以最小化任务完成时间以及最优化AGV调度过程为目标，设定奖励反馈R，将AGV任务分配调度问题模型转变为强化学习DDQN模型；