[发明专利]一种基于深度强化学习的垃圾分拣装置与方法

说明书

本发明公开了一种基于深度强化学习的垃圾分拣装置和方法，装置包括工作台、设置在工作台上的机械臂、AI计算单元和摄像头，工作台设有用于放置待分拣垃圾的待分拣区域；摄像头定时获取图像数据，并将图像数据发送至所述AI计算单元，图像数据包含待分拣区域中待分拣垃圾的情况以及机械臂的状态；AI计算单元根据摄像头获取的图像数据，采用深度强化学习模型计算当前机械臂的最优行动，输出对应的控制指令发送至机械臂；机械臂根据AI计算单元输出的控制指令动作，对待分拣垃圾进行抓取、移动和投放操作，完成垃圾分拣。本发明采用采用深度强化学习模型得到机械臂的最优行动，不依赖于垃圾的定位识别，分类速度快，且分类准确率高。

技术领域

本申请属于垃圾分拣领域，具体涉及一种基于深度强化学习的垃圾分拣装置与方法。

背景技术

随着城市化进程加快，城市居民生活水平的提高，城市生活垃圾的产生量也在急剧增加。目前，国内许多城市的垃圾清运量已大大超过了处理设施的处理能力，未经处理的垃圾如若被简易堆放或填埋，则会占用土地，污染空气、土壤及地下水体。而垃圾分类作为一种对传统垃圾收集处置方式的改革，是对垃圾进行有效处置的一种科学方法。如得到有效执行，能够实现减少占地，减少污染，垃圾回收再利用等成效。

鉴于上述情况，国内许多城市已经在推行垃圾分类制度。然而，在实际操作过程中，依靠居民自主地对垃圾分类存在诸多问题，包括对垃圾分类知识的不足导致垃圾分类不正确，配套设施不到位，相关的监督管理模式操作困难等等。这些问题影响了垃圾分类政策的推广与实施成效，也引发了一些社会舆论对垃圾分类政策的探讨。更多地宣传垃圾分类知识，建设配套设施等举措能够一定程度上缓解上述问题，但同时也需要投入较多的额外成本。

另一方面，随着人工智能技术高速发展，各种AI算法已在多个领域实现了较强的智能水平。其中，以Alpha Go围棋的深度学习+蒙特卡洛树搜索、DeepQ-Learning为代表的深度强化学习技术在智能博弈与决策方面取得了显著的突破。强化学习的基本思想是，智能体依据某种行动策略作出行动与环境交互，环境返回这一行动所产生的奖励，智能体能够根据这一奖励优化自己的行动策略，从而将累积奖励的期望最大化，最终实现智能体的行动目标。

但是，由于垃圾分类面对的垃圾样式繁多，现有技术中的在垃圾智能分类方面还是具有很大空缺，对垃圾分类的准确性一直不尽人意，故如何利用人工智能技术在垃圾分类方面灵活应用成为现如今的研究热点。

发明内容

本申请的目的在于提供一种基于深度强化学习的垃圾分拣装置与方法，采用采用深度强化学习模型得到机械臂的最优行动，不依赖于垃圾的定位识别，分类速度快，且分类准确率高。

为实现上述目的，本申请所采取的技术方案为：

一种基于深度强化学习的垃圾分拣装置，所述的基于深度强化学习的垃圾分拣装置包括工作台，以及设置在所述工作台上的机械臂、AI计算单元和摄像头，其中：

所述工作台上设有用于放置待分拣垃圾的待分拣区域；

所述摄像头用于定时获取图像数据，并将所述图像数据发送至所述AI计算单元，所述图像数据包含待分拣区域中待分拣垃圾的情况以及机械臂的状态；

所述AI计算单元用于根据所述摄像头获取的图像数据，采用深度强化学习模型计算当前机械臂的最优行动，输出对应的控制指令发送至机械臂；

所述机械臂用于根据所述AI计算单元输出的控制指令动作，对待分拣垃圾进行抓取、移动和投放操作，完成垃圾分拣。

作为优选，所述深度强化学习模型的智能体为机械臂、摄像头和AI计算单元构成的整体；

所述深度强化学习模型的状态为待分拣区域中待分拣垃圾的情况以及机械臂的状态；

所述深度强化学习模型的动作空间为机械臂的控制指令的集合；