[发明专利]基于数字双胞胎的采摘方法及云采摘机器人系统

说明书

本发明提供一种基于数字双胞胎的采摘方法和云采摘机器人系统，通过云采摘机器人系统中的云服务器构建种植园环境数字孪生体和采摘机器人数字孪生体，操作人员根据云服务器呈现的可视化信息远程控制采摘机器人进行采摘作业。通过本发明的技术方案，基于数字双胞胎技术将种植园采摘环境进行虚拟重建，可通过云服务器远程、可视的方式完成采摘作业，在一个操作人员的情况下远程完成多个采摘任务，降低目前采摘机器人对现场操作人员的依赖。

技术领域

本发明涉及农业采摘领域，尤其涉及一种基于数字双胞胎的采摘方法及云采摘机器人系统。

背景技术

目前，采摘作业在农业生产中，大量采用人工采摘的形式，这种方式采摘效率低下，人员劳动强度大，对于大规模的种植园来说，采摘成本过高。近年来随着我国农业产业结构的调整及林果种植面积的不断扩大，劳动力成本的日益上涨、人口老龄化等带来的劳动力不足等问题日益突出，急需一批自动化、智能化的采摘设备来实现林果的采摘，以解放现有劳动力、提高生产效率并降低生产成本。

基于这一现象，已经有相当多的研究聚焦于采摘机器人的研发上，重点针对采摘效率、采摘精度等方面，能够完成一部分的采摘任务。然而，采摘机器人的操作仍需要较高的专业水平，并且采摘任务耗时较长，对作业人员的劳动时间要求高，也在一定程度上限制采摘机器人的应用。因此，需要提供一种新的系统和方法，使一个操作人员可远程完成多个采摘任务，进一步降低目前采摘机器人对现场操作人员的依赖。

发明内容

本发明是鉴于以上技术问题所提出的，提供一种基于数字双胞胎的采摘方法及云采摘机器人系统，在仅有一个操作人员的情况下，可远程完成多个采摘任务，实现远程、实时、直观、高效的采摘作业。

根据本发明实施例的第一方面，提供了一种基于数字双胞胎的采摘方法，该方法包括：

云服务器根据采摘机器人在种植园现场巡航反馈的包括植株、障碍物的环境信息构建基于经纬度的种植园环境数字孪生体；

云服务器在构建种植园环境数字孪生体的同时，根据深度神经网络对采集的图像信息中的果蔬进行识别，结合图像信息中的点云数据，获取果蔬坐标与果蔬形状信息，并在种植园环境数字孪生体中标注果蔬三维信息，完成对果蔬目标的一次定位；

云服务器根据采摘机器人实时反馈的信息生成采摘机器人数字孪生体，并通过导航装置信息在种植园环境数字孪生体中进行实时映射；

操作人员根据云服务器呈现的种植园环境数字孪生体和采摘机器人数字孪生体的可视化信息，远程控制采摘机器人移动至采摘起始位置启动采摘任务；

采摘机器人根据种植园环境数字孪生体中的果蔬信息，以采摘起始位置为路径起始点与终止点，生成覆盖所有果蔬目标的行走路径并移动进行采摘；

云服务器根据采摘机器人移动过程中实时反馈的包括植株、障碍物的环境信息同步修正种植园环境数字孪生体；

云服务器根据采摘机器人在采摘目标位置反馈的信息对采摘目标进行二次定位，并驱动采摘机器人完成对采摘目标的采摘动作。

根据本发明实施例的第二方面，提供了一种如第一方面的基于数字双胞胎的采摘方法，其中，对采摘目标进行二次定位的方法包括：

采摘机器人按照行走路径进行自动采摘任务，根据种植园环境数字孪生体中的果蔬信息，结合自身的经纬度坐标，查找距离最近的果蔬位置进行采摘；

采摘机器人移动至距离最近的果蔬采摘目标处，根据种植园数字孪生体中该果蔬的坐标信息，驱使机械臂移动至采摘目标位置下方，在机械臂移动过程中，利用位于采摘机器人采摘装置上的第一相机采集该采摘目标果蔬附近环境的信息，云服务器对采集信息中采摘目标果蔬位置进行多次判别，通过对判别结果取平均值完成对采摘目标的二次定位。