[发明专利]基于数字双胞胎的采摘方法及云采摘机器人系统

权利要求书

1.一种基于数字双胞胎的采摘方法，其特征在于，所述方法包括：

云服务器根据采摘机器人在种植园现场巡航反馈的包括植株、障碍物的环境信息构建基于经纬度的种植园环境数字孪生体；

云服务器在构建种植园环境数字孪生体的同时，根据深度神经网络对采集的图像信息中的果蔬进行识别，结合图像信息中的点云数据，获取果蔬坐标与果蔬形状信息，并在种植园环境数字孪生体中标注果蔬三维信息，完成对果蔬目标的一次定位；

云服务器根据采摘机器人实时反馈的信息生成采摘机器人数字孪生体，并通过导航装置信息在种植园环境数字孪生体中进行实时映射；

操作人员根据云服务器呈现的种植园环境数字孪生体和采摘机器人数字孪生体的可视化信息，远程控制采摘机器人移动至采摘起始位置启动采摘任务；

采摘机器人根据种植园环境数字孪生体中的果蔬信息，以采摘起始位置为路径起始点与终止点，生成覆盖所有果蔬目标的行走路径并移动进行采摘；

云服务器根据采摘机器人移动过程中实时反馈的包括植株、障碍物的环境信息同步修正种植园环境数字孪生体；

云服务器根据采摘机器人在采摘目标位置反馈的信息对采摘目标进行二次定位，并驱动采摘机器人完成对采摘目标的采摘动作；

对采摘目标进行二次定位的方法包括：

采摘机器人按照行走路径进行自动采摘任务，根据种植园环境数字孪生体中的果蔬信息，结合自身的经纬度坐标，查找距离最近的果蔬位置进行采摘；

采摘机器人移动至距离最近的果蔬采摘目标处，根据种植园数字孪生体中该果蔬的坐标信息，驱使机械臂移动至采摘目标位置下方，在机械臂移动过程中，利用位于采摘机器人采摘装置上的第一相机采集该采摘目标果蔬附近环境的信息，云服务器对采集信息中采摘目标果蔬位置进行多次判别，通过对判别结果取平均值完成对采摘目标的二次定位；

所述构建基于经纬度的种植园环境数字孪生体的方法包括：

操作人员实地勘探种植园地形环境，确定所有可行道路，通过导航装置在导航地图中规划所有可行道路的巡航线路；

获取行进路线后，采摘机器人在导航装置的引导下，采摘机器人的移动AGV小车根据地图信息进行巡航，同时开启第二相机、第三相机、第四相机、第五相机、第六相机和第七相机采集种植园包括植株、障碍物的环境的点云信息；

同一时刻采集到的点云信息与导航装置获取的经纬度信息，通过通讯装置实时传输到云服务器；

云服务器在接收到种植园环境的点云信息后，通过三维重建算法完成种植园三维模型的建图任务，结合导航装置生成的经纬度信息，完成基于经纬度的种植园包括植株、障碍物的环境的数字孪生体的构建。

2.根据权利要求1所述的基于数字双胞胎的采摘方法，其特征在于，所述采摘机器人在所述种植园环境数字孪生体中实时映射的方法包括：

采摘机器人在运行过程中，控制系统通过串口通信获取采摘机器人的六自由度机械臂的实时位姿，并通过通讯模块实时反馈六自由度机械臂的位姿信息到云服务器；

云服务器根据采摘机器人实时的六自由度机械臂的位姿信息，结合采摘机器人各部分的安装参数，生成采摘机器人的数字孪生体；

云服务器根据采摘机器人导航装置获取的实时经纬度信息与采摘机器人实时方向信息，通过经纬度将采摘机器人数字孪生体与基于经纬度的种植园环境的数字孪生体融合，并基于实时方向信息确定采摘机器人的行进方向，实现采摘机器人数字孪生体在基于经纬度的种植园环境的数字孪生体中的实时映射。

3.根据权利要求1所述的基于数字双胞胎的采摘方法，其特征在于，动态修正基于经纬度的种植园环境数字孪生体的方法包括：

采摘机器人移动过程中，第二相机、第三相机、第四相机、第五相机、第六相机和第七相机分别采集采摘机器人移动AGV小车周围的点云信息与图像信息，结合导航装置信息，通过通讯装置传送至云服务器；

云服务器通过采集的点云信息以及导航装置信息，基于经纬度提取当前位置对应的数字孪生体中的点云信息，通过关键点匹配算法，将新采集的点云信息与孪生体中的点云信息进行匹配，对已构建的基于经纬度的种植园环境数字孪生体模型进行实时地修补，细化模型的粒度以不断动态修正基于经纬度的种植园环境数字孪生体。