[发明专利]基于无线网络的远程交互果实采摘协同异步控制系统及方法

权利要求书

1.一种基于无线网络的远程交互果实采摘协同异步控制系统，其特征在于，包括：视觉信息采集模块、机器人姿态和位置信息采集模块、机器人动作控制模块、网络传输模块、人机交互模块、三维坐标解算模块和机器人任务列表模块，其中：

视觉信息采集模块、机器人姿态和位置信息采集模块、机器人动作控制模块和机器人任务列表模块设置于机器人上，人机交互模块和三维坐标解算模块设置于主控计算机；

机器人任务列表模块向视觉信息模块和机器人姿态和位置信息采集模块发出时间戳，视觉信息模块采集果实的图像信息并与时间戳一同传输至网络传输模块，机器人姿态和位置信息采集模块为时间戳建立信息断点，网络传输模块将图像信息和时间戳传送到主控计算机的人机交互模块，人机交互模块确定图像信息的果实范围，由三维坐标解算模块确定该果实范围中的各个果实相对于机器人摄像头且与时间戳相对应的三维世界坐标序列，各个三维世界坐标序列与时间戳由网络传输模块返回机器人任务列表模块，机器人任务列表模块按照先进先出的规则读取时间戳对应的三维世界坐标序列，变换矩阵确定待采摘果实相对于双目摄像头坐标系的坐标序列，运动控制模块根据该坐标序列逆解算并发出控制信号，控制机器人的采摘动作。

2.根据权利要求1所述的系统，其特征是，所述的视觉信息采集模块包括：两台设置于机器人上的摄像头和用于压缩图像信息的图像压缩模块。

3.根据权利要求1所述的系统，其特征是，所述的机器人任务列表模块包括：用于发出时间戳的新建任务单元，用于读取、变换坐标序列以及排序未完成任务的任务管理单元，用于释放已完成任务所占的硬件资源的资源释放单元。

4.一种用于权利要求1-3中任一项所述系统的控制方法，其特征在于，该方法创建时间戳，对应时间戳采集果实的图像信息和机器人姿态和位置信息，为图像信息建立坐标序列作为机器人的任务列表，机器人根据该任务列表进行采摘动作，包括以下步骤：

步骤一、机器人任务列表模块向视觉信息模块和机器人姿态和位置信息采集模块发出时间戳，视觉信息模块采集果实的图像信息并与时间戳一同传输至网络传输模块，机器人姿态和位置信息采集模块为时间戳建立信息断点，网络传输模块将图像信息和时间戳传送到主控计算机；

步骤二、主控计算机的人机交互模块确定图像信息的果实范围，由三维坐标解算模块确定该果实范围中的各个果实相对于机器人摄像头且与时间戳相对应的三维世界坐标序列；

步骤三、各个三维世界坐标序列与时间戳由网络传输模块返回机器人任务列表模块，机器人任务列表模块按照先进先出的规则读取时间戳对应的三维世界坐标序列，变换矩阵确定待采摘果实相对于两台摄像机坐标系的坐标序列，运动控制模块根据该坐标序列逆解算并发出控制信号，控制机器人的采摘动作。

5.根据权利要求4所述的方法，其特征是，所述的步骤一具体包括以下步骤：

1）机器人的任务列表模块向视觉信息采集模块、机器人姿态和位置信息采集模块发出时间戳；

2）视觉采集模块使用其两台设置于机器人双目位置的摄像机拍摄并压缩两路图像信息的图帧，与对应的时间戳一并传输至网络传输模块；

3）网络传输模块封装时间戳和图帧，传输给主控计算机；

4）机器人姿态和位置信息采集模块采集姿态和位置信息并为接收到的时间戳建立断点标

志。

6.根据权利要求4或5所述的方法，其特征是，所述的步骤二具体包括以下步骤：

1）网络传输模块的应用层将获取的信息拆包，得到时间戳和压缩后的图像信息；

2）经过解压后的图像信息显示于人机交互模块的可视界面，确定两台摄像头拍摄的两幅图像上的待采摘果实，在同一帧的两幅图像中匹配好果实位置，由三维坐标解算模块算出各个待采摘果实的三维世界坐标（x_wy_wz_w），依次匹配计算完图像上所有的果实。