[发明专利]一种基于视触结合的精准定位番茄采摘设备及方法

权利要求书

1.一种基于视触结合的精准定位番茄采摘设备，其特征在于，包括番茄采摘机器人、深度相机(4)、番茄果柄触觉传感器(5)和控制器；

所述深度相机(4)安装在番茄采摘机器人上，用于采集末端执行器前方番茄的彩色图像和深度信息，并传递给控制器；

所述番茄果柄触觉传感器(5)安装在番茄采摘机器人的末端执行器上，用于获取4D光场数据图像并传递给控制器；

所述控制器分别与番茄采摘机器人、深度相机(4)和番茄果柄触觉传感器(5)连接；

所述控制器根据番茄的彩色图像识别番茄果实，计算得到番茄的坐标和果实半径，根据得到4D光场数据图像判断番茄是否成熟以及进行重建番茄茎部的三维图像，确定最佳采摘点，驱动末端执行器进行采摘。

2.根据权利要求1所述的基于视触结合的精准定位番茄采摘设备，其特征在于，所述控制器对深度相机(4)采集的番茄彩色图像进行图像处理，识别番茄果实，计算得到番茄中心的空间坐标和番茄果实半径，控制器根据得到4D光场数据图像判断番茄是否成熟以及重建番茄茎部的三维图像，并根据番茄茎部三维图像识别番茄果实茎部的半径大小信息，对番茄果实茎部半径进行阈值分析，确定半径最大处的梗的具体位置为最佳采摘点。

3.根据权利要求1所述的基于视触结合的精准定位番茄采摘设备，其特征在于，所述番茄果柄触觉传感器(5)包括透明壳体(13)、光源(7)、散斑喷涂装置(8)、光场相机(9)和指尖凝胶(10)；

所述末端执行器的两侧分别设有透明壳体(13)，透明壳体(13)内设有光源(7)、和光场相机(9)，透明壳体(13)用于与番茄接触的一侧设有指尖凝胶(10)；散斑喷涂装置(8)设在透明壳体(13)上且位于指尖凝胶(10)四周，用于向指尖凝胶(10)喷涂散斑；

所述光源(7)用于给光场相机(9)提供光照，光场相机(9)用于拍摄指尖凝胶(10)的4D光场数据图像并传递给控制器。

4.根据权利要求3所述的基于视触结合的精准定位番茄采摘设备，其特征在于，所述控制器包括番茄识别模块、番茄定位检测模块、番茄表面应力测量模块、番茄茎部三维重建模块和采摘点判定模块；

所述番茄识别模块用于对深度相机(4)采集的番茄彩色图像进行图像处理，识别番茄果实；

所述番茄定位检测模块用于将图像处理后的彩色图像结合深度相机(4)采集的深度信息计算得到番茄中心的空间坐标和番茄果实半径，获得番茄在番茄采摘机器人坐标上的位置；

所述番茄表面应力测量模块用于控制番茄果柄触觉传感器(5)的散斑喷涂装置(8)对指尖凝胶(10)喷洒均匀黑色散斑并用光场相机(9)拍下指尖凝胶(10)变形前的4D光场数据，末端执行器在目标番茄上施加预设的力后，再通过光场相机(9)拍摄变形后的指尖凝胶(10)的4D光场数据，并根据获取的变形后的4D光场数据合成指尖凝胶(10)上散斑的二维RGB图像和深度图像，计算变形值，再计算整个番茄的应变场，并与阈值进行对比，通过软硬度判断番茄果实是否成熟；

所述番茄茎部三维重建模块用于当控制器判断目标番茄为成熟番茄，则根据番茄在番茄采摘机器人坐标上的位置信息向上移动预设距离控制末端执行器抓取番茄的茎部，番茄果柄触觉传感器(5)的光场相机(9)获取番茄果柄的4D光场数据图像，并传递给控制器，控制器通过4D光场数据重建番茄茎部的三维图像；

所述采摘点判定模块用于根据番茄茎部的三维图像测量果实茎部半径，并对番茄果实茎部半径进行阈值分析，确定半径最大处的梗的具体位置为最佳采摘点，驱动末端执行器进行采摘。

5.根据权利要求3所述的基于视触结合的精准定位番茄采摘设备，其特征在于，所述散斑喷涂装置(8)包括内置的散斑喷涂液储存腔体，腔体的出口设有喷管，喷管设有阀门，所述阀门与控制器连接。