[发明专利]温室番茄的实时识别定位和智能采摘装置

权利要求书

1.温室番茄的实时识别定位和智能采摘装置，其特征在于，包括小车本体、摄像头模块、主控模块、抓取模块和附加功能拓展模块；所述摄像头模块设置于抓取模块上，所述小车本体上设置附加功能拓展模块和主控模块；

所述抓取模块包括舵机1、舵机2、舵机3、舵机4、舵机5、舵机6、舵机7；所述舵机1控制在小车本体的底部回转，所述舵机2、舵机3控制小车本体大臂俯仰，舵机4个控制小车本体中臂回转，舵机5控制小车本体的小臂回、舵机6控制小车本体的小臂俯仰，舵机7控制小车本体的机械爪子抓取；

所述摄像头模块包括搭载OV5640模组、800万无畸变镜头的OpenMV-4H7 Plus智能摄像头8及其连接的外设部分；

所述附加功能拓展模块包括加超声波模块、红外避障模块、JY61倾斜角度传感器；小车本体的底盘及机械臂的基础上增加超声波模块、红外避障模块、JY61倾斜角度传感器通过参数返回各传感器的参数实现自动避障、规划小车路线、防侧翻功能；

所述主控模块包括STM32F103RB为主控芯片的开发板、锂电池；所述STM32F103RB为主控芯片的开发板分别连接锂电池、与摄像头模块的摄像头、抓取模块的舵机、附加功能模块的JY61倾斜角度传感器所有传感器以及本模块内的20A大功率H桥直流有刷电机驱动板直接相连，并通过电机驱动板间接操控37电机；

其系统包括四大系统，四大系统为主控系统、识别与测控系统、定位系统和抓取系统；

其中，摄像头模块通过识别与测控系统与定位系统实现番茄果实的识别与定位，主控模块控制舵机模块通过抓取系统实现果实抓取，并控制附加功能模块实现装置移动以辅助四大系统的运行；

所述识别与测控系统的流程包括以下步骤：

步骤一：使用摄像头获得实时图像并使用大小为3×3且σ＝3的二维高斯平滑滤波器与每张输入图像卷积，用确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值，进而得到输出图像；

步骤二：依次对图像使用erode和dilate函数进行腐蚀和膨胀处理，完成开运算；

步骤三：再对梯度图像实施阈值化处理，减少图像的过分割；

步骤四：在获取最佳阈值后，本装置使用Edge Impulse在线网站训练在Tensorflow框架下对番茄果实图像采取Mobile net神经网络训练，得到能识别番茄果实的神经网络模型；

步骤五：将训练好的番茄模型在OPENMV IDE中调用，并调用颜色识别及圆形识别函数，采用颜色+圆形+神经网络的三识别综合系统识别果实，并对番茄果实图像进行框取；

步骤六：将Openmv摄像头实时界面信息通过图传拓展版发送至上位机端，便于实时监控和调试；

所述定位系统的流程包括以下步骤：

步骤一：利用单目摄像头测距方法通过OpenMV内置函数测取镜头与番茄果实之间的直线距离；

步骤二：判断中心点位置，并用内置函数进行边缘获取像素点，并设定在番茄果实二值图像当中，用1表示玉米狩粒的图像区域：用0表示背景区域；

步骤三：通过扫描法对番茄果实二值图像进行扫描，计算出番茄果实图像中像素点为1的点的个数，再进行求和处理求得总数即为番茄面积，其公式为：

其中，M，N代表二值化后图像的长宽像素，S为番茄果实面积；

步骤四：计算番茄果实的周长值，即非对角线方向累加像素点为1的边缘像素点，对角线方向运用邻域连通法以个像素递增方式进行边缘像素点距离的计算进而求得周长

由于像素交叠的现象会改变像素点的像素值测量，通过以下表达式进行像素值修正，减少试验误差，最终求得实际周长

步骤五：将最优参数通过串口以中断形式发送至主控模块，供抓取系统使用；

所述抓取系统的流程包括以下步骤：

步骤一：抓取系统采用增量数字PID控制算法闭环控制机械臂上各舵机运行角度，结合最优路径相应参数完成抓取动作；

步骤二：随着舵机扭矩增加机械爪的抓取力度也不断增加，通过薄膜压力传感器对压力的量化与反馈完成压力精准控制，最终实现番茄果实的无损抓取；

所述主控系统的流程包括以下步骤：

步骤一：主控系统通过调节PWM波的占空控制机器人运动，

步骤二：待到指定位置依次开启识别与测控系统、定位系统、抓取系统，最终在主控系统的帮助下实现本装置 的全部功能。