[发明专利]辣椒采摘方法、装置、电子设备及存储介质

权利要求书

1.一种辣椒采摘方法，用于条状辣椒的采摘机器人的控制系统，所述采摘机器人包括双目相机和二指夹爪，其特征在于，包括步骤：

S1.通过所述双目相机获取左侧图像和右侧图像；

S2.根据所述左侧图像，获取所有采摘对象对应的等效中轴线段；

S3.根据各个所述采摘对象对应的等效中轴线段，获取所述二指夹爪对应各个所述采摘对象的下爪角度；所述下爪角度使所述二指夹爪的合拢方向垂直于所述等效中轴线段；

S4.根据各个所述采摘对象对应的所述等效中轴线段，获取所述二指夹爪对应各个所述采摘对象的抓取点；

S5.根据各个所述采摘对象对应的抓取点和下爪角度以及所述左侧图像和所述右侧图像，控制所述二指夹爪对各个所述采摘对象进行采摘；

步骤S2包括：

S21.从所述左侧图像中提取出所有候选区域；所述候选区域是指候选采摘对象所占据的图像区域；

S22.利用RANSAC直线拟合法分别对各个所述候选区域的像素点进行直线拟合，以获取各个所述候选区域的等效中轴线段、内部像素点和外部像素点；

S23.根据各个所述候选区域对应的等效中轴线段、内部像素点和外部像素点，对所有所述候选区域进行筛选，以获取所有符合采摘要求的所述采摘对象；

步骤S23包括：

S231.获取各个所述候选区域对应的内部像素点数量和外部像素点数量；

S232.把内部像素点数量大于或等于预设的第二阈值的所述候选区域所对应的辣椒作为所述采摘对象；

步骤S21包括：

S211.利用HSV颜色提取法，识别左侧图像中的所有红色成熟辣椒的像素点，并提取所有所述辣椒的像素点得到第一图像；

S212.将所述第一图像转换为二值化图像；

S213.利用连通区域标记法，从所述二值化图像中区分出所有孤立的连通区域；

S214.获取各个所述连通区域的像素点数量；

S215.把像素点数量大于或等于预设的第一阈值的所述连通区域作为所述候选区域。

2.根据权利要求1所述的辣椒采摘方法，其特征在于，步骤S4包括：

S41.获取各个所述采摘对象对应的等效中轴线段的中心点；

S42.以所述中心点作为相应的所述采摘对象的抓取点。

3.根据权利要求2所述的辣椒采摘方法，其特征在于，步骤S5包括：

S51.以所述抓取点为中心在所述左侧图像中生成一个检测框，以所述检测框所框选的图像作为第一模板；

S52.在所述右侧图像中设置窗口，所述窗口所划定的区域的形状和大小与所述第一模板相同；

S53.移动所述窗口对所述右侧图像进行滑窗搜索，获取与所述第一模板相匹配的第二模板；

S54.根据以下公式计算所述第一模板和所述第二模板之间的视差：；

其中，为所述视差，为所述第一模板中心点在所述左侧图像中的轴坐标，为所述第二模板中心点在所述右侧图像中的轴坐标；

S55.根据以下公式计算所述抓取点相对于所述双目相机的左侧摄像头的三维位置：

；

；

；

其中，为所述抓取点相对于所述双目相机的左侧摄像头的轴坐标，为所述抓取点相对于所述双目相机的左侧摄像头的轴坐标，为所述抓取点相对于所述双目相机的左侧摄像头的轴坐标，为所述双目相机的左侧摄像头光心与右侧摄像头光心之间的连线长度，为所述双目相机的左侧摄像头的焦距，为所述双目相机的左侧摄像头光心在所述左侧图像中的轴坐标，为所述双目相机的左侧摄像头光心在所述左侧图像中的轴坐标，为所述第一模板中心点在所述左侧图像中的轴坐标。