[发明专利]基于机器视觉的小麦返青期喷雾感兴趣区域智能标定方法

权利要求书

1.一种基于机器视觉的小麦返青期喷雾感兴趣区域智能标定方法，用于在返青期小麦植保作业前，对喷杆喷雾机(6)的各相机(1)进行标定，确定出每一个喷头对应检测区域(5)在图像中的位置，所述喷杆喷雾机(6)包括垂直于机具前进方向的具有多个喷头(7)的喷杆(4)和多个朝向地面作物且位于喷杆(4)上方的相机(1)，其特征在于，该方法包括如下步骤：

S1、标定前准备；

在每一个喷头(7)的正上方各设置与机具前进方向平行的喷头标识板(2)；在每个相机(1)的采集区域内各设置与喷杆(4)平行的喷杆标识板(3)，喷头标识板(2)和喷杆标识板(3)位于同一水平的标识板平面(11)内；将黑白棋盘格标定板(9)分别设置在各相机(1)的采集区域内，各相机(1)分别采集一张带有黑白棋盘格标定板(9)的清晰图像，建立相机坐标系(8)和图像坐标系，提取图像中的棋盘格的角点信息，并对应黑白棋盘格标定板(9)的尺寸设置每个棋盘格角点的像素坐标；由张氏标定法获得相机的内参和畸变参数；

所述喷头标识板(2)和喷杆标识板(3)的颜色不同；

S2、获取地面棋盘格图像和标识板平面棋盘格图像；

将与步骤S1相同的黑白棋盘格标定板(9)分别设置在各相机(1)的采集区域内的地面(13)和标识板平面(11)内，各相机(1)分别拍摄一张带有设置在地面(13)和标识板平面(11)的黑白棋盘格标定板(9)的地面棋盘格图像和标识板平面棋盘格图像，提取两幅图像中黑白棋盘格标定板(9)的棋盘格的角点信息，并根据黑白棋盘格标定板(9)的尺寸设置每个棋盘格角点的像素坐标，建立地面坐标系(12)和标识板坐标系(10)，使用步骤S1获得的相机的内参，对两幅图像中的棋盘格进行外参矩阵的估计，获得地面坐标系(12)的外参矩阵M_{f_c}和标识板坐标系(10)的外参矩阵M_{p_c}；

S3、识别标识板，确定喷头在图像中的位置；

S3.1、对步骤S2获得的各相机(1)的地面棋盘格图像和标识板平面棋盘格图像进行畸变校正，获得地面棋盘格校正图像和标识板平面棋盘格校正图像；

S3.2、根据喷杆标识板(3)的颜色选择对应的颜色识别的方式对步骤S3.1获得的各相机(1)的标识板平面棋盘格校正图像中的喷杆标识板(3)进行识别，并进行二值处理；对得到的喷杆标识板(3)的二值图像的真值点使用最小二乘法进行拟合，得到喷杆标识板(3)的喷杆拟合直线以及该直线在图像坐标系下的喷杆拟合直线方程；

S3.3、根据喷头标识板(2)的颜色选择对应的颜色识别的方式对步骤S3.1获得的各相机(1)的标识板平面棋盘格校正图像中的喷头标识板(2)进行识别，并进行二值处理；对得到的包含多个喷头标识板(2)的二值图像进行分区，每一个分区只包含一个喷头标识板(2)的二值图像，对每一个分区的二值图像使用最小二值法进行直线拟合，得到各喷头标识板(2)的喷头拟合直线以及该直线在图像坐标系下的喷头拟合直线方程；

S3.4、将步骤S3.3获得的每一个喷头拟合直线方程和步骤S3.2获得的喷杆拟合直线方程进行联立求解，得到多个交点，所述交点为喷头交点，所述喷头交点为在标识板平面棋盘格图像中喷头的位置；

S4、将图像中的喷头交点映射至标识板坐标系；

由步骤S3.1获得的标识板平面棋盘格校正图像获取图像坐标到标识板坐标系(10)的单应性矩阵R_3×3；再通过公式1将步骤S3.4获得的图像坐标系下的喷头交点映射到标识板坐标系(10)下，得到标识板坐标系(10)下的喷头交点坐标；

式中，x、y分别为标识板坐标系(10)下的喷头交点坐标的x轴坐标值、y轴坐标值，单位为mm；X、Y分别为图像坐标系下的喷头交点的x轴坐标值，y轴坐标系坐标值，单位为像素；s为比例因子，R_3×3为单应性矩阵；

S5、喷头交点投影至地面；

通过公式2将步骤S4获得的标识板坐标系(10)下的喷头交点坐标转换到地面坐标系(12)，得到地面坐标系(12)下的喷头交点坐标；

式中，M_{p_c}为标识板坐标系(10)的外参矩阵，M_{f_c}^-1为地面坐标系(12)的外参逆矩阵；(X_pw，Y_pw，Z_pw)为标识板坐标系(10)下的喷头交点坐标，X_pw、Y_pw、Z_pw分别为标识板坐标系(10)下的喷头交点坐标的x轴坐标值、y轴坐标值和z轴坐标值，单位为mm；(X_f，Y_f，Z_f)为在地面坐标系(12)下的喷头交点坐标，X_f、Y_f、Z_f分别为在地面坐标系(12)下的喷头交点坐标的x轴坐标值、y轴坐标值和z轴坐标值，单位为mm；

S6、引入参数，确定喷头对应区域；

令地面坐标系(12)的喷头交点坐标的Z_f等于0，得到喷头交点在地面坐标系(12)下的喷头投影坐标；分别设置喷头(7)的有效喷幅宽度w、喷头(7)对应的检测区域与喷杆(4)之间的距离h₁和喷头(7)对应检测区域宽度h₂，通过公式3和公式4确定在地面坐标系(12)下的喷头对应的检测区域(5)的坐标；

式中，(X_f1,Y_f1)为喷头交点在地面坐标系(12)下的喷头投影坐标，X_f1,Y_f1分别为喷头交点在地面坐标系(12)下喷头投影坐标的x轴坐标值、y轴坐标值，单位为mm；α为地面坐标系(12)的喷杆投影直线与该坐标系横轴的夹角，单位为度；(X′_f1,Y′_f1)为(X_f1,Y_f1)在地面坐标系旋转角度α后的喷头交点坐标，X′_f1、Y′_f1分别为(X_f1,Y_f1)在地面坐标系旋转角度α后的喷头交点坐标的x轴坐标值、y轴坐标值，单位为mm；(X_f2,Y_f2)，(X_f3,Y_f3)，(X_f4,Y_f4)，(X_f5,Y_f5)为喷头对应检测区域(5)的四个边界点在地面坐标系(12)下的坐标，X_f2、X_f3、X_f4、X_f5为喷头对应检测区域(5)的四个边界点在地面坐标系(12)下的x轴坐标值，Y_f2、Y_f3、Y_f4、Y_f5为喷头对应检测区域(5)的四个边界点在地面坐标系(12)下的y轴坐标值，单位为mm；h₁为喷头(7)对应的检测区域与喷杆(4)之间的距离，单位为mm；h₂为喷头(7)对应检测区域宽度，单位为mm；w为喷头(7)的有效喷幅宽度，单位为mm；

S7、将喷头对应检测区域返回图像坐标系，获取图像感兴趣区域；

通过公式5和公式6将步骤S6获得的地面坐标系(12)下喷头对应的检测区域(5)返回至图像坐标系，获得对应的像素坐标值，获取图像感兴趣区域；

式中，M_{f_c}为地面坐标系(12)的外参矩阵，(X_f,Y_f,0)为对应检测区域(5)在地面坐标系(12)下的坐标，X_f、Y_f、0分别为对应检测区域(5)在地面坐标系(12)下的x轴坐标值、y轴坐标值和z轴坐标值，单位为mm；(X_cf,Y_cf,Z_cf)为喷头对应检测区域(5)在相机坐标系(8)下的坐标，X_cf、Y_cf、Z_cf分别为喷头对应检测区域(5)在相机坐标系(8)下的x轴坐标值、y轴坐标值和z轴坐标值，单位为mm；

式中，A为相机的内参矩阵；s为比例系数；(X_cf,Y_cf,Z_cf)为喷头对应检测区域(5)在相机坐标系(8)下的坐标，X_cf、Y_cf、Z_cf分别为喷头对应检测区域(5)在相机坐标系(8)下的x轴坐标值、y轴坐标值和z轴坐标值，单位为mm；u、v分别为检测区域在图像坐标系下的横坐标和纵坐标。