[发明专利]一种基于3D温度特征的作物水分胁迫检测方法

权利要求书

1.一种基于3D温度特征的作物水分胁迫检测方法，其特征在于，包括如下步骤：

S1、热红外相机、双目可见光相机立体标定；

热红外相机和双目可见光相机同时分别拍摄多张不同摆放位置的棋盘格图像，并将棋盘格图像分为双目可见光相机左、右摄像头标定组和双目可见光相机左摄像头与热红外相机标定组，标定获得热红外相机和双目可见光相机的标定参数；所述标定参数包括双目可见光相机左摄像头的内部参数矩阵、双目可见光相机右摄像头的内部参数矩阵、热红外相机的内部参数矩阵、双目可见光相机左摄像头与双目可见光相机右摄像头之间的外部参数、热红外相机与双目可见光相机左摄像头之间的外部参数、双目可见光相机左摄像头的畸变参数、双目可见光相机右摄像头的畸变参数以及热红外相机的畸变参数；其中，

S2、热红外图像和可见光图像的粗配准；

S2.1、通过热红外相机和双目可见光相机垂直于地面对作物进行图像采集，连续获取多组同一株作物一天中不同时间段的包含湿参考面的左、右可见光图像和热红外图像；

S2.2、对每组左、右可见光图像和热红外图像进行处理，根据步骤S1获得的标定参数分别对左、右可见光图像进行立体校正、消除畸变和行对准，获得校正后的左、右可见光图像；

S2.3、采用SURF算法分别检测各组校正后的左、右可见光图像的特征点；运用三角测量原理计算出左、右可见光图像之间相对应的特征点对的世界坐标，并通过公式1将特征点对的世界坐标反投影到热红外图像上；

式中，S为非零尺度因子，即由特征点对计算的世界坐标的z分量；Coordinates_thermal为热红外图像上反投影点的齐次坐标；K为步骤S1获得的热红外相机的内部参数矩阵；R为步骤S1获得的热红外相机相对于双目可见光相机左摄像头的三维旋转矩阵；T为步骤S1获得的热红外相机相对于双目可见光相机左摄像头的平移向量；Coordinates_world是特征点对计算的世界坐标的齐次坐标；

S2.4、使用RANSAC算法计算出左可见光图像的特征点与热红外图像上的反投影点之间的单应性矩阵，完成所有组的热红外图像与左可见光图像粗配准；

S3、热红外图像和可见光图像的精配准；

S3.1、使用RANSAC算法计算左可见光图像中的特征点与热红外图像中经过偏差补偿的反投影点之间单应性矩阵，对热红外图像与左可见光图像进行重新配准；

其中，Δ_x，Δ_y为热红外图像中的反投影点坐标与热红外图像中真实对应点的坐标(x_{0 thermal}，y_{0 thermal})之间的位置偏差，初始值为(0，0)；

S3.2、按一定步长增加位置偏差值，并重复步骤S3.1，直至结构相似性指数SSIM的值达到最高，获得最优单应性矩阵，完成所有组的热红外图像与可见光图像精配准；所述结构相似性指数SSIM通过公式2计算获得；

式中，x、y分别为热红外图像和左可见光图像；u_x、u_y分别表示图像x，y的均值；分别表示图像x，y的方差；σ_xy表示图像x，y之间的协方差；c₁、c₂为常数；

S4、双目三维重建生成点云并与温度数据融合；

S4.1、根据步骤S2.2中同组的校正后的左、右可见光图像，利用立体匹配算法生成视差图；然后，利用相似三角形原理结合双目可见光相机左可见光图像的RGB颜色值，通过公式3获得作物冠层的原始三维点云数据；

式中，Z，X，Y为点云三维坐标；D为视差图的深度值；B为双目可见光相机的基线，单位为mm，f为双目可见光相机左摄像头的焦距，单位为像素；d是视差图的视差值；(u，v)是左可见光图像的像素坐标；(u₀，v₀)是双目相机左摄像头图像平面的主点像素坐标；

S4.2、通过公式4将步骤S4.1获得作物冠层的原始三维点云数据与同组的热红外图像中的温度数据进行融合，使作物冠层的三维点云数据既包含RGB颜色信息又包含温度信息；

C_rgb＝HC_ir 公式4

式中，C_rgb为双目可见光相机左摄像头的像平面坐标；H为步骤S3获得的双目可见光相机左可见光图像与热红外图像之间的最优单应性矩阵；C_ir为热红外相机的像平面坐标；

S5、确定作物水分胁迫指数的最优检测位置；

S5.1、通过统计滤波滤除步骤S4获得的融合后的作物冠层的三维点云数据的离群点，然后采用基于HSV色彩空间的颜色模型分割出绿色冠层点云；通过MeanShift算法在绿色冠层点云中寻找各冠层叶片质心，而后以质心为初始点进行区域生长，聚类分割得到每个冠层叶片点云并标记；

S5.2、以拍摄时间为横坐标，每个叶片的平均温度为纵坐标，绘制同一植株的每个冠层叶片的时间——温度变化曲线；同时，绘制同组数据中所获得的湿参考面的时间——温度变化曲线；找出与湿参考面的时间——温度变化曲线最为相近的N个冠层叶片作为最能代表整株作物水分亏缺状况的叶片，通过公式6计算这N个冠层叶片的平均温度，并将其作为作物冠层平均温度；

其中，T_{canopy_ave}为最能代表冠层蒸腾作用的N个冠层叶片的平均温度，单位为℃；N为叶片个数；Ti为第i个叶片的平均温度，单位为℃；

S6、计算作物水分胁迫指数CWSI值；

通过公式7作物水分胁迫指数：

式中，T_crop为步骤S5获得的作物冠层平均温度，单位为℃；T_dry为干参考面温度，单位为℃；T_wet为湿参考面温度，单位为℃。