[发明专利]一种基于形状与颜色信息的香蕉成熟度分级方法

权利要求书

1.一种基于形状与颜色信息的香蕉成熟度分级方法，其特征在于，包括以下步骤：

对左右视图的香蕉彩色图像进行双目立体三维重建，通过双目立体标定、双目立体校正以及双目立体匹配获取左右视图之间的视差值，通过视差和深度的关系获取深度值，进而获取整幅图像的场景点云；

对香蕉彩色图像提取颜色统计量特征，将香蕉彩色图像转换至HSV空间，获取香蕉彩色图像在颜色空间下不同颜色通道的颜色信息；

对所述的场景点云依据外形凹凸性进行点云分割，根据凹凸性判据获得各个点云块之间的凹凸关系，并在只允许区域跨越凸边增长的情况下进行双边滤波，获取分割后的香蕉点云；

对所述的香蕉点云通过最小二乘法拟合出每个点的二次曲面，并在曲面方程上求偏导得出每个点的曲率值，获取香蕉点云的曲率统计量特征；

对所述的香蕉点云根据kd-tree构造出每个点的K邻域，用最小二乘法为每个点拟合出平面以获取其法线，并由协方差矩阵计算出法线之间的夹角，获取香蕉点云的夹角统计量特征；

对所述的颜色统计量特征、曲率统计量特征和夹角统计量特征进行归一化处理，并根据归一化处理后的数据建立香蕉成熟度分级模型；

其中，所述对左右视图的香蕉彩色图像进行双目立体三维重建，通过双目立体标定、双目立体校正以及双目立体匹配获取左右视图之间的视差值，通过视差和深度的关系获取深度值，进而获取整幅图像的场景点云，具体包括以下步骤：

(1)双目立体标定

打印一张模板并贴在平面上，从不同角度拍摄若干模板图像，通过OpenCV进行双目摄像机标定并检测出图像中的角点，输出双目标结果，获取两摄像机的内参数与畸变系数，旋转矩阵R与平移向量T；

(2)双目立体校正

两台摄像机同时进行图像采集，输入双目标定的数据，使用OpenCV进行图像校正，输出校正后图像，输出透视投影矩阵Q；

(3)立体匹配

通过PatchMatch稠密立体匹配算法对两张图像中的每个像素p，都寻找一个平面fp，再计算像素p处的视差dp；给两张图像的每个像素初始化一个随机平面，其目标是寻找最优的拟合平面，通过将每个像素初始化为一个随机的平面来寻找与正确的平面接近的平面，然后计算像素p处的视差值；随机化初始平面之后为了寻求最优平面就要有一个传播步骤将这个平面传递到具有小匹配代价区域的其他像素上；传播包括空间传播和图传播，空间传播即在空间上相邻的像素具有相似的平面；p表示当前像素，fp是它的平面，评估是否将p空间邻居q的平面fq分配给它，若m(p，fq)m(p，fp)，则将平面fq作为像素p的新平面；图传播即考虑左右视差图之间具有强相干性，左图像素和它在右图中的匹配点有相似的平面，取像素p点对应匹配点p′，若m(p，fp′)m(p，fp)，则将平面fp′作为像素p的新平面；最后通过平面优化步骤，改变平面参数以接近最优平面，根据最优平面计算出最优视差值，最后输出视差图；

(4)三维点云获取

通过立体匹配实验，获取所拍摄场景的视差信息，在立体校正过程中计算出的重投影矩阵Q和在给定视差d和2D点(x,y)的情况下，根据公式z＝b*f/d计算3D深度，由深度值和每个点的X,Y坐标，便可以获取每个点的三维点云结果；

其中，所述对所述的香蕉点云根据kd-tree构造出每个点的K邻域，用最小二乘法为每个点拟合出平面以获取其法线，并由协方差矩阵计算出法线之间的夹角，获取香蕉点云的夹角统计量特征，具体包括以下步骤：

分割后香蕉的总点云个数为n，查询每一个点云的K个邻域点，首先求每个点的法线，即用小二乘法为该点拟合出一个平面，根据法线垂直于平面获取每个点的法线，然后点领域内n*k²组点对上计算法线夹角角度特征，该角度特征的计算是对点云计算出其协方差矩阵的特征值及特征向量，利用特征值和特征向量计算出法向量之间的夹角值，计算领域内法线之间的角度后，对角度进行范围的划分，形成角度特征直方图，输出保存每一个点云与邻域点云的夹角值。

2.根据权利要求1所述一种基于形状与颜色信息的香蕉成熟度分级方法，其特征在于，所述对香蕉彩色图像提取颜色统计量特征，将香蕉彩色图像转换至HSV空间，获取香蕉彩色图像在该颜色空间下不同颜色通道的颜色信息，具体包括以下步骤：

香蕉的颜色信息根据所拍摄的图片利用OpenCV实现计算HSV空间的颜色直方图，提取和保存每一个颜色通道的绿黄黑色素的值。