[发明专利]一种基于深度相机的轨道式现代标准化果园信息感知系统

摘要

本发明公开了一种基于深度相机的轨道式现代标准化果园信息感知系统，一个集信息采集‑处理‑显示‑调控为一体的综合管理系统，其研究对象主要为柑橘以及苹果树，详细对象包括果树的根‑冠‑花‑果等关键数据，通过使用传感器以及相机作为采集端，经OpenCV的相应程序处理后得到对应的结果，最终与传感信息综合集成于大数据云端，作为进一步分析管控措施的重要依据。

主权项

一种基于深度相机的轨道式现代标准化果园信息感知系统，其特征在于，一个集信息采集‑处理‑显示‑调控为一体的综合管理系统，其研究对象主要为柑橘以及苹果树，详细对象包括果树的根‑冠‑花‑果等关键数据，通过使用传感器以及相机作为采集端，经OpenCV的相应程序处理后得到对应的结果，最终与传感信息综合集成于大数据云端，作为进一步分析管控措施的重要依据；该系统的搭建包括以下步骤：步骤1：搭建标准化果树间隙运行轨道；现代化标准果园的果树栽培、管理都遵循着严格的统一化标准，果树种植点横向、纵向都留有固定间隙距离，运行轨道即搭建于每两排果树间隙中。轨道为两行平行直线轨道，轨道采用镀热锌材料方管覆盖直角边钢材料，轨道两头分别加焊限位片，防止运行小车跑出轨道。由于小车上搭载旋转底盘，一行轨道上可实现两侧果树信息的采集，故轨道的设置为每个间隔空一个放置轨道；步骤2：搭建装载相机可移动平台；由于需要连续采集多株果树的冠层枝叶以及花果信息，故将相机搭载在移动平台上，平台采用单片机作为主控制器，控制器主要负责控制移动平台的前进与旋转；平台装有步进电机以及驱动器，驱动平台前进与停止，平台下方配有旋转底盘，上方安置2个相机支架可调整高度以及角度，小车前后方各有一个激光测距仪，移动滑轮采用与轨道契合的V型槽轮；步骤3：选择果园内视角较为开阔的几个点安装360°全景摄像头，摄像头通过网线与显示终端连接；步骤4：每一列果树选择一个典型代表作为传感器采集点，在指定位置分别放置土壤温湿度传感器、空气温湿度传感器以及光照传感器，传感器均通过网线连接至控制室的显示终端，以供显示相应的数据或是界面；步骤5：移动平台开始采集图像。控制器控制移动平台每前进L0进行一次图像采集，每一次的样本采集结果保存至一个文件夹，包括原始图像、深度图、左右视图、直方图等，直至完成双侧的所有果树信息采集；其中L0指两个果树之间的距离；步骤6：采集图像信息的同时激光测距仪也在不断地测量小车前进距离，为图像处理时候提供数据信息；步骤7：本间隙两侧果树信息均采集完成之后控制器控制平台转弯经横向轨道后移动至另一行轨道上继续进行信息采集工作；步骤8：处理采集到的图像信息；首先是预处理，相机的成像质量会直接影响接下来的处理精度，在获得原始图像后一般都先进行预处理；在立体匹配以及立体矫正过程中大都采用灰度图，故需先将彩色图像转化为灰度图，并保证所有信息不会丢失；彩色图像使用R(红)、G(绿)、B(蓝)三原色以不同比例混合而成，RGB取值为0‑255，灰度化即将R、G、B分量值取成相等的值，采用的方法为加权平均值法，表达式如下：R＝G＝B＝(WRR+WGG+WBB)/3且经测试得WR＝0.30，WG＝0.59，WB＝0.11时灰度图最合理，故上式变为：R＝G＝B＝(0.30R+0.59G+0.11B)/3软件OpenCV+Python语言可实现以上处理过程；步骤9：图像滤波；对采集到的图像进行高斯滤波，使用高斯函数对图像中的点的灰度值进行加权所得到的值也就是该点的灰度值，采用二维离散卷积公式如下所示：G(x,y)=12π∂2e-x2+y22∂2]]>高斯卷积是对某区域相邻处的点灰度值加权平均，离中心点较近的像素其影响力较大，权重也会相对高。高斯滤波平滑效果好，边缘信息保留的较为完整。经高斯滤波后的图像噪点减少，图像清晰；步骤10：获取果树冠层高度信息；使用OpenCV+Python语言的方法，通过不断缩小H(色调)、S(饱和度)、V(明度)值域确定冠层所属绿色的HSV范围，并用已确定对角2点的红色方框圈出冠层所属范围，并通过输出该方框的宽输出冠层高度帧数，然后根据相机距离果树的实际距离经计算得到冠层的实际高度；步骤11：获取叶幕覆盖信息；使用OpenCV中颜色识别的方法，即锁定不同值域的HSV获得冠层中黄色以及黄绿色叶子所占冠层整体叶幕的比例，以及叶幕占整个冠层的覆盖率等相关参数，进而获得该果树叶幕的关键信息；步骤12：花果ROI识别，获取花果数量信息；利用OpenCV中的Canny边缘检测的原理，首先用5x5的高斯滤波器去除噪声，对滤波之后的平滑图像使用Sobel算子计算水平方向和竖直方向的一阶导数(即图像梯度Gx和Gy)，根据得到的梯度图找到边界的梯度和方向，公式如下：Edge_Gradient(G)=Gx2+Gy2]]>Angle(θ)=tan-1(GxGy)]]>随后使用二值法去除非边界上的点，也就是非极大值抑制的方法得到包含“窄边界”的二值图像。随后通过设置minVal和maxVal阈值，去除掉一些小的噪声点，并输出对象的轮廓；步骤13：确定花果的轮廓信息之后并通过上述的颜色识别方法，获取果实颜色信息，进而作为检测该果树的花果品质的重要信息依据；步骤14：分割原始图像，使用OpenCV中的目标识别技术识别叶幕上以及花果上的虫害位置，库内存储有多种不同的虫害标本，使用模板匹配的技术查找出花果叶上的虫害，最终以灰度图的形式返回结果，每一个像素值都表示了该区域与虫害模板的匹配程度。最终的匹配结果会使用方框圈起来表示虫害位置；步骤15：所有的输出结果保存至相应的文件夹中，并传输至大数据终端；步骤16：当采集完该间隙内的果树信息，控制器控制平台行进至轨道尽头并转向90°，经横向轨道前进至另一行间隙内轨道，以上述同样步骤开始采取另一侧的果树信息；步骤17：当此间隙内两侧果树信息均采集完之后，需人工将移动平台移动至另一间隙内轨道上，继续重复上述步骤进行图像信息采集工作；步骤18:所有信息采集结束之后，通过观察显示界面上的监控信息以及各个传感器参数，确定当前果树的生长环境；步骤19：读取果树冠层的高度、叶幕以及花果信息，确定当前果树的生长状况；步骤20：根据以上所获得的数据采取相应的调控管理措施。