[发明专利]一种基于深度学习的苹果采摘机器人果实目标检测方法

摘要

一种基于深度学习的苹果采摘机器人果实目标检测方法，包括如下步骤使用移动式智能机器人搭载的相机拍摄足够多的苹果树及其果实图像，训练不同尺度的分类器，通过滑动窗口对待捡图像进行滑动检测，确定疑是存在果实窗口，并将该窗口输入卷积神经网络进行果实检测。

主权项

一种基于深度学习的苹果采摘机器人果实目标检测方法，包括如下步骤：步骤1.样本数据采集：在苹果收获季节前往苹果种植园，使用移动式智能机器人搭载的相机，选取尽可能多的角度，分别拍摄顺光、逆光条件下的果树果实图片；将图片中的苹果果实部分裁剪为统一大小的正样本，不含苹果果实的部分裁剪为统一大小的负样本，正样本数与负样本数均至少为5000；步骤2.提取融合特征：使用matlab中image函数提取RGB或LUV色彩分量，通过梯度方向直方图提取检测目标的边缘梯度信息，提取方式如下：将图像I划分成若干个块状结构BLOCK，然后对每一个划分的BLOCK按照“田字格”规则均分成四个子块CELL，并统计每个CELL所属区域内像素点的梯度在不同方向上的分布得到了CELL的特征，最后将分别属于四个CELL的特征组合在一起形成了BLOCK的特征向量；设(x,y)为任意一个CELL中的像素点坐标，则其水平方向的梯度为Gx(x,y)，垂直方向的梯度为Gy(x,y)，梯度幅值为G(x,y)，以及梯度的方向为θ(x,y)，分别由公式(1)、(2)、(3)、(4)计算得出：Gx(x,y)＝I(x+1,y)‑I(x‑1,y)  (1)Gy(x,y)＝I(x,y+1)‑I(x,y‑1)  (2)G(x,y)=(Gx(x,y))2-(Gy(x,y))2---(3)]]>θ(i,j)=arctan(Gy(x,y)Gx(x,y))---(4)]]>在CELL中的所有像素点都按照上述公式计算完毕之后，该CELL就可以用一个基于方向的直方图来表示；该直方图的横坐标表示的是梯度方向，纵坐标表示的是对应幅值的累加和；随机选择一种通道，再使用一个大小随机、最小为25像素的矩形区域使用积分图进行像素值求和；每一张图像可以得到约5000个通道特征，这些特征构成一个特征集合，用于训练弱分类器的特征将随机从这些特征集合中选取；步骤3.分类器训练：使用步骤2中的特征集合训练adaboost分类器，其算法过程如下：(S1)初始化样本权重，w＝1/N，设置最大误检率fmax，最小检测率dmin；(S2)计算弱分类器的错误率，选取合适的阈值，使得误差最小；(S3)根据上述结果，更新样本权重；权重更新如公式(5)所示，其中i为样本编号，wi为样本对应的原权重，ci为上一次分类结果，yi为原始类别标签：w＝wi*exp(‑yi*ci)  (5)(S4)将迭代产生的t个弱分类器线性组合成一个状态分类器，如公式(6)所示，H(x)为组合分类器的输出；H(x)=1Σk=1tαkhk(x)≥12Σk=1tαk0other---(6)]]>其中hk(x)为弱分类器的输出，α表示h(x)在最终分类器中的重要程度，error表示错误率；(S5)对每个正样本计算H(x)，统计其分类结果，计算分类器的检测率；若该检测率低于预先设定的目标检测率，则降低该分类器的阈值，提高检测率；步骤4.滑动窗口检测：用滑动窗口在整幅图像上以一定的步长滑动，直到遍历完整幅图像，遍历过程中将窗口放入步骤3中训练完成的分类器中进行分类，若判定该窗口为苹果果实，则将该窗口标定出来作为疑是存在果实窗口，否则继续滑动；某个尺度的滑动窗口滑动完毕后，下一个尺度的滑动窗口将继续上一步的步骤，直到所有尺度的分类器滑动完成；步骤5.卷积神经网络检测：构建卷积神经网络模型，将步骤4确定的疑是存在果实窗口输出至该模型进行果实检测；其中卷积神经网络模型相关描述如下：卷积神经网络模型依次由输入层、卷积层、池化层、卷积层、池化层、输出层组成；疑是果实存在窗口图像作为输入层，卷积层C层为特征提取层，池化层S层位于卷积层后，是一个二次提取的计算层；第二个S层，即完成了对原始数据的特征提取后，把S层的特征数据进行向量化，然后连接到分类器，经输出层输出类别结果；卷积层用卷积核(一个特征矩阵)在图像矩阵上游走，在对应位置元素相乘，再把相乘的结果相加，最后相加的结果形成新的图像矩阵，游走完成后即完成了对原始图像的卷积变换，形成此卷积核下的特征提取；在通过卷积获得了特征之后，对特征矩阵分区域进行平均值池化，降低特征维度；输出层输出实际类别，与样本的类别标签对比，反向调整权值，直至实际输出与类别标签尽可能接近，调整迭代次数直至误差函数收敛；卷积神经网络的训练过程包含前向传播与反向传播两个过程；前向传播将上一层的输出加权求和后，经由激活函数输出结果，该结果又作为下一层的输入，继续加权求和，由激活函数输出，如此反复，直到网络模型最后的输出层；l层为当前层，当前层的输出结果为a(l),W表示权值，b表示偏置，下一层则为l+1层，l层的输出结果a(l)作为l+1层的输入结果，z(l+1)为l层输出结果的加权和，经由激活函数计算得到l+1层输出结果a(l+1)，激活函数f(z)＝1/(1+e‑z)为sigmod函数；计算公式如公式(7)、公式(8)所示：z(l+1)＝W(l)a(l)+b(l)  (7)a(l+1)＝f(z(l+1))  (8)接下来，通过反向传播调整网络模型的权值W和偏置b；反向传播的核心是使代价函数J(W,b)最小化，从而使得误差更小；具体计算过程如下：(T1)公式(9)为代价函数计算公式：J(W,b;x,y)=12||hW,b(x)-y||2---(9)]]>其中hW,b(x)为前向传播最终输出的实际结果，y为对应的样本标签，即期望输出；(T2)对于第nl层(输出层)的每个输出单元i，根据公式(10)计算其残差δ(nl)=-(y-anl)·f′(z(nl))---(10)]]>(T3)对l层(中间层)的第i个节点的残差δ(l)计算公式为式(11)：δ(l)＝((W(l))Tδ(l+1))·f'(z(l))  (11)(T4)分别计算J(W,b)的偏导数▽W(l)J(W,b；x,y)和▽b(l)J(W,b；x,y)，计算公式为式(12)：▽W(l)J(W,b；x,y)＝δ(l+1)(a(l))T,▽b(l)J(W,b；x,y)＝δ(l+1)  (12)(T5)更新权值参数W(l)和偏置参数b(l)如式(13)：ΔW(l):=ΔW(l)+▿W(l)J(W,b;x,y)Δb(l):=Δb(l)+▿b(l)J(W,b;x,y)W(l)=W(l)-α[(1mΔW(l))+λW(l)]b(l)=b(l)-α[(1mΔb(l))]---(13)]]>接着重复以上迭代步骤，不断更新权值与偏置，减小J(W,b)的值，进而得出完整的卷积神经网络；步骤6.实际检测：使用移动式智能机器人搭载的相机前往果园拍摄苹果果树画面，经由步骤2至步骤5中训练完成的卷积神经网络模型检测后，机器人视觉系统锁定检测到的果实目标，再经由控制系统控制机械手臂，采摘果实。