[发明专利]基于图谱识别和深度学习的果实分类的分析方法

权利要求书

1.基于图谱识别和深度学习的果实分类的分析方法，其特征在于，包括如下步骤：

（1）收集水果果实在不同状态下的样本图片，使用图片裁剪工具对各样本图片进行裁剪，使整个果实完全位于图片内部，

（2）利用OpenCV图像处理的方法对存入的图像进行旋转，平移，特征缩放和分量均值零化，图片的旋转和平移可以增加样本图片的数量，增强数据源；特征缩放和分量均值零化可以实现图片特征的标准化，改善神经网络模型，

（3）将样本图片分为两批：训练集和测试集，训练集和测试集的比例为6：1；使用caffenet的create_imagenet.sh文件将图片存入到基于二叉树的数据库管理库LMDB中，并指定生成路径，

（4）修改solver、train_val配置文件，使用Caffe框架构建神经网络模型，

（5）使用python语言定义Caffe网络框架的每一层，每层参数按照下面11层神经网络计算结果设置，并设置batch_size（一次训练的图片数量）为50；test_iter（测试执行的迭代次数）为50，test_interval（测试频率）为20，base_lr（迭代速率）为0.001， momentum（动量参数）为0.9， weight_decay（权重衰减系数）为0.0005，梯度下降的优化策略使用inv，max_iter（最大迭代次数）10000，每迭代5000次生成一次快照，训练硬件设备选择GPU，使用命令：

./build/tools/caffetrain--solver=examples/my_simple_image/cifar/cifar10_quick_solver.prototxt开始训练数据，

（6）至此13类水果模型已经训练完毕，使用JupyterNoteBook对LOSS曲线进行绘制，观察曲线拟合情况，没有出现过拟合现象，曲线拟合完美，准确率达92.756%，从而完成对果实的分类分析。

2.根据权利要求1所述的基于图谱识别和深度学习的果实分类的分析方法，其特征在于，所述神经网络包括11层，输入为140*140，C1层是卷积层，形成8个特征图谱，特征图谱中的每个单元与输入层的一个5*5的相邻区域相连，即卷积的输入区域大小是5x5，每个特征图谱内参数共享，即每个特征图谱内只使用一个共同卷积核，卷积核有5x5个连接参数加上1个偏置共26个参数;卷积区域每次滑动一个像素，这样卷积层形成的特征图谱每个的大小是136*136;C1层共有（5*5+1）*8=208个训练参数，有（5*5+1）*8*136*136=3847168个连接；S2层是一个下采样层，C1层的8个136*136的特征图谱分别进行以2*2为单位的下抽样得到8个68*68的图;每个特征图谱使用一个下抽样核，每个下抽象核有两个训练参数，所以共有2*8=16个训练参数，有68*68*（2*2+1）*8=184960个连接；C3层是一个卷积层，卷积核和C1相同，C3层有10个68*68的卷积区域;C3层有（5*5+1）*10=260个训练参数，有（5*5+1）*10*64*64=1064960个连接；S4层是一个下采样层/池化层，C3层的10个64*64的特征图谱分别进行以2*2为单位的下抽样得到10个32*32的图;每个特征图谱使用一个下抽样核，每个下抽象核有两个训练参数，所以共有2*10=20个训练参数，有32*32*（2*2+1）*10=51200个连接；C5层是一个卷积层，卷积核和C3相同;C5层有12个28*28的卷及区域;C5层有（5*5+1）*12=312个训练参数，有（5*5+1）*12*28*28=244608个连接；S6层是一个下采样层/池化层，C5层的12个28*28的特征图谱分别进行以2*2为单位的下抽样得到12个14*14的图;每个特征图谱使用一个下抽样核，每个下抽象核有两个训练参数，所以共有2*12=24个训练参数，有14*14*（2*2+1）*12=11760个连接；C7层是一个卷积层，卷积核和C5相同，不同的是C7的每个节点与S6中的多个图相连;C7层有16个10*10的图，每个图与S2层的连接的方式采用组合连接（图3）;这种不对称的组合连接的方式有利于提取多种组合特征;改成有(5*5*3+1)*6+(5*5*4+1)*3+(5*5*4+1)*6+(5*5*6+1)*1 =1516 个训练参数，共有1516*10*10=151600个连接；S8层是一个下采样层/池化层，C7层的16个10*10的特征图谱分别进行以2*2为单位的下抽样得到16个5*5的图;每个特征图谱使用一个下抽样核，每个下抽象核有两个训练参数，所以共有2*16=32个训练参数，有5*5*（2*2+1）*16=2000个连接；C9层是一个卷积层;由于S8层的16个图的大小为5*5，与卷积核的大小相同，所以卷积后形成的图的大小为1*1;这里形成120个卷积结果;每个都与上一层的16个图相连;所以共有(5*5*16+1)*120 = 48120个参数，同样有48120个连接；F10层是全连接层;该层的训练参数和连接数是(120+1)*84=10164；输出层11共有26个节点，分别代表13种水果和对应质量的优差。

3.根据权利要求1所述的基于图谱识别和深度学习的果实分类的分析方法，其特征在于，该方法具体实施步骤如下：

（1）利用IP摄像头，抓取图像数据；

（2）视频经过云传输和h.264解压缩被计算机获取；

（3）对样本图片进行裁剪，使水果整体位于图片中；

（4）在LinuxUbuntu系统下，利用OpenCV图像处理的方法对存入的图像进行旋转，平移，特征缩放和分量均值零化，利用图片的旋转和平移可以增加样本图片的数量，增强数据源；特征缩放和分量均值零化可以实现图片特征的标准化，改善神经网络模型；

（5）VS2013环境下，使用python语言定义Caffe网络框架的每一层，每层参数按照下面11层神经网络计算结果设置，并设置batch_size（一次训练的图片数量）为50；test_iter（测试执行的迭代次数）为50，test_interval（测试频率）为20，base_lr（迭代速率）为0.001， momentum（动量参数）为0.9， weight_decay（权重衰减系数）为0.0005，梯度下降的优化策略使用inv，max_iter（最大迭代次数）10000，每迭代5000次生成一次快照，训练硬件设备选择GPU，使用命令：

./build/tools/caffetrain--solver=examples/cnn_solver.prototxt开始训练数据；

（6）训练结束后生成LOSS损失曲线，对结果进行分析，检查拟合性，查找是否出现过拟合现象，经过多次调参调试后，准确率达到92.756%，保存模型；

（7）将生成的模型加入到Java代码中，采集到的每帧图像与模型比较，分析其特性，最终确定果实的特征分类。