[发明专利]一种基于树莓派和机器视觉的双黄蛋在线识别系统和方法

权利要求书

1.一种基于树莓派和机器视觉的双黄蛋在线识别方法，其用于在线识别的系统包括树莓派(1)、鸭蛋传输装置(2)、图像采集系统(3)、语音模块(4)、显示模块(5)和云服务器(6)，鸭蛋传输装置(2)、图像采集系统(3)、语音模块(4)、显示模块(5)和云服务器(6)均与树莓派(1)连接；

所述的鸭蛋传输装置(2)包括皮带输送机(7)，输送机托辊(8)之间的间隙下方设有对皮带上的鸭蛋(9)进行照射的照射灯(10)，皮带输送机(7)的电机(11)与树莓派(1)连接；

所述的图像采集系统(3)包括暗箱(13)、光电传感器(14)和摄像机(15)，所述的暗箱(13)设置于鸭蛋传输装置(2)上方，皮带输送机(7)从暗箱(13)一端进入，另一端穿出，光电传感器(14)与树莓派GPIO口连接，用于向树莓派(1)传送图像采集的触发信号，其发光器和收光器分别安装于皮带输送机(7)通过路径两侧的暗箱(13)内壁上；摄像机(15)与树莓派(1)连接，安装于暗箱(13)内顶壁上，且摄像头垂直正对皮带输送机(7)；图像系统用于实时采集鸭蛋图像，并将采集到的图像数据信号发送至树莓派(1)；

所述的语音模块(4)通过蓝牙与树莓派(1)连接，用于对识别结果进行语音播报；

所述的显示模块(5)用于将识别结果显示在显示屏上以及用户操作界面的显示；

所述的云服务器(6)部署有双黄蛋识别模型，用于接收树莓派(1)发送的图像处理结果，并通过双黄蛋图像进行分类识别处理，将分类识别后的信号传送至树莓派(1)；

所述的树莓派(1)用于启动和控制皮带输送机(7)电机的运转，用于启动图像采集系统(3)进行图像采集以及接收图像采集系统发送的图像数据信号，并对接收到的图像数据信号进行分析和处理，将处理结果发送至云服务器(6)，经云服务器(6)通过双黄蛋识模型对鸭蛋进行识别分类后，接收云服务器(6)发出的分类信号，并将该分类信号分别通过语音模块(4)和显示模块(5)进行播报和显示；

其特征在于，包括如下步骤：

1)将洗干净的鸭蛋放置于皮带输送机(7)上，打开皮带下方的LED光源，同时树莓派(1)启动皮带输送机(7)电机，皮带输送机(7)开始将鸭蛋载入暗箱(13)；

2)鸭蛋随皮带输送机(7)进入暗箱(13)，触发光电传感器(14)，树莓派(1)接收到触发信号后，控制摄像机(15)对暗箱(13)内的鸭蛋进行图像采集；摄像机(15)将采集到的鸭蛋半透明图像数据信号发送至树莓派(1)；

3)树莓派对接收到的图像数据信号进行预处理，步骤为：

①通过步骤1)和2)采集鸭蛋的半透明图像并将其保存在树莓派(1)中；

②使用opencv进行图像处理，图像的高度为H，宽度为W，H＝W；读入原始BGR鸭蛋图像A，经高斯滤波后，提取图像的R分量，得到灰度图B；

③对灰度图B阈值分割，使用Otsu法选取最佳阈值，之后将像素值大于阈值的点置为1，反之为0，其公式为其中，src(x，y)是原图的像素值，dst(x，y)为分割后的像素值，T为阈值，0＜T＜255；

④对步骤③得到的分割图像进行膨胀腐蚀处理，去除噪声，得到二值图C；

⑤将二值图C与原图A进行位与运算，去除背景，保留鸭蛋区域图像，获得图像D；

⑥将图像D进行图像扩充，增加后续神经网络训练过程中的数据；

4)进行CNN-GCN多标签图片分类，其步骤包括：

a.将步骤3)中预处理后的图像按照4∶1的比例划分为训练集和测试集后，使用opencv读取BGR图像，并将BGR图像转为HSV图像及LAB图像，之后对每个通道进行Z-score归一化处理；

其中，BGR图像中的B、G和R分别代表蓝色通道分量、绿色通道分量和红色通道分量；HSV图像中的H、S和V分别代表色彩通道分量、纯度通道分量和明度通道分量；LAB图像中的L和A、B分别代表亮度通道分量、颜色通道分量；

b.对步骤a得到的图像进行拼接，得到9通道图像，将9通道图像添加标签，用0表示单黄蛋，1表示双黄蛋；

c.搭建模型：

使用python编程语言和pytorch平台编写双黄蛋识别模型程序，建立CNN-GCN模型，包括CNN网络提取图像特征、两层GCN网络和输出层：

使用CNN网络提取图像特征：输入shape为(B，9，H，W)，其中B为批尺寸，只使用resnet50模型的第三个残差块的输出为特征提取的结果，去除原模型的第四个残差块及后续的输出层，经特征提取后，输出shape为(B，c，H/8，W/8)，C是特征层数；

根据resnet50提取的特征及其相关性构建GCN图，获取邻接矩阵A，使用高斯核函数RBF定义边权重，即：其中x_i和x_j是任意两节点的特征，σ是函数的宽度参数，得到邻接矩阵A，其shape为(H*W/64，H*W/64)；

得到邻接矩阵A后，将resnet50提取的特征交换维度并reshape为(B，H*W/64，C)；

第一层GCN：第二层GCN：其中是归一化的邻接矩阵A，X是CNN提取的特征，W⁽⁰⁾和W⁽¹⁾是可训练的权重，Relu是激活函数，H⁽⁰⁾和H⁽¹⁾是GCN层的输出；

对于归一化的邻接矩阵：其中D是度矩阵，I是单位矩阵，经过两层GCN网络，输出经过两层全连接和Softmax激活，Yⁱ＝Softmax(W¹(W⁰Xⁱ+b⁰)+b¹)，其中，Xⁱ为H⁽¹⁾reshape为(B，1，in_features)，W⁰和W¹为可训练的权重，b⁰和b¹为偏置量，Yⁱ是输出，其shape为(B，1，n)，其中n是图像所含鸭蛋的数量；

d.模型训练与保存：对步骤c搭建完成的CNN-GCN模型，设定模型初始参数，将训练集输入到到模型中，使用交叉熵损失函数为模型的损失函数，通过标签与模型输出计算得到损失函数值，计算公式为：

其中，yⁱ是标签，计算通过梯度下降和反向传播计算梯度并更新参数；每训练完一轮，使用测试集计算准确率，对于中的每个数，如果其值大于0.5，则设为1，否则设为0；将其与标签相比较，如果相等，分类正确的个数加1，分类正确数量与总分类数量的比值即为准确率；若准确率上升，则保存模型，若准确率连续几轮没有变化或下降，则终止训练，保存结果最好的模型；

5)将步骤4)中保存下来的训练模型及其代码部署到云服务器(6)，得到双黄蛋识别模型；

6)云服务器(6)通过步骤5)得到的双黄蛋识别模型对接收到的鸭蛋图像进行识别和分类，并将识别与分类结果实时反馈至树莓派(1)，树莓派(1)对接收到的结果分别通过语音模块(4)和显示模块(5)进行播报和显示。