[发明专利]基于视觉识别的黄色培育钻石自动分级系统

权利要求书

1.一种基于视觉识别的黄色培育钻石自动分级系统，其特征在于，其包括：原料仓单元(1)、提取料单元(2)、理料单元(3)、上料单元(4)、传送单元(5)、视觉识别单元(6)、下料单元(7)、运算处理装置(8)以及控制器(9)；其中，

所述原料仓单元(1)用于贮存和平整待分拣黄色培育钻石原料；

所述提取料单元(2)用于将待分拣黄色培育钻石原料提取至理料单元(3)；

所述理料单元(3)用于归整提取的待分拣黄色培育钻石原料呈“一”字排列；

所述上料单元(4)用于吸取一颗待分拣黄色培育钻石原料并传送至传送单元(5)；

所述原料仓单元(1)、提取料单元(2)、理料单元(3)、上料单元(4)联合工作下，实现了每次精准上料一颗黄色培育钻石原料；

所述传送单元(5)用于将待分拣黄色培育钻石原料运送至视觉识别单元(6)和下料单元(7)，所述视觉识别单元(6)与运算处理装置(8)连接，运算处理装置(8)与控制器(9)连接，视觉识别单元(6)将采集的图像传送至运算处理装置(8)进行处理分析，运算处理装置(8)将分选结果传送至控制器(9)，控制器(9)控制下料单元(7)根据分选结果进行分级下料；

其中，所述运算处理装置(8)包括：图像采集模块、图像分类模块、预处理模块、模型训练模块、模型分类模块、结果综合模块；

所述图像采集模块，其用于对黄色钻石原始样本进行图像采集：通过同轴光源照明，利用CCD工业相机和图像采集卡采集黄色钻石原始样本图像；

所述图像分类模块，其用于对黄色钻石原始样本进行图像分类：按照黄色钻石品级不同，将黄色钻石原始样本图像分为一级品、二级品和三级品三类样本；所述图像分类模块包括：分类单元、筛选单元；

其中，所述分类单元，用于采取根据国际钻石委员会钻石分级标准、中国技术监管局钻石分级标准GB/T 16554-2003的方法，分别对黄色钻石原始样本图像进行分类，得到两个训练样本集，分别记为：U_a、U_b；所述筛选单元，用于从U_a、U_b中筛选出分类一致的黄色钻石样本，形成一个加强训练样本集，记为：U_c；

所述预处理模块，用于对黄色钻石原始样本图像进行预处理：根据灰度化、滤波去燥、二值化、腐蚀与膨胀、最小外接矩形检测图形图像处理方法对U_a、U_b、U_c中的黄色钻石原始样本图像进行处理，得到统一尺寸299*299的黄色钻石图像；所述预处理模块包括：灰度化单元、滤波去燥单元、二值化单元、腐蚀与膨胀单元、最小外接矩形检测单元、过滤单元；

其中，所述灰度化单元，用于对图像分类模块输出的图像进行灰度化处理；所述滤波去燥单元，用于对灰度化单元得到的图像使用低通滤波器平滑图像中的高频噪点，降低图像的变化率；所述二值化单元，用于将滤波去燥单元输出的图像中像素值不大于90的置为0，也即黑色，其余置为255，也即白色；为消除经二值化单元输出的图像中白色斑点对黄色钻石区域轮廓检测的干扰，所述腐蚀与膨胀单元用于对图像分别执行4次腐蚀与膨胀的形态学处理；所述最小外接矩形检测单元，用于通过轮廓检测算法检测出经腐蚀与膨胀单元输出的图像中所有联通区域的外轮廓，并通过最小外接矩形算法计算出所有外轮廓的最小外接矩形；所述过滤单元，其用于最小外接矩形检测单元输出的图像中的最小外接矩形进行面积大小、长宽比例过滤，最终得到唯一的黄色钻石图像区域，裁剪出该区域后，经过图像放缩操作后统一到固定尺寸299*299；

所述模型训练模块，用于将经预处理模块预处理后的样本集U_a、U_b、U_c分别输入Inception V3网络中进行训练，经过充分迭代分别得到预测模型M_a、M_b、M_c；所述模型训练模块包括：第一处理单元、第二处理单元、第三处理单元、第四处理单元、对比单元；

其中，所述第一处理单元，用于将经预处理模块预处理后的样本集U_a、U_b、U_c分别输入到Inception V3网络中，样本将先经过3层卷积网络，每层卷积网络包含1个或者多个卷积核，再通过激活函数ReLU对卷积输出的非线性激励作用，使得网络的特征表达能力得到加强；卷积层激活函数ReLU的表达式为：

其中，x为经过3层卷积网络后的输出；

其中，经过卷积层特征提取后，图像的尺寸和通道数会发生较大变化，这与卷积核的大小、填充方式、步长因素相关；经卷积层后输出图像的尺寸和通道数计算公式分别如下式所示：

N＝D

其中，O为经卷积层后输出图像的尺寸；I为输入图像的尺寸；K为卷积核的尺寸；P为卷积时的填充数；S为步长；N为输出图像的通道数；D为卷积核的数量；

其中，所述第二处理单元，用于对第一处理单元的输出图像进行池化降采样处理，减少参量的同时过滤掉特征图里的冗余信息，避免模型过拟合问题；经池化层后输出图像尺寸的计算公式为：

其中，O′为经池化层后输出图像的尺寸；P_s为池化层尺寸；

不同于卷积层改变图像通道数的效果，经池化层后图像的通道数不发生改变；

其中，所述第三处理单元，用于对第二处理单元的输出图像通过3个模块组简化特征信息，每个模块组内包含多个结构类似的模块,每个模块由简单的卷积层、复杂的卷积层和简化结构的池化层并联组合而成，不同程度的特征抽象和变换可以有选择地保留不同层次的高阶特征，而这些模块组的作用是简化空间结构，将空间信息转化为抽象的高阶特征信息，最大程度地丰富网络的表达能力，同时使每层的输出张量持续减少，降低计算量；经过这些模块组后的输出图像尺寸为8*8*2048；

其中，所述第四处理单元，其用于经全局平均池化层将第三处理单元输出的图像转化为1*1*2048，再经过dropout层、卷积层、线性化维度消除处理后，最终通过归一化指数函数将模型对每个类别的预测映射为概率值，其中，归一化指数函数表达式如下所示：

其中，n为所有的品级数，z_i表示模型预测出的属于第i个类别的数值，p_i表示转化后的模型预测结果属于第i个类别的概率；n＝3，i＝1,…,n；

其中，所述对比单元，用于取预测概率最大的类别与样本实际类别进行对比，计算同一训练批次样本的误差损失，设置相关训练超参数，以误差损失最小为目标进行寻优，经反复迭代寻优和模型数据固化，最终样本集U_a、U_b、U_c分别得到对应的模型M_a、M_b、M_c；

所述模型分类模块，其用于将待分类黄色钻石图像按照步骤S4处理后，输入到模型M_a中，通过特征提取和类别匹配得到模型分类的结果p_a1、p_a2、p_a3，其中：p_a1表示模型M_a认为该黄色钻石是一级品的概率，其他类同；同理，将待分类图像输入到模型M_b、M_c可得分类结果p_b1、p_b2、p_b3、p_c1、p_c2、p_c3；

且：

所述结果综合模块，其为保证黄色钻石分类结果的稳健性，用于综合三种模型的分类结果；那么黄色钻石分类的品级函数Y＝max(P₁，P₂，P₃)，其中：