[发明专利]果蔬自动验货方法、系统、电子设备以及计算机可读介质

说明书

一种果蔬自动验货方法，包括：果蔬视频获取步骤，获取包括待验货的果蔬的视频；视频处理步骤，将视频处理为多个图片；初级识别步骤，使用初级识别神经网络选择出多个图片之中的包含果蔬的图片；特征提取步骤，对于选择的包含果蔬的图片，使用特征提取神经网络提取果蔬的图像的特征图；以及质量检测步骤，利用质量检测神经网络基于特征图对果蔬的多个属性进行检测。收集包含多种果蔬品类的图像信息以生成训练数据集，基于训练数据集训练神经网络以分别获得初级识别神经网络、特征提取神经网络和质量检测神经网络。本发明的上述果蔬自动验货方法，能够通过使用手机拍摄视频而对农产品进行智能验货，节省了验货成本，提高了自动验货的适用范围。

技术领域

本发明涉及计算机视觉识别领域，尤其涉及一种基于机器视觉识别果蔬自动验货的方法、系统、电子设备以及计算机可读介质。

背景技术

虽然产量巨大，但是农产品在电子商务领域占比较低，这是因为网上交易的非直接性、非面对面性导致交易过程中信息不对称，货品质量与销售价格匹配程度不高，限制了农产品在电子商务领域的发展。

目前在农产品交易过程中，主要依赖人工验货来确定农产品的质量等，验货的结果存在主观性，浪费人力且验货结果不可靠。随着人工智能的发展，出现了一些自动验货或者分拣的方法，但其具有验货设备结构复杂、造价高等缺点，不适合在农产品交易过程中大规模使用。

例如在一种已知的苹果分级方法中，需要将苹果放到果盘上，将果盘放到传输带上，然后传输带开始输送苹果，到达暗箱，再利用LED灯和相机拍摄苹果的清晰图像，之后图像传输到计算机，使用分类模型分析苹果的等级。

此外，在另一种已知的蔬菜识别方法中，在装有安卓系统的电子秤上部署训练好的神经网络，通过摄像头采集电子秤上所称蔬菜的图片，自动识别所称蔬菜的品类并获取对应品类的单价，从而计算称重蔬菜的总价。

发明内容

技术问题

然而，在上述苹果分级方法中使用了9种硬件设施，造价成本高，实际部署困难，无法在农产品交易过程中使用。此外，通过拍摄图像对水果进行分级，拍摄的图像基于一个暗箱的封闭环境，而在实际验货的时候环境更复杂，使得该方法无法实施。而且该方法分级的依据是颜色、果形、果径和表面缺陷，在实际农产品交易过程中还涉及果蔬包装、果蔬内部情况(切面图)、果皮厚度、虫眼等等，而该方法并不涉及上述指标。

另外，上述另一种蔬菜识别方法只考虑了蔬菜的品类，但是实际相同品类的不同规格价格差异是比较大的，该方法无法做到对不同规格的识别。此外该方法是将模型部署在装有安卓系统电子秤上运行，目前移动设备的计算能力有限，该方法在识别速度和识别准确率上都有待提升。

针对以上问题，本发明提供了一种基于手机拍摄视频的果蔬自动验货方法及系统，可在批发市场、产地等嘈杂环境下使用手机对交易的农产品进行验货，具有使用便捷、验货结果可靠的优点。

解决问题的方案

根据本发明的一个方面，提供一种果蔬自动验货方法，包括：

果蔬视频获取步骤，获取包括待验货的果蔬的视频；

视频处理步骤，将所述视频处理为多个图片；

初级识别步骤，使用初级识别神经网络选择出所述多个图片之中的包含果蔬的图片；

特征提取步骤，对于选择的所述包含果蔬的图片，使用特征提取神经网络提取所述果蔬的图像的特征图；以及

质量检测步骤，利用质量检测神经网络基于所述特征图对所述果蔬的多个属性进行检测，并输出检测结果，

其中，收集包含多种果蔬品类的图像信息以生成训练数据集，基于所述训练数据集训练多个神经网络以分别获得所述初级识别神经网络、所述特征提取神经网络和所述质量检测神经网络。