[发明专利]一种基于深度学习的面板数字识别与按取方法

说明书

本发明提出一种基于深度学习的面板数字识别与按取方法，把深度学习算法识别模型应用在机器人面板视频数字识别领域，提高了机器人工作效率与准确度。与常规方法模型相比，该方法识别准确率及效率较高，且不受光照强度、图像采集角度、数字本身的形状的影响，使得机器人对面板上的数字识别在不受光照强度等外界因素影响的同时，可以更加快速准确识别面板上的数字，进而高效采取其它相关动作。

技术领域

本发明属于图像处理和计算机视觉技术领域，具体涉及一种基于深度学习的面板数字识别与按取方法。

背景技术

目标检测与识别是计算机视觉的重要组成部分，也是其主要应用部分之一。随着人工智能技术的高速发展，计算机视觉也得到了迅速的发展，例如在人脸识别、工业智能检测、自动驾驶、图像识别行为分析等领域得到了很好的应用。在此背景下，机器人由于应用场景的不同也分化出了多个种类：机械臂、仿生机器人、服务机器人、物体抓取机器人、安保机器人等，特别在物体识别与抓取方面，为了提升机器人识别的效率与准确度，迫切需要把视觉检测与识别相关技术与机器人相结合。

在深度学习时代之前，早期的目标检测与识别流程主要分为三步：候选框生成、特征向量提取和区域分类。第一阶段，候选框生成阶段的主要思路是用滑动窗口扫描整幅图像，为了捕捉不同尺寸的对象信息，输入图像被重新分割为不同的尺寸，然后用不同尺寸的窗口滑动经过输入图像。第二阶段，特征向量提取阶段，即在图像的每一个位置上，利用滑动窗口获取固定长度的特征向量，进而捕捉该区域的判别语义信息。第三阶段，学习区域分类器，通常使用支持向量机为特定区域分配类别标签。

在目前的深度学习时代，在将深度卷积神经网络成功应用于图像分类后，基于深度学习技术的目标检测与识别也取得了巨大进步。基于深度学习的新算法显著优于传统的目标识别算法。

目前，基于深度学习的目标检测与识别框架可以分为两大类：二阶检测器(如基于区域的R-CNN及其变体)和一阶检测器(如YOLO及其变体)。二阶检测器首先使用候选框生成器生成稀疏的候选集，并从每个候选框中提取特征；然后使用区域分类器预测候选框区域的类别。而一阶检测器直接对特征图上每个位置的对象进行类别预测，不经过二阶中的区域分类步骤。一般来说，二阶检测器通常检测识别性能更优，而一阶检测器更省时，在实时目标检测识别方面具备更强的适用性。

因此，为了使机器人能够更快、更准确地识别面板视频中数字，进而高效的采取相应动作，本发明提出一种基于深度学习faster-RCNN与RegionProposalNetwork(RPN)联合训练的面板数字识别与按取方法。

发明内容

(一)要解决的技术问题

本发明提出一种基于深度学习的面板数字识别与按取方法，以解决视频中面板上的数字识别准确度受光照强度、图像采集角度、物体本身的形状等影响较大的技术问题。

(二)技术方案

为了解决上述技术问题，本发明提出一种基于深度学习的面板数字识别与按取方法，该方法包括如下步骤：

S1、利用机器人摄像头采集面板上包含数字的视频，作为训练样本；

S2、利用faster-RCNN算法对训练样本训练出区域生成网络和识别网络，得到训练模型；

S3、训练完成后，视频中图像数字等时间隔上传系统，实时采集面板视频中的数字，如果该上传图片被读取，则调用训练模型对视频中的数字进行检测与识别，输出图片中各个数字的位置及类别信息；如果该上传图片未被读取，则忽略该上传的图片，以此类推，完成数字识别；最后通过机器人手爪自动按动面板按钮，关闭数字识别模式，最终完成利用机器人基于深度学习方法对面板视频中数字的识别及采取相关动作的任务。

进一步地，步骤S1具体包括如下步骤：