[发明专利]基于多任务学习的价格牌识别方法、系统及存储介质

说明书

本发明公开了基于多任务学习的价格牌识别方法、系统及存储介质，方法包括识别模型训练步骤和价格牌识别步骤。本发明将价格牌中的整数部分和小数部分分别进行训练以及识别，不但降低了神经网络训练的难度，而且可以将小数点的位置区分出来，提高了识别精度，可广泛应用于深度学习技术领域。

技术领域

本发明涉及深度学习技术领域，尤其是基于多任务学习的价格牌识别方法、系统及存储介质。

背景技术

近年来随着深度学习技术的迅速发展，其应用也是越来越广泛，从传统的安防领域，到近年来兴起的智慧零售领域都有其身影。渠道核查是快消新零售中的一个重要环节，传统的作业方式主要包括业务代表现场核查和第三方核查，这两种方式都有着其各自的缺点，例如人工误差大、核查周期长、数据误差无法追溯等。基于深度学习的图像识别技术有着精度高、场景可还原等特点，非常适合渠道核查的业务场景。基于图像的渠道核查主要包含两大识别内容，SKU识别和价格牌识别。价格作为销售数据的重要组成部分，基于图像的价格牌识别的精度要求很高，价格牌识别容易受价格牌外观设计样式、拍照质量等影响，如模糊、挺斜等因素的影响。

现有价格牌识别技术大部分都是将价格牌的各个部分，如整数部分、小数部分以及小数点作为一个整体，然后统一进行无差别的识别，但是由于价格牌的种类繁多，以及容易受光照、拍照角度的影响，其在图像中的特征不是非常明显，识别难度高，即使是使用了带上下文关系的序列识别算法，也很难定位小数点的位置，因此精确度不高。

发明内容

为解决上述技术问题，本发明的目的在于：提供一种难度低且精确度高的，基于多任务学习的价格牌识别方法、系统及存储介质。

本发明一方面所采取的技术方案为：

基于多任务学习的价格牌识别方法，包括识别模型训练步骤和价格牌识别步骤，其中，

所述识别模型训练步骤包括以下步骤：

根据价格牌的图像数据，检测价格牌上的价格信息；

根据价格牌上的价格信息，基于预设的数据格式对价格信息的整数部分和小数部分进行标注，得到价格数据；

对标注好的价格数据进行增强处理；

将增强处理后的价格数据输入预设的神经网络模型进行训练，得到识别模型；

所述价格牌识别步骤包括以下步骤：

通过目标检测模型对待识别图像中的价格牌位置进行检测，得到价格牌图像数据；

对价格牌图像数据进行预处理；

通过识别模型，对预处理后的价格牌图像数据进行识别，得到价格信息的整数部分识别结果和小数部分识别结果。

进一步，所述识别模型训练步骤，还包括以下步骤：

采集货架图像；

对采集到的货架图像进行检测，确认货架图像中价格牌区域的位置；

根据价格牌区域的位置，截取价格牌的图像数据。

进一步，所述对标注好的价格数据进行增强处理这一步骤中，所述增强处理包括亮度处理、对比度处理、旋转处理、缩放处理、平移处理、增加噪声处理、模拟运动模糊处理和模拟空间模糊处理。

进一步，所述将增强处理后的价格数据输入预设的神经网络模型进行训练，得到识别模型这一步骤，包括以下步骤：

通过卷积神经网络和LSTM网络对增强处理后的价格数据进行计算，得到价格的整数部分和小数部分；

通过LSTM网络分别计算整数部分和小数部分的特征向量；