[发明专利]工业质检图像文字匹配方法及装置

说明书

本发明属于图像处理技术领域，具体涉及工业质检图像文字匹配方法及装置。所述方法执行以下步骤：步骤1：在目标图像中选取基准帧和融合帧；所述基准帧为清晰度最高的帧；所述融合帧为所述基准帧之前的n帧图像；其中，n为大于0的整数，为设定值；步骤2：对基准帧和融合帧进行融合处理，得到融合帧图像；步骤3：对所述融合帧图像进行细节增强，得到增强图像；步骤4：基于得到的增强图像进行图像文字匹配。其通过将选帧和多帧融合进行结合，针对工业质检中的光照环境不理想、细节不清晰问题提出了解决方案，同时解决了环境/镜头脏物引起的雾感导致的匹配识别的准确率下降的问题。

技术领域

本发明属于图像处理技术领域，具体涉及工业质检图像文字匹配方法及装置。

背景技术

图像识别，是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术，是应用深度学习算法的一种实践应用。现阶段图像识别技术一般分为人脸识别与商品识别，人脸识别主要运用在安全检查、身份核验与移动支付中；商品识别主要运用在商品流通过程中，特别是无人货架、智能零售柜等无人零售领域。

图像文本匹配，顾名思义，就是度量一幅图像和一段文本的相似性，该技术是多个模式识别任务的核心算法。例如，在图像文本跨模态检索任务中，当给定查询文本，需要依据图像文本的相似性去检索内容相似的图像；在图像描述生成任务中，给定一幅图像，需要依据图像内容检索相似的文本，并以此作为(或者进一步生成)图像的文本描述；在图像问答任务中，需要基于给定的文本问题查找图像中包含相应答案的内容，同时查找的视觉内容反过来也需要检索相似文本预料作为预测答案。

图像文字匹配是图像文本匹配技术的一个分支，其实质就是给定一幅图像，依据图像内容判断另一段的文本或图像是否相似。图像文字匹配在工业应用中有着广泛应用并起着具足轻重的作用。如车牌识别、工业质检、文本质检等。如车牌识别，就是将图片中车牌号码提取成文字，再与计算机系统中的数据库做匹配，做进一步应用。

图像文字匹配在工业质检领域，如产线质检、物流质检、货物质检等，都有着广泛的应用。产线和物流质检中，往往在生产和运输环节中，需要对货物外包装上的货物信息进行判断识别，做进一步应用。比如检验同一批次货物信息是否有印刷错误。是否在物流运输中出现了不属于本批次的货物等。因此需要通过图像视觉手段，提取当前货物的货物信息，与系统内置的信息做匹配、检索等操作。

现有技术中所使用的图像文字匹配方法，没有考虑在工业质检领域的适配，同时也由于算法执行繁琐和算法效果单一导致出现了下列问题：只能解决单一场景问题，比如只解决去雾问题；采用多个模块叠加处理，实际应用效率偏低，计算复杂度高，不利于工业部署和成本控制；通常只考虑单帧图像处理，因此导致实际应用中在全场景中的效果不好。

专利号为CN108805214A的专利公开了一种基于模糊加权直方图的相似图像匹配方法，其虽然提高了相似图像匹配的准确性，可以广泛应用于图像检索领域；但在工业质检领域中出现的复杂场景问题依然没有很好的解决方案，且存在算法复杂度高和无法进行全场景处理的问题。

专利号为CN104199950B的专利公开了一种基于图像相似度快速匹配的学术论文搜索方法，其利用图像及图像相关信息进行论文检索，图像特征采用更小的存储介质，且检索速度快，检索精准度高。同样缺乏在工业质检领域的解决方案，且也没有很好地提出在全场景中的处理方案。

发明内容

有鉴于此，本发明的主要目的在于提供工业质检图像文字匹配方法及装置，在进行图像处理时，引入多帧概念，解决单帧图像信息缺失带来的效果问题；同时，使用一种融合方案，针对光照环境不理想、细节不清晰、环境/镜头脏物引起的雾感等，一次性解决上述问题；另外，使用一种融合方案，而不是分步骤处理，优化处理效率，有利于工业部署和成本控制。

为达到上述目的，本发明的技术方案是这样实现的：

工业质检图像文字匹配方法，所述方法执行以下步骤：