[发明专利]图像处理方法、存储介质、电子设备及图像处理装置

说明书

本申请涉及一种图像处理方法、存储介质、电子设备及图像处理装置。方法包括：将原始图像输入特征提取网络获得融合特征图，特征提取网络包括多个特征提取层分别用于提取不同层次的特征图，融合特征图通过对原始图像的不同层次的特征图进行特征融合得到；通过具有多个采样率的空洞卷积模型组合，对融合特征图按照多个采样率进行空洞卷积并行采样得到多尺度特征图，多尺度特征图指示按照多个比例捕捉的融合特征图的上下文，多个比例与多个采样率一一对应；通过ROI校准模块，根据多个候选ROI对多尺度特征图进行划分得到多个候选图；对多个候选图分别进行语义分割得到原始图像的语义分割结果。如此实现了精确识别并标注废钢的内容和位置。

技术领域

本申请涉及计算机视觉技术领域，具体涉及一种图像处理方法、存储介质、电子设备及图像处理装置。

背景技术

随着人工智能技术的发展，深度学习技术在计算机视觉技术领域取得了重大发展，并且在图像分类、图像目标检测以及图像分割等方面取得了重大突破。其中，基于计算机视觉技术的人脸识别产品已经广泛应用于出入境口岸、火车站和机场大厅等场所，通过从采集的图像中提取人脸特征并进行比对和搜索来达到身份检判的目的。在工业应用领域，例如物流中心的货物自动分拣和港口自动化等，可以借助人工智能技术和基于计算机视觉技术的产品来实现对目标货物的智能化自动检判并根据检判结果采取相应的搬运、分拣、打包等操作。另外，在废钢回收利用环节中，也需要对来源复杂、种类繁多、材质差异大的各种废弃钢材进行定级并采取相应操作，因此也可以借助人工智能技术和基于计算机视觉技术的产品来实现对废弃钢材的智能化自动检判。以上提及的对目标货物或废弃钢材的智能化自动检判，相比于传统的人工测量和人工检判，具有检判标准客观稳定、信息化程度高、降低了安全隐患和人力成本等有益效果，有利于提高生产效率和作业安全性。

在废钢检测、废弃钢材或货物的智能化自动检判等应用中，需要识别出不同废钢或者货物的内容及位置，但是这些废钢或货物的堆积情况难以预料且存在互相遮挡、形状相似等问题，从而给精确识别并检判出每一个个体的内容及位置带来巨大挑战，也使得基于计算机视觉技术的解决方案面临计算复杂度和算力方面的困难。

为此，需要一种图像处理方法、存储介质、电子设备及图像处理装置，能够基于计算机视觉技术在废钢回收利用环节和废弃钢材的智能化自动检判等应用中实现精确识别和检判。

发明内容

第一方面，本申请实施例提供了一种图像处理方法。所述图像处理方法包括：将原始图像输入特征提取网络从而获得融合特征图，所述特征提取网络包括多个特征提取层分别用于提取不同层次的特征图，所述融合特征图通过对所述原始图像的不同层次的特征图进行特征融合得到；通过具有多个采样率的空洞卷积模型组合，对所述融合特征图按照所述多个采样率进行空洞卷积并行采样，得到多尺度特征图，所述多尺度特征图指示按照多个比例捕捉的所述融合特征图的上下文，所述多个比例与所述多个采样率一一对应；通过兴趣区域ROI校准模块，根据多个候选ROI对所述多尺度特征图进行划分得到多个候选图，所述多个候选图与所述多个候选ROI一一对应，所述多个候选ROI基于所述融合特征图；对所述多个候选图分别进行语义分割，得到所述原始图像的语义分割结果。

第一方面所描述的技术方案，有效降低边缘识别误差同时还增强了对原始图像的语义理解，这样提升了对小尺寸物件或者说小型物件的识别效果和检测性能，进而在废钢检测、废钢回收利用环节和废弃钢材的智能化自动检判等应用中实现了精确识别并标注废钢的内容和位置。

根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述特征提取网络包括特征金字塔网络FPN，所述FPN通过对从低层次语义特征图到高层次语义特征图的不同层次的特征图进行特征融合得到所述融合特征图。

根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述特征提取网络还包括主干网络分支用于提取所述原始图像的高层次语义特征，所述主干网络分支的输出结果作为所述FPN的输入。