[发明专利]图像的双金字塔多元特征提取网络、图像分割方法、系统和介质

说明书

图像的双金字塔多元特征提取网络、图像分割方法、系统和介质，属于深度学习图像处理领域，由四个输入特征、一个实例特征金字塔、一个语义特征金字塔和两个输出特征构成，两个输出特征由实例特征金字塔输出特征和语义特征金字塔输出特征组成。本发明解决了传统的特征提取方法无法满足多线程任务的特征需求的问题，能够为目标识别任务，提供详细的实例目标特征信息、为语义分析任务，提供丰富的语义逻辑特征信息，极大地提高多线程任务的精度。

技术领域

本发明属于深度学习图像处理领域，具体的说是一种能为多任务模型提供两种类型特征的双金字塔多元特征提取方法。

背景技术

数字图像分析技术在当今社会发挥着重要作用，机器视觉已成为各行各业的重要研究内容。目前机器视觉技术的发展已经逐渐抛弃传统数字图像处理的手工设计算法的方案，转而使用深度学习，以卷积神经网络为代表，以达到高准确率的分析结果。专利《一种可充分保留图像特征的特征提取模型及特征提取方法》(公开号：CN110659653A)，提出对任意分辨率的输入图像进行无损的特征提取操作，以解决骨干网不断抛弃特征信息的做法导致后期分析时信息量不足的问题。专利《一种低复杂度尺度金字塔提取图像特征的方法》(公开号：CN108537235A)，公开了一种低复杂度尺度金字塔提取图像特征的方法，提出将图像经过滤波生成的构成尺度金字塔的五组图像块分为两部分进行不同处理，而后将两部分处理结果合并形成最终的特征点列表。

对于现有的卷积神经网络模型，其骨干特征提取网络都起源于最初的图像分类网络，此类传统的特征提取网络仅适用于具有单一任务需求的网络框架，如目标检测、语义分割等。

但随着深度学习计算机视觉领域的发展，越来越要求在深度神经网络中实现多任务集成的目标。多线程任务中每一个任务往往具有不同的目的，根据目的不同，不同任务对特征的需求也有很大差别，采用传统的特征提取方法无法满足多线程任务对特征的不同需要。因此在深度学习的多线程网络中，传统的特征提取方法无法满足多线程任务的特征需求成为一个亟待解决的问题。

发明内容

为了解决传统的特征提取方法无法满足多线程任务的特征需求的问题，本发明提出如下技术方案：一种图像的双金字塔多元特征提取网络，由四个输入特征、一个实例特征金字塔、一个语义特征金字塔和两个输出特征构成，两个输出特征由实例特征金字塔输出特征和语义特征金字塔输出特征组成。

进一步的，

实例特征金字塔由四层实例特征、三个上采样模块、三个加法融合模块，四个完全相同的标准卷积层和一个合并模块构成；

实例特征金字塔沿自上而下的路径构建四层实例特征：

输入特征1构成实例特征金字塔的第四层实例特征，然后，第四层实例特征一路进入上采样模块进行尺寸放大，另一路经由标准卷积层进入合并融合模块，等待合并融合处理；

输入特征2和经过放大变换的第四层实例特征共同进入加法融合模块进行特征融合，特征融合结果构成实例特征金字塔第三层实例特征，而后第三层实例特征一路进入上采样模块进行尺寸放大；另一路经由标准卷积层进入合并融合模块，等待合并融合处理；

输入特征3和经过上采样放大变换的第三层实例特征共同进入加法融合模块进行特征融合，特征融合结果构成实例特征金字塔第二层实例特征，而后第二层实例特征一路进入上采样模块进行尺寸放大；另一路经由标准卷积层进入合并融合模块，等待合并融合处理；

输入特征4和经过上采样放大变换的第二层实例特征共同进入加法融合模块进行特征融合，特征融合结果构成实例特征金字塔第一层实例特征，而后第一层实例特征经由标准卷积层进入合并融合模块，等待合并融合处理；

合并模块将等待合并融合处理的四个实例特征信息进行合并，输出一个合并融合结果作为实例特征金字塔的输出特征，组成双金字塔多元特征提取网络的两个输出特征之一；