[发明专利]图像的双金字塔多元特征提取网络、图像分割方法、系统和介质

权利要求书

1.一种图像的双金字塔多元特征提取网络系统，其特征在于，由四个输入特征、一个实例特征金字塔、一个语义特征金字塔和两个输出特征构成，两个输出特征由实例特征金字塔输出特征和语义特征金字塔输出特征组成；实例特征金字塔由四层实例特征、三个上采样模块、三个加法融合模块，四个完全相同的标准卷积层和一个合并模块构成；

实例特征金字塔沿自上而下的路径构建四层实例特征：

输入特征1构成实例特征金字塔的第四层实例特征，然后，第四层实例特征一路进入上采样模块进行尺寸放大，另一路经由标准卷积层进入合并融合模块，等待合并融合处理；

输入特征2和经过放大变换的第四层实例特征共同进入加法融合模块进行特征融合，特征融合结果构成实例特征金字塔第三层实例特征，而后第三层实例特征一路进入上采样模块进行尺寸放大；另一路经由标准卷积层进入合并融合模块，等待合并融合处理；

输入特征3和经过上采样放大变换的第三层实例特征共同进入加法融合模块进行特征融合，特征融合结果构成实例特征金字塔第二层实例特征，而后第二层实例特征一路进入上采样模块进行尺寸放大；另一路经由标准卷积层进入合并融合模块，等待合并融合处理；

输入特征4和经过上采样放大变换的第二层实例特征共同进入加法融合模块进行特征融合，特征融合结果构成实例特征金字塔第一层实例特征，而后第一层实例特征经由标准卷积层进入合并融合模块，等待合并融合处理；

合并模块将等待合并融合处理的四个实例特征信息进行合并，输出一个合并融合结果作为实例特征金字塔的输出特征，组成双金字塔多元特征提取网络的两个输出特征之一；

语义特征金字塔由四层语义特征、三个空洞卷积层、三个加法融合模块、四个标准卷积层和一个合并模块组成；

语义特征金字塔沿自下而上的路径构建四层语义特征：

输入特征4构成语义特征金字塔的第一层语义特征，然后，第一层语义特征一路进入空洞卷积层进行尺寸缩小，另一路经由标准卷积层进入合并模块，等待合并融合处理；

输入特征3和经过缩小变换的第一层语义特征共同进入加法融合模块进行特征融合，特征融合结果构成语义特征金字塔第二层语义特征，而后第二层语义特征一路进入空洞卷积层进行尺寸缩小，另一路经由标准卷积层进入合并模块，等待合并融合处理；

输入特征2和经过缩小变换的第二层语义特征共同进入加法融合模块进行特征融合，特征融合结果构成语义特征金字塔第三层语义特征，而后第三层语义特征一路进入空洞卷积层进行尺寸缩小，另一路经由标准卷积层进入合并模块，等待合并融合处理；

输入特征1和经过缩小变换的第三层语义特征共同进入加法融合模块进行特征融合，特征融合结果构成语义特征金字塔第四层语义特征，而后第四层语义特征经由标准卷积层进入合并模块，等待合并融合处理；

合并模块将等待合并融合处理的四个语义特征信息进行合并，输出一个合并融合结果作为语义特征金字塔的输出特征，组成双金字塔多元特征提取网络的两个输出特征之一；

双金字塔多元特征提取网络的4个输入特征是对同一个输入图像进行特征粗提取的四个结果；

双金字塔多元特征提取网络的4个输入特征中输入特征1是尺寸大小为[256*25*38]的三维矩阵；输入特征2是尺寸大小为[256*50*76]的三维矩阵；输入特征3是尺寸大小为[256*100*152]的三维矩阵；输入特征4是尺寸大小为[256*200*304]的三维矩阵；

实例特征金字塔中的上采样模块将输入该模块的特征尺寸扩大两倍；

实例特征金字塔输出特征是尺寸大小为[256*25*38]的三维矩阵；

语义特征金字塔中的空洞卷积层将输入该卷积层的特征尺寸缩小两倍；

语义特征金字塔输出特征是尺寸大小为[256*200*304]的三维矩阵。