[发明专利]面向Transformer的多尺度特征增强模块

说明书

本发明公开了一种面向Transformer的多尺度特征增强模块，包括以下步骤：基于原始的特征块序列构造一条Transformer路径；对原始的特征块序列进行不同级别的块合并，构造多条带残差的Transformer路径；对所述S1和S2产生的结果进行级联，降维，产生增强的特征块序列；所述模块通过不同级别的块合并，形成不同尺度的块序列，由多条Transformer路径增强特征感知尺度的能力。

技术领域

本发明涉及计算机视觉领域，特别是涉及一种面向Transformer的多尺度特征增强模块。

背景技术

在图像处理中，因物体的大小不一，所以多尺度问题是很多计算机视觉任务都必须要解决的问题，如目标检测、图像分割、人群计数等。DeepLab中提出的多尺度空洞空间金字塔池化Atrous Spatial Pyramid Pooling(ASPP)模块使用具有不同采样率的多个并行空洞卷积层获取多尺度物体信息。受此启发，本发明意在提出一种即插即用的面向Transformer的多尺度特征增强模块。

发明内容

本发明所需要解决的技术问题是提供一种面向Transformer的多尺度特征增强模块，通过不同级别的块合并，形成不同尺度的块序列，由多条Transformer路径增强特征感知尺度的能力。

本发明具体采用的技术方案如下：

本发明面向Transformer的多尺度特征增强模块包括以下步骤：

S1、基于原始的特征块序列构造一条Transformer路径；

S2、对原始的特征块序列进行不同级别的块合并，构造多条带残差的Transformer路径；

S3、对所述S1和S2产生的结果进行级联，降维，产生增强的特征块序列。

进一步地，在所述步骤S1中，假设原始的特征块序列表示为f＝[t1,t2,…,tn]，构造的Transformer路径表示为：

F＝Trans(f)

其中，Trans(·)表示一个Transformer块，有两个多头自注意力层构成；

进一步地，在所述步骤S2中，对原始的特征块序列进行不同级别的块合并，构造多条带残差的Transformer路径；具体表示为：

F_i＝MLP(Reshape(FC(Trans(Merge_i(f))))+f)

其中，Merge_i(·)表示第i种块合并方法，i从1到m，m表示带残差的Transformer路径总数；FC(·)表示全连接层，Reshape(·)表示变形操作，MLP(·)表示多层感知机，“+”表示通道级联操作；

进一步地，在所述步骤S3中，对所述S1和S2产生的结果进行级联，降维，产生增强的特征块序列F_final。

与已有技术相比，本发明有益效果体现在：

本发明提出一种面向Transformer的多尺度特征增强模块，通过不同级别的块合并，形成不同尺度的块序列，由多条Transformer路径增强特征感知尺度的能力。

附图说明

图1为本发明一种面向Transformer的多尺度特征增强模块的示意图。

以下通过具体实施方式，并结合附图对本发明做进一步说明，但本发明的实施方式不限于此。

具体实施方式