[发明专利]一种基于CNN-Transformer并行融合方法

权利要求书

1.一种基于CNN-Transformer并行融合方法，其特征在于，包括以下步骤：

步骤一、通过PCTNet网络的编码器提取待分割的医学图像特征；

步骤二、对编码器生成图像特征输入解码器中进行还原并输出分割特征图。

2.根据权利要求1所述的基于CNN-Transformer并行融合方法，其特征在于：PCTNet网络的编码器由CNN-encoder和PaFusion-encoder组成，将待分割医学图像输入CNN-encoder和PaFusion-encoder；PaFusion-encoder由两个分支组成；CNN分支感受野逐渐增大，特征编码从局部到全局；Transformer分支，则通过全局自注意力和CNN分支中同等分辨率大小的特征图组成的并行融合模块，最大限度地保留了局部特征和全局特征。

3.根据权利要求2所述的基于CNN-Transformer并行融合方法，其特征在于，CNN-encoder包含一个Stem块和两个Local layer层；给定高度为H、宽度为W的输入图像，由CNN-encoder F^CNN(·)生成的特征图表示为：

其中，L表示特征层数，Θ表示CNN-encoder的参数，C表示通道的数量，F_l^CNN为CNN-encoder生成第l层特征图函数。

4.根据权利要求3所述的基于CNN-Transformer并行融合方法，其特征在于：Stem块由两个3×3卷积组成，每个卷积块后面是BN模块和GELU激活函数，用于提取初始局部特征。

5.根据权利要求3所述的基于CNN-Transformer并行融合方法，其特征在于：Locallayer层由三层卷积块和一层SE模块组成，两个Local layer层中SEConv block的个数分别是2和6。

6.根据权利要求2所述的基于CNN-Transformer并行融合方法，其特征在于：PaFusion-encoder由Parallel fusion Layer和Patch Embedding组成，Patch Embedding通过卷积将输入图像均匀划分为块；Parallel fusion Layer包括CNN分支和Transform分支，给定高度为H、宽度为W的输入图像，由PaFusion-encoder的F^PaFusiom(·)生成的特征图表示为：

其中，L表示特征层数，Θ表示CNN-encoder的参数，C表示通道数量，F_l^PaFusion为PaFusion-encoder生成第l层特征图函数；

Parallel fusion Layer存在两个输入F_t、F_c，F_t是Transformer分支上的输入，F_c是与F_t相同分辨率的CNN分支上的输入。

7.根据权利要求2所述的基于CNN-Transformer并行融合方法，其特征在于，并行融合模块对图像提取图像特征的过程包括：

(1)、F_c′是与F_t分辨率和通道数一致CNN分支上提取特征后形成的特征图，F_c′的公式为：

F_c'＝gelu(Normal(Conv(F_c)))，

(2)、F_t和F_c′相加得到特征图F与F_t一同作为输入进行卷积映射，F_t通过3×3的卷积映射生成V_t，F通过3×3的卷积映射生成Q_f、K_f；

F＝F′_c+F_t，

Q_f/K_f＝Flatten(Conv2d(F),s)，

V_t＝Flatten(Conv2d(F_t),s)，

(3)、将得到的Q_f、K_f、V_t进行多头自注意力，表示为：

MHSA(Q_f,K_f,V_t)，

MHSA中每个头部的自我注意力计算如下：

其中，Q、K、V∈R^L×d为query、key和value矩阵，经过卷积投影得到，d为query/key维，B∈R^L×L为相对位置偏差；

(4)、将经过多头自注意力的特征图进行一次CMLP，CMLP由两层1×1卷积层组成，经过CMLP后得到的输出F_t′作为下一个融合模块中Transformer分支的输入，并与CNN分支上同等分辨率大小的特征图进行融合；

(5)、当Transformer分支融合到CNN分支时，采用Spatial Attention得到特征的空间注意力权重图，计算如下：

其中，σ表示sigmoid函数，和分别表示average-pooling特征和max-pooling特征；

(6)、将注意力图乘以CNN分支上的特征图，与Transformer分支上特征图F_t′进行拼接，并使用1×1卷积进一步融合特征，最后的输出作为下一个融合模块中CNN分支的输入；

(7)、Parallel fusion Layer的最后一层并行融合模块，CNN分支上的输出会与Transformer分支上的输出进行Element-wise addition后再经过Upsample作为编码层的输入。