[发明专利]基于向量量化变分自编码器的医学影像分类模型及方法

权利要求书

1.一种基于向量量化变分自编码器的医学影像分类模型，其特征在于，包括预训练阶段和微调阶段；

所述预训练阶段分为Encoder模块、特征增强模块、Decoder模块三个模块，Encoder模块用于提取图像特征，特征增强模块用于强化图像的特征，最后的Decoder模块用于进行图像的重构；

所述微调阶段包括Encoder模块和类编码向量增强模块；Encoder模块用于学习提取图像的特征；类编码向量增强模块用于对类编码向量进行约束增强，该模块后连接一个全连接层，直接将输出的类编码向量输入进去，直接输出分类的最终结果。

2.如权利要求1所述的基于向量量化变分自编码器的医学影像分类模型，其特征在于，所述预训练阶段的工作流程步骤如下：

(1)输入医学影像X进入模型，通过三层卷积层提取图像的特征，当作潜层特征切片；

(2)将提取出的潜层特征切片与初始化的类编码向量拼接，然后加一个初始化形成的位置编号向量，位置编号向量直接加到映射后的patches上；

(3)将拼接好的潜层特征切片向量输入到Transformer Encoder中进行注意力机制的计算；

(4)将多个注意力头的输出拼接到一起，再通过Rearrange函数重新定义形状，将输出的特征向量，称为F_e；

(5)丢掉类编码那一维的向量，只取拼接之前的图像特征，这一部分称为F_p；将F_p输入到特征增强模块中；特征增强模块是一个初始化的Embedding Space编码表，里面存储了初始化的特征向量；将F_p与Embedding Space里的向量做最邻近搜索，让二者之间相互学习，选择Embedding Space中与F_p最相近的特征进行替换，得到F_q；

(6)将F_q输入到Decoder模块中，进行图像的重构，得到图像R；将F_p与F_q、EmbeddingSpace与F_p、Embedding Space与F_q三者进行L2损失的计算，以此作为损失函数，来进行反向传播优化整个预训练模型。

3.如权利要求2所述的基于向量量化变分自编码器的医学影像分类模型，其特征在于，步骤(3)具体是：首先将Patch Embed向量通过一个线性层改变向量维度，然后将该向量分为三份分别对应Query、Key、Value，以下简称QKV；将QKV输入到Multi-Head Attention模块去计算注意力分数；具体公式如下：

4.如权利要求2所述的基于向量量化变分自编码器的医学影像分类模型，其特征在于，步骤(5)中，最邻近搜索的算法公式如下：

F_q＝e_k，where k＝argmin_j||F_p-e_j||₂。

5.如权利要求2所述的基于向量量化变分自编码器的医学影像分类模型，其特征在于，步骤(6)中，损失函数公式如下：

式中，sg是指stop gradient梯度停止操作，使用stop gradient操作使反向传播时将VQ的输出的梯度直接拷贝给输入。