[发明专利]一种消化性溃疡部位分类方法、装置及可读存储介质

权利要求书

1.一种消化性溃疡部位分类方法，其特征在于，包括：

获取训练集中的消化性溃疡图片；

将所述消化性溃疡图片输入至ResNet特征提取网络中，得到第一特征向量，对所述第一特征向量进行至少两次池化，并基于每次池化后的目标特征向量得到第一目标特征向量组；

将所述消化性溃疡图片输入至Vision Transformer模型中，得到第二特征向量，对所述第二特征向量进行至少两次池化，并基于每次池化后的目标特征向量得到第二目标特征向量组；

分别对所述第一目标特征向量组与所述第二目标特征向量组中的目标特征向量分配相应权重后组合得到消化性溃疡图片特征向量；其中，相同池化次序得到的目标特征向量的权重和为1；

将所述消化性溃疡图片特征向量输入至全连接层进行训练，得到完成训练的消化性溃疡部位分类模型。

2.根据权利要求1所述的消化性溃疡部位分类方法，其特征在于，所述将所述消化性溃疡图片输入至ResNet特征提取网络中，得到第一特征向量，对所述第一特征向量进行至少两次池化，并基于每次池化后的目标特征向量得到第一目标特征向量组包括：

将消化性溃疡图片输入至具有L层残差网络堆叠形成的ResNet特征提取网络中，得到第一特征向量；

，

，

其中，是CNN卷积模块，是Relu激活函数；

对所述第一特征向量进行至少两次池化，并基于每次池化后的目标特征向量得到第一目标特征向量组；

其中，池化后的目标特征向量为：

，

其中，为池化次数。

3.根据权利要求1所述的消化性溃疡部位分类方法，其特征在于，所述将所述消化性溃疡图片输入至Vision Transformer模型中，得到第二特征向量，对所述第二特征向量进行至少两次池化，并基于每次池化后的目标特征向量得到第二目标特征向量组前包括：

将所述消化性溃疡图片划分为多个像素块；

将所述多个像素块进行拼接得到像素序列；

将所述像素序列中每个像素块的像素值融合位置信息，得到目标像素序列；其中，所述位置信息为像素块在所述像素序列中的位置。

4.根据权利要求3所述的消化性溃疡部位分类方法，其特征在于，所述将所述消化性溃疡图片输入至Vision Transformer模型中，得到第二特征向量，对所述第二特征向量进行至少两次池化，并基于每次池化后的目标特征向量得到第二目标特征向量组包括：

将所述目标像素序列输入至L层的Vision Transformer模型中，得到第二特征向量；

，

，

其中，为Vision Transformer模型中第层输出的目标像素序列的特征向量，是多层加法感知神经网络，是加法多头自注意力机制，是层归一化；

对所述第二特征向量进行至少两次池化，并基于每次池化后的目标特征向量得到第二目标特征向量组；

其中，池化后的目标特征向量为：

，

其中，为池化次数。

5.根据权利要求1所述的消化性溃疡部位分类方法，其特征在于，所述消化性溃疡图片特征向量为：

，

，

，

其中，和为两组可训练的权重，为第一特征向量进行第次池化得到的目标特征向量，为第二特征向量进行第次池化得到的目标特征向量，为池化次数，为第一特征向量进行第次池化得到的目标特征向量对应的权重值，为第二特征向量进行第次池化得到的目标特征向量对应的权重值，。