[发明专利]肠镜图像病变识别方法、装置、电子设备及存储介质

权利要求书

1.一种肠镜图像病变识别方法，其特征在于，包括：

采用DINO算法对初始ViT网络进行预训练，得到训练后的ViT网络；

通过肠镜检测器获取原始图像，基于所述训练后的ViT网络对所述原始图像进行特征提取，得到注意力图；

将所述注意力图和所述原始图像进行特征融合，得到待识别图像；

基于RetinaNet网络对所述待识别图像进行息肉和憩室识别，根据识别结果在所述原始图像上进行分类标注和目标框标注，以使显示器显示带有分类标注和目标框标注的原始图像；

其中，所述初始ViT网络包括同构的student网络和teacher网络；所述采用DINO算法对初始ViT网络进行预训练，得到训练后的ViT网络，包括：

步骤1：对训练集中的训练图片进行数据增强处理，得到第一图片和第二图片；所述第一图片和所述第二图片为进行不同数据增强处理后得到的图片；

步骤2：将所述第一图片分别输入所述student网络和所述teacher网络，得到第一输出；将所述第二图片分别输入所述student网络和所述teacher网络，得到第二输出；

步骤3：根据所述第一输出和所述第二输出计算损失值；

步骤4：根据所述损失值更新所述student网络的网络参数；

步骤5：基于更新后的student网络的网络参数和所述teacher网络的网络参数，采用指数滑动平均法更新所述teacher网络的网络参数；

步骤6：判断网络参数更新后的初始ViT网络是否收敛，若是，则训练结束，将网络参数更新后的teacher网络作为训练后的ViT网络；若否，则将网络参数更新后的初始ViT网络作为新的初始ViT网络，并重复步骤1至步骤6，直至网络参数更新后的新的初始ViT网络收敛。

2.根据权利要求1所述的肠镜图像病变识别方法，其特征在于，所述基于所述训练后的ViT网络对所述原始图像进行特征提取，得到注意力图，包括：

对所述原始图像进行图像分块处理，得到维度为1的token embedding序列；

基于所述训练后的ViT网络对所述token embedding序列进行多头注意力计算，得到多个子注意力图；

根据预设指示信息确定所述多个子注意力图中的预设数量的候选子注意力图；

对所述预设数量的候选子注意力图进行拼接处理，得到注意力图。

3.根据权利要求1所述的肠镜图像病变识别方法，其特征在于，所述将所述注意力图和所述原始图像进行特征融合，得到待识别图像，包括：

将所述注意力图对应的矩阵和所述原始图像对应的矩阵进行对位相加，得到待识别图像。

4.根据权利要求1所述的肠镜图像病变识别方法，其特征在于，所述RetinaNet网络包括骨干网络、特征金字塔网络和预测头；

所述基于RetinaNet网络对所述待识别图像进行息肉和憩室识别，包括：

基于所述骨干网络对所述待识别图像进行多尺度特征提取，得到多尺度特征；

基于所述特征金字塔网络对所述多尺度特征进行特征融合，得到融合后的特征；

基于所述预测头，根据所述融合后的特征对所述待识别图像进行息肉和憩室识别，得到所述待识别图像对应的分类标签和目标框的位置与大小。

5.根据权利要求4所述的肠镜图像病变识别方法，其特征在于，所述根据识别结果在所述原始图像上进行分类标注和目标框标注，包括：

根据所述分类标签在所述原始图像上进行分类标注；

根据所述目标框的位置和大小在所述原始图像上进行目标框标注。