[发明专利]胃镜图像智能目标检测方法、系统、电子设备及存储介质

权利要求书

1.一种胃镜图像智能目标检测方法，其特征在于，包括：

获取同一患者的相同部位的待检测的胃镜白光图像、蓝激光成像图像和联动成像模式图像，其中，保持三种图像拍摄的角度相同；

利用精确的网格划分方法来分割出上述三种图像的目标区域；

将白光图像相应的目标区域图像输入至第一识别模型，得到第一目标位置、第一病灶类型、第一病灶概率；

将蓝激光成像图像相应的目标区域图像输入至第二识别模型，得到第二目标位置、第二病灶类型、第二病灶概率；

将联动成像模式图像相应的目标区域图像输入至第三识别模型，得到第三目标位置、第三病灶类型、第三病灶概率；

将得到目标位置的三种图像经处理调整到视角、位置相对一致，对比三张图像中的目标位置，取第一至第三目标位置的交集为最终的目标位置，若第一、二、三病灶类型相同，则确定最终的目标病灶类型为第一或第二或第三类型，且其概率为第一、二、三病灶概率的加权和；

若第一病灶类型与第二、第三病灶类型不相同，且第二、第三病灶类型相同，则确定最终的目标病灶类型为第三病灶类型，且其概率为第二、三病灶概率的加权和；

若第一病灶类型与第二病灶类型相同、与第三病灶类型不相同，则计算第一概率与第二概率的加权和M，将M与第三病灶概率相比，取概率值较大的概率对应的病灶类型为最终的目标病灶类型；

若第一病灶类型与第二病灶类型不相同，且第一、第三病灶类型相同，则确定最终的目标病灶类型为第三病灶类型，且其概率为第一、三病灶概率的加权和；

若第一第二、第三病灶类型均不相同，则确定最终的目标病灶类型为第三病灶类型，且其概率为第三病灶概率。

2.根据权利要求1所述的一种胃镜图像智能目标检测方法，其特征在于，所述利用精确的网格划分方法来分割出上述三种图像的目标区域，包括：分别收集若干张患者的胃镜白光图像、蓝激光成像图像和联动成像模式图像，首先通过目标分割，得到目标图像区域，其中目标分割采用精确的标注方法，将图像分成n×n个网格，搜索能够包含目标图像的最优的目标有效区域；对于n×n个网格可以搜索出若干个包含目标的目标有效区域，对于得到的若干个目标有效区域，对其中的每个网格提取其局部特征，并根据特征计算其属于目标区域的得分，得分最高的区域为分割出的最优有效区域。

3.根据权利要求1所述的一种胃镜图像智能目标检测方法，其特征在于，所述第一识别模型为利用Resnet18作为基础网络，在Resnet18第五，第六卷积层中加入注意力模块，将第六卷积层输出的特征F6经过上采样后与第五卷积层输出的特征F5融合得到特征F5’,将特征F5’再次经过上采样与第四卷积层输出的特征F4融合得到特征F4’,对经过Resnet18的最后一层卷积层的特征记为F，分别将特征F、F6、F5’、F4’输入至分类回归子网络，完成目标的分类和检测。

4.根据权利要求1所述的一种胃镜图像智能目标检测方法，其特征在于，所述第二识别模型为利用沙漏网络作为主干网络，主干网络包含3个堆叠的沙漏网络，每个沙漏网络由3个4×4卷积层和1个跳跃连接残差块构成；在输入到沙漏网络前使用6×6的卷积网络和2个残差块对输入的图像进行预处理；从沙漏网络输出的特征经过特殊的池化层，特殊的池化层对主干网络输出的特征图进行水平方向从右向左的平均池化，得到特征图A，然后再从底至上做平均池化，得到另一个特征图B，将上述两个特征图的每个像素值求和，得到特征图C，特征图C经过激活层，全连接层后输出目标预测。

5.根据权利要求1所述的一种胃镜图像智能目标检测方法，其特征在于，所述第三识别模型为采用VGG16作为基础网络，将其中的第6，7个全连接层替换为普通的卷积层，之后加入5个卷积层，分别表示为conv_a1～conv_a5,最后经过平均池化输出记为conv_b1，提取卷积层conv_a1，conv_a3，conv_a5以及conv_b1层的各个特征图来分别构造检测框，并利用NMS筛选得到最终的目标预测结果。