[发明专利]一种基于无锚框的大肠内窥镜息肉检测与病理分类方法

权利要求书

1.一种基于无锚框的大肠内窥镜息肉检测与病理分类方法，其特征在于，包括如下步骤：

将彩色内镜图像进行预处理；

对预处理后的彩色内镜图像进行特征提取；

引入特征金字塔模型对提取的特征进行增强并向上扩展得到更深层的扩展特征；

将增强特征和扩展特征的特征信息通过无锚框检测算法解码为息肉预测框以及前景预测掩码；

从扩展特征处提取全局特征向量，从前景预测掩码处提取局部特征向量，将全局特征向量与局部特征向量结合，通过全连接层预测息肉种类；

其中，对预处理后的彩色内镜图像进行特征提取的步骤如下：

使用基于ImageNet 预训练的ResNeXt101作为骨干网络；

ResNeXt101以最大池化为界限分成 5个不同阶段：R1, R2, R3, R4, R5;

随着骨干网络加深每次池化后特征图大小缩小一半，信道数目增加一倍；

提取R2至R5四个阶段的网络输出C2至C5作为提取的特征图；

引入特征金字塔模型对提取的特征进行增强并向上扩展得到更深层的扩展特征的步骤如下：

使用特征金字塔结构的从上至下方法来增强浅层特征层的语义信息，得到具有深层信息的浅层特征图P2, P3, P4, P5；同时将特征金字塔结构向上扩展一层以得到更深层的语义信息特征图P6；

对增强特征和扩展特征的特征信息通过无锚框检测算法解码为息肉预测框以及前景预测掩码的步骤如下:

S100：训练阶段对于不同特征层的特征点按照目标息肉的大小给予不同的标签并分配到不同尺度的特征层作为实际标签，实际标签的物体框信息将用于回归函数计算候选框位置；

S101：增强特征和扩展特征通过无锚框检测算法得到用于位置预测的HxWx4的张量、HxWx1维的前景预测掩码以及用于衡量当前像素偏移真实目标的中心点程度的HxWx1张量的Center-ness；

S102：对HxWx4的输出张量进行位置信息解码，

对于特征图上的特征点x，y 其输出预测为；其中，分别为特征点x，y到预测框左右上下边框的距离；

经解码得到预测物体位置为，为物体预测框左上角坐标，w,h 为物体预测框的宽高；

S103：对Center-ness输出的HxWx1张量上的每个特征点所对应的位置信息回归值计算距离热力值，来辅助特征点对于当前位置的息肉目标判定，具体公式为：

其中：min(x, y) 取x,y中最小值， 同理max (x, y) 取x,y中最大值;

生成的距离热力图在训练阶段与Center-ness输出的HxWx1张量，利用二分类交叉熵函数为损失函数计算损失值;

当特征点越接近预测框中心，损失函数值越小，反之越大；

从扩展特征处提取全局特征向量的步骤如下:

对特征金字塔的扩展特征向量采用平均池化操作，得到256x1维的全局特征向量，扩展特征度具有stride=128的步幅；

从前景预测掩码处提取局部特征向量的步骤如下：

S200：引入前景注意力机制,将前景预测掩码与对应的特征金字塔特征图经过卷积后的输出进行叠加，之后特征图对应于前景掩码中的前景部分保留，而背景部分将被忽略，从而得到局部特征图；

其中，；

M为特征金字塔输出的特征图，a为前景掩码，*为矩阵元素积，为局部特征图；

S201：对所有的局部特征图应用全局平均池化操作，得到256x1维的局部特征向量；

将局部特征向量与全局特征向量结合，通过全连接层预测息肉种类的步骤如下：

对于5个256x1维的局部特征向量，我们对其进行合并生成1280x1维的局部特征向量，再经过1x1x256的卷积层降维得到256维的局部特征向量,再将局部特征向量与全局特征向量合并为512x1维的特征向量，最后经过全连接层预测息肉分类。

2.如权利要求1所述的基于无锚框的大肠内窥镜息肉检测与病理分类方法，其特征在于，将彩色内镜图像进行预处理的步骤如下：

将彩色内镜图像缩放至512x512的图片分辨率，之后对彩色内镜图像进行像素均值归一化，使得数据的每一个维度具有零均值和单位方差。

3.如权利要求1所述的基于无锚框的大肠内窥镜息肉检测与病理分类方法,其特征在于：将S102中的预测物体位置应用非极大值抑制操作，去除过多的重叠预测框。