[发明专利]一种基于像素对比学习的直肠癌病理图像分割方法

说明书

本发明公开了一种基于像素对比学习的直肠癌病理图像分割方法，属于图像分割方法技术领域，像素对比学习：从一幅图像中随机裁剪两个子图，并且让子图对应的像素特征保持一致；将一副图片经过不同的两种增强，然后将其输入到模型中的编码器网络和动量编码器网络中，两者都由ResNet连接一个投影头(两个1x1卷积，中间夹杂一个批量归一化和Relu激活层)构成。本发明中，本发明中，通过对比学习来训练编码器代替原来预训练的ResNet，无需额外注释即可在特征提取性能方面带来改进的病理图像分割模型，通过引入像素级Loss的对比学习来解决传统对比学习基于实例级loss而于下游分割任务不一致的问题。

技术领域

本发明属于图像分割方法技术领域，尤其涉及一种基于像素对比学习的直肠癌病理图像分割方法。

背景技术

目前对于直肠癌的诊断需要通过病理图像来分析，病理学专家通过对图像中病变组织区域面积进行量化分析，从而评估癌细胞负荷，指定诊疗计划。然而人工观察费时费力，并且需要长久的经验积累。因此实现对病变组织区域的自动化分割，能大大提升诊疗效率。

随着深度学习在医疗领域的成功应用，病理图像领域也在不断发展。但是由于数据不充分其分割模型往往采用自然图像预训练的ResNet来进行特征提取，这样学习的特征映射往往不是最好的。因此如何提升模型的特征提取能力成为了一个亟待解决的问题。

对比学习，一种自监督学习方式，不需要额外的标注即可使用。其主要思想是通过拉近相似样本(正例)在映射空间中的距离，拉远不同样本(负例)之间的映射距离。在该领域中，一般采用设置前置任务(PretextTasks) 来构造正负例，例如在图像领域中，原始图像为原样本，其增强(转换)版本充当正例，批次或训练数据中的其余图像充当负例，目前在自然图像分割领域已有许多实验证明这样的方法能够提升特征提取器的性能，以此来更好辅助下游任务。

现有病理图像分割模型存在缺点如下：

(1)由于标注数据缺乏，分割网络的编码器往往采用ImageNet预训练模型，但是该模型是在自然图像上进行训练对于病理图像只能做到次好的特征映射。

(2)目前大多对比学习主要是通过实例级的差异来进行学习的，而图像分割主要是基于像素级特征，这就造成了上下游任务错位。

(3)尽管受益于各种强大的图像增强方式，让对比学习正例构造能力得到了极大的提升，但是这些设计主要是针对自然图像，并未对病理图像的增强有过多的研究。

发明内容

本发明的目的在于：为了解决上述背景技术提出的问题，而提出的一种基于像素对比学习的直肠癌病理图像分割方法。

为了实现上述目的，本发明采用了如下技术方案：

一种基于像素对比学习的直肠癌病理图像分割方法，具体包括以下步骤：

S1、像素对比学习：从一幅图像中随机裁剪两个子图，并且让子图对应的像素特征保持一致；

S2、将一副图片经过不同的两种增强，然后将其输入到模型中的编码器网络和动量编码器网络中，两者都由ResNet连接一个投影头(两个1x1卷积，中间夹杂一个批量归一化和Relu激活层)构成；

S3、从两种不同增强图像的特征图随机裁切出两个子特征图，然后来计算这两个子图之间的一致性损失，从而拉近其映射表征的距离；

S4、基于S3，除此之外还映入了空间距离判别，具体来说就是计算两个特征子图间像素集的空间距离，如果两者的距离超过设定的阈值则不计算其损失，如果不超过阈值则计算，通过这样的方式就可以防止图像中所有的像素都最后会归于一个值的情况；

S5、引入新的图像增强方式：引入了RandAugment，将原始的增强方式一并加入到RandAugment中，其性质限定增强的强度和使用增强方法的个数，避免过多增强方式的弊端；