[发明专利]一种基于细胞及多尺度组织信息交互的病理图像分类方法

说明书

本发明公开了一种基于细胞及多尺度组织信息交互的病理图像分类方法，包括以下步骤：S1、将病理图像分割出细胞核和不同尺度的组织块；S2、对细胞核和组织块进行特征提取；S3、利用K近邻算法生成细胞核和组织块边的连接关系，将一张病理图像建模成为一张细胞图和三个不同尺度的组织图；S4、构建多尺度细胞图和特征图信息交互模型，细胞图进行卷积，组织图进行注意力交互；S5、将交互学习后的组织特征结合细胞特征，进行病理图像分类；该方法可解决不同数据集需要不同尺度大小的组织图问题以及同一组织图信息丢失以及交互不完全问题，有效提高了对病理图像分类的性能，分类准确性高。

技术领域

本发明涉及生物学技术领域，具体涉及一种基于细胞及多尺度组织信息交互的病理图像分类方法。

背景技术

医学病理图像对于癌症的诊断和分析至关重要，根据病理图像可以确定是否有癌细胞或者是癌症的类型级别。医学病理图像与传统的自然图像不同，相对于传统自然图像，病理图片的分辨率巨大，可以达到百万级别的像素值，依靠人工对病理图像进行自动分类是非常耗费人力和财力，而利用深度学习可以帮助医生进行病理图像的自动分类。由于病理图像的分辨率巨大，传统的卷积网络无法直接处理一张完整的病理图像，可以简单的将一个完整的病理图像切割成为相同大小的病理图像切片(patch)，利用GoogLeNet进行网络端到端的训练。这种方法利用切割patch使得许多连续的语义信息被强行分割，网络学习的过程将丢失不同patch之间连续的语义信息，同时，patch大小的选定也是一个难题，小的pacth无法包含足够的信息，大的patch包含很多冗余的信息，除此之外，不同的数据集情况也不一样。因此，现有的病理图像分类方法对于不同数据集，超像素块的大小对最终的决策影响很大，只是单一的尺度的像素块无法满足通用的病理图像分类要求，其次组织图像的直接特征和细胞特征结合存在信息的丢失，分类准确性较差，较难满足人们的使用需求。

发明内容

本发明的目的在于提供一种基于细胞及多尺度组织信息交互的病理图像分类方法，该基于细胞及多尺度组织信息交互的病理图像分类方法可解决不同数据集需要不同尺度大小的组织图问题以及同一组织图信息丢失以及交互不完全问题，有效提高了对病理图像分类的性能，分类准确性高。

为实现上述目的，本发明采用以下技术方案：

一种基于细胞及多尺度组织信息交互的病理图像分类方法，包括以下步骤：

S1、将病理图像分割出细胞核和不同尺度的组织块；

S2、对细胞核和组织块进行特征提取；

S3、利用K近邻算法生成细胞核和组织块边的连接关系，将一张病理图像建模成为一张细胞图和三个不同尺度的组织图；

S4、构建多尺度细胞图和特征图信息交互模型，细胞图进行卷积，组织图进行注意力交互；

S5、将交互学习后的组织特征结合细胞特征，进行病理图像分类。

优选地，步骤S1的具体过程为：

S11、将一张病理图像利用HoverNet网络分割出细胞，得到细胞核；

S12、利用SLIC超像素分割算法将同一张病理图像分割出三个不同尺度的组织块，不同尺度大小的组织图包含不同尺度的信息。

优选地，步骤S2的具体过程为：

S21、将分割出来的细胞核和组织块的图片大小统一变成224*224；

S22、将统一大小后的细胞核和组织块输入到自然图像预训练好的resnet34模型中进行特征提取，分别输出细胞核和组织块的特征，输出的特征维度为512维度，其中，512维度的特征代表细胞核或者组织核的每一个节点特征。

优选地，步骤S3的具体过程为：