[发明专利]一种基于细胞及多尺度组织信息交互的病理图像分类方法

权利要求书

1.一种基于细胞及多尺度组织信息交互的病理图像分类方法，其特征在于，包括以下步骤：

S1、将病理图像分割出细胞核和不同尺度的组织块；

S2、对细胞核和组织块进行特征提取；

S3、利用K近邻算法生成细胞核和组织块边的连接关系，将一张病理图像建模成为一张细胞图和三个不同尺度的组织图；

S4、构建多尺度细胞图和特征图信息交互模型，细胞图进行卷积，组织图进行注意力交互；

S5、将交互学习后的组织特征结合细胞特征，进行病理图像分类。

2.如权利要求1所述的一种基于细胞及多尺度组织信息交互的病理图像分类方法，其特征在于，步骤S1的具体过程为：

S11、将一张病理图像利用HoverNet网络分割出细胞，得到细胞核；

S12、利用SLIC超像素分割算法将同一张病理图像分割出三个不同尺度的组织块，不同尺度大小的组织图包含不同尺度的信息。

3.如权利要求2所述的一种基于细胞及多尺度组织信息交互的病理图像分类方法，其特征在于：步骤S2的具体过程为：

S21、将分割出来的细胞核和组织块的图片大小统一变成224*224；

S22、将统一大小后的细胞核和组织块输入到自然图像预训练好的resnet34模型中进行特征提取，分别输出细胞核和组织块的特征，输出的特征维度为512维度，其中，512维度的特征代表细胞核或者组织核的每一个节点特征。

4.如权利要求3所述的一种基于细胞及多尺度组织信息交互的病理图像分类方法，其特征在于，步骤S3的具体过程为：

S31、设置K近邻算法的参数K为5，将细胞核或者是组织块看成是一个节点，对于细胞核节点和组织块节点，将其节点与剩下所有节点计算欧式距离，找出欧式距离最近的5个节点；

S32、将每个节点与其最近的5个节点进行相连。

5.如权利要求4所述的一种基于细胞及多尺度组织信息交互的病理图像分类方法，其特征在于，步骤S4的具体过程为：

S41、分别构建细胞支路和组织支路的网络；

S42、细胞支路负责细胞图的卷积，卷积方式采用SAGE卷积，其卷积公式为：

其中，W₁和W₂为需要学习的矩阵参数，X’_i指融合其他节点特征之后的特征，x_i指自身节点特征，x_j指邻居节点特征，mean_j∈N(i)指平均值权重；

S43、组织支路将组织块特征输入到Transformer编码器，利用Transformer编码器的自注意力机制完成组织块特征的信息交互，输出交互学习后的相同大小的组织特征。

6.如权利要求5所述的一种基于细胞及多尺度组织信息交互的病理图像分类方法，其特征在于，步骤S5的具体过程为：将交互后的各个尺度组织块特征加到对应的细胞节点特征，使细胞节点的特征与不同尺度和感受野的组织图特征进行信息融合，且在信息聚合的过程将不同尺度的组织图赋予不同的权重返还给细胞特征图，最终通过决策融合的信息进行病理图像分类。