[发明专利]一种基于深度学习通过CT检测分割分类肝脏肿瘤的方法

权利要求书

1.一种通过CT的检测分割分类肝脏肿瘤的深度学习方法，包括以下步骤：

(1)对待预测的CT图像进行预处理，使其符合训练好的网络的输入要求；

(2)使用训练好的模型对(1)中的待预测CT进行分割，得到最终的分割结果,预测过程具体包括：

(21)将CT图像送入特征提取器提取特征；具体包括：

每一例CT由M张图像组成，其中每一张为大小为(W，H)的矩阵，即每一例CT图像的规格为(M，W，H)；由于经过预训练的卷积神经网络CNN用作特征提取器时的输入图像为3通道，即输入的矩阵规格为(3，W，H)，因此，在预测CT中的第i张图像时，会利用CT的第i-1和第i+1张图像与第i张图像拼接在一起，组成(3，W，H)的矩阵；为了使得模型能够捕捉到更加丰富的上下文信息，在预测第i张图像时，会使用连续的N张图像作为输入辅助预测，N可以取1，3，5，7，9；因此送入特征提取器的输入规格为(N，3，W，H)，将此输入记作context input，即上下文输入,而将需要预测的第i张图像记作key input；

context input经过特征提取器后得到一个规格(N，1024，W/32，H/32)的特征图，记为context features；key input经过特征提取器后得到一个规格为(1024，W/32，H/32)的特征图，记为key features，一个(256，W/4，H/4)的特征图，记为low-level features；

(22)将经特征提取器提取到的特征送入背景注意力模块，融合上下文信息与位置信息；背景注意力模块记为Context attention，通过目标层的上下层所组成上下文，像素点的位置来过滤和修正提取到的特征信息，得到融合了上下文信息与位置信息的特征图；所述背景注意力模块由三部分组成：位置编码器即positional embedding，负责给每个像素点产生一个位置编码；层间注意力即slice attention，负责将相邻层的信息整合起来；空间注意力即spatial attention，结合位置编码，筛选和整合各个像素点的信息；其具体计算过程为：

首先计算层间的注意力：

x1＇＝SA(f_key,f_ctx,f_ctx)+f_xey (3)

x1＝BN(x1＇) (4)

计算空间注意力：

x2＇＝SPA((x1+pos),(f_ctx+pos),f_ctx)+x1 (5)

x2＝BN(x2＇) (6)

该模块的输出结果为：

f_ca＝ReLU(x1+x2) (7)

所述的层间注意力表示为：

O_SA＝SA(Q,K,V) (8)

所述的空间注意力表示为：

O_SPA＝SPA(Q,K,V) (9)

接下来，位置信息编码：

pos＝Position(f_key) (10)

其中，(x,y)是需要预测的关键帧的特征key feature中的某一点的坐标，i的取值范围为[0,D/2)，D是key feature的通道数；

计算slice attention，具体计算如下：

q_sa＝GlobalAvg(conv2d(Q)) (15)

k_sa＝GlobalAvg(conv2d(K)) (16)

O_SA＝ReLU(BN(cond2d(c_sa))) (19)

首先，输入q，k，v都需要各自经过一个kernel为1，stride为1的2D卷积层conv2d，之后计算出相似度，通过softmax计算出各层的权重α，之后使用加权和将各层特征相加；

空间注意力的具体方式如下：

q_spa＝conv2d(Q) (20)

k_spa＝conv2d(K) (21)

O_SPA＝ReLU(BN(cond2d(c_spa))) (25)

和slice attention一样，也是Q，K，V先各自经过一个2D的卷积网络conv2d，其中(l,h)为key feature的大小，(i,j)为context feature的大小，n是context feature的层数，实际上在该模型中，l＝h＝i＝j,n＝N，但是为了区分，给了不同的代号；之后再W和H的平面上计算权重，并与V做加权和；

(23)将融合了上下文信息与位置信息的特征图送入head模块，进一步整合多尺度的信息；

(24)融合了多尺度信息的特征与特征提取器提取到的low-level features结合，通过解码器模块，记为decoder，还原为原图大小(C，512，512)，这即为最后的肿瘤分割结果，其中C为肿瘤类别数目，即肝结节类别数量。