[发明专利]基于3D CAM的大脑核磁共振异常图像的可视化方法

权利要求书

1.一种基于3D CAM的大脑核磁共振异常图像的可视化方法，其特征在于：所述可视化方法具体如下：

1)采集患者的脑核磁共振异常图像作为训练样本；

2)利用训练样本对3D CAM模型进行训练，得到训练后的网络参数即系数矩阵W和偏倚向量b值

21)构建3D CAM模型，并随机初始化网络参数

构建3D CAM模型，该3D CAM模型包括输入层、卷积层、池化层、全局平均池化层、全连接层及输出层，并对3D CAM模型初始化，即初始化所有隐藏层与输出层所对应的系数矩阵W和偏倚向量b值，使系数矩阵W和偏倚向量b值为一个初始的随机值；

22)3D CAM网络第一次正向迭代；

23)3D CAM网络第一次反向迭代；

24)循环步骤22)和步骤23)进行多次迭代，不断更新神经网络的参数，直至所有权重W^l，偏置b^l的变化值都小于停止迭代阈值ε时停止迭代，即确定了最终各隐藏层与输出层的权重W^l和偏置b^l；

25)采用全连接层连接步骤227)每一张池化后特征图所对应的数据值形成一个特征向量，将特征向量分类输送至输出层并输出多个类别；

步骤3)根据不同的磁共振图像创建可视化热度图

31)提取训练后3D CAM模型中步骤25)全连接层的所有权重w；

32)将步骤227)全局平均池化后特征图中乘以其相应的权重w_j；

33)将得到多张热力图进行热力图归一化，展开成所需的患者的原大脑核磁共振异常图像的大小，将特征图相加，然后按某一维度进行图像二维显示，实现了基于3D CAM的大脑核磁共振异常图像的可视化。

2.根据权利要求1所述基于3D CAM的大脑核磁共振异常图像的可视化方法，其特征在于：所述步骤22)中，具体过程如下：

221大脑核磁共振异常图像作为输入层

n张患者的大脑核磁共振异常图像依次堆叠形成一个3D MRI图像，该3D MRI图像作为3D CAM模型的输入层，输入层采用的是分辨率大小为H×L×D的3D MRI图像，H代表的是3DMRI图像的高度，L代表的是3D MRI图像的宽度，D代表的是3D MRI图像的深度；将MRI图像的像素点进行顺序排列，用来作为输入层神经元的值，假设神经网络的输入层神经元输入为向量向量中的每个元素x_i的值即对应着输入层对应的每个神经元i，神经元的输出值a^i,1也是输入向量本身；

222)卷积层Conv 1a层采用N个分辨率大小F₀为H₀×L₀×D₀的三维卷积核对步骤1)的大脑核磁共振异常图像进行三维卷积，获取Conv 1a层三维卷积后特征图，其中H₀远小于H、L₀远小于L、D₀远小于D

卷积层Conv 1a层的三维卷积核的个数为N个、尺寸大小F₀为H₀×L₀×D₀，步长stride记为S_C1，特征图填充圈数为padding-F₁，3D MRI图像作为3D CAM网络的输入层，采用N个三维卷积核对步骤221)中3D MRI图像进行三维卷积，有多少个卷积核，可以得到多少个特征图像，因此得到了数量为N的Conv 1a层三维卷积后特征图，分辨率大小为Hc₁×Lc₁×Dc₁，即：

Hc₁＝(H-F₀+2×Padding-F₁)/S_C1+1

Lc₁＝(L-F₀+2×Padding-F₁)/S_C1+1

Dc₁＝(D-F₀+2×Padding-F₁)/S_C1+1

由于整个神经网络也是全连接网络，每个隐藏层的每个神经元都有连接到上一层神经元的权重和偏置b^l，其中代表从l-1层的第i个神经元到l层第j个神经元之间的连接权重，也可记为W^l，b^l代表从l-1层到l层的偏置；因此Conv 1a层在采用N个三维卷积核对步骤221)中3D MRI图像进行三维卷积时，可以得到该卷积层的神经元连接到输入层神经元的权重为W^l(W²)，一个偏置为b^l(b²)，Conv 1a层的输出为a^i,2＝σ(z^i,2)＝σ(W²a^i,1+b²)，其中σ为激励函数Relu，a^i,l代表第l层的第i个神经元输出值；

223)池化层的Pool 1层对Conv 1a层三维卷积后特征图进行池化

池化层的Pool 1层采用池化核尺寸大小为p₀，步长Stride记为S_P1，特征图填充圈数为padding-P₁，对Conv 1a层所得到的每一张三维卷积后特征图进行降维采样得到Pool 1层池化后特征图，即N张分辨率大小H_p1×L_p1×S_p1的图像：

H_p1＝(Hc₁-p₀+2×Padding-P₁)/S_P1+1

L_p1＝(Lc₁-p₀+2×Padding-P₁)/S_P1+1

D_p1＝(Dc₁-p₀+2×Padding-P₁)/S_P1+1

Pool 1层在池化Conv 1a层三维卷积后所得到的特征图过程中，没有涉及参数W及b，而是按照池化区域大小和最大池化标准将输入张量a缩小的过程，即所得到的输出张量为a^i,3＝pool(a^i,2)；

224)卷积层Conv 2a层对Pool 1层池化后特征图进行二次三维卷积

卷积层Conv 2a层的三维卷积核的个数为2N个、尺寸大小F₀为H₀×L₀×D₀，步长stride记为S_C2，特征图填充圈数为padding-F₂，对Pool 1层每一张池化后特征图进行二次三维卷积得到2N个Conv2a层三维卷积后特征图，分辨率大小为Hc₂×Lc₂×Sc₂，即：

Hc₂＝(Hc₁-F₀+2×Padding-F₂)/S_C2+1

Lc₂＝(Lc₁-F₀+2×Padding-F₂)/S_C2+1

Dc₂＝(Dc₁-F₀+2×Padding-F₂)/S_C2+1

Conv 2a层采用2N个三维卷积核对Pool 1后每一张池化后特征图卷积时，得到的该卷积层的神经元连接到Pool 1层神经元的权重W^l(W²)，以及一个偏置b^l(b²)，Conv 2a层的输出为a^i,4＝σ(z^i,4)＝σ(W⁴*a^i,3+b⁴)；

225)池化层的Pool 2层对Conv 2a层三维卷积后特征图进行池化

池化层的Pool 2层采用池化核尺寸大小为p₀，步长stride记为S_P2，特征图填充圈数为padding-P₂，对Conv 2a层所得到的每一张三维卷积后特征图进行降维采样得到Pool 2层池化后特征图，即2N张分辨率大小H_p2×L_p2×S_p2的图像：

H_p2＝(Hc₂-p₀+2×Padding-P₂)/S_P2+1

L_p2＝(Lc₂-p₀+2×Padding-P₂)/S_P2+1

D_p2＝(Dc₂-p₀+2×Padding-P₂)/S_P2+1

在Pool 2层池化Conv 2a层三维卷积后所得到的特征图过程中，没有W、b参数，而是按照池化区域大小和最大池化标准将输入张量a缩小的过程，即所得到的输出张量为a^i,5＝pool(a^i,4)；

226)至少重复一次步骤224)和重复一次步骤225)(即可以卷积一次后池化一次，也可以卷积多次后池化一次)且循环多次直至完成预设的卷积、池化层数后，停止卷积和池化；

227)对步骤226)中最后一层池化后特征图进行全局平均池化操作

对最后一层池化后特征图中的每一张池化后特征图计算所有像素点的均值，输出每一张池化后特征图的数据值。