[发明专利]基于时空图卷积的脑网络分类方法

权利要求书

1.一种基于时空图卷积的脑网络分类方法，其特征在于，该分类方法包括以下内容：

获取静息态功能磁共振影像数据后，利用基于体素的分析法通过人类连接计划多模态分割图谱(HCP-MMP)提取出多个感兴趣区域；

以感兴趣区域的时间序列特征构建图结构脑网络，并获得所有样本共享的邻接矩阵A；

构建分类预测模型：

所述分类预测模型的整个网络包含1个通道数为64、时间核和空间核大小均为11的时空图卷积S-TGConv模块、1个通道数为128，时间核大小为11，空间核大小为5的时空图卷积S-TGConv模块、1个通道数为128的时空图注意力S-TGAtten模块、一层归一化层BN层、一层Dropout层、两层全连接层、一个分类函数；其中两个S-TGConv模块使用了不同的通道数和核大小，按照通道数由小到大依串联后连接S-TGAtten模块，将第二个S-TGConv模块中的时空图卷积处理并拼接后的特征与S-TGAtten模块直接输出的特征进行求和，再经过LeakyReLU层后的输出依次连接归一化BN层、一层Dropout层、两层全连接层，再经分类函数获得分类预测模型的输出；所述S-TGAtten模块的通道数与第二个S-TGConv模块的通道数一致，用于提取不同时间点、不同ROI的权重信息；

所述S-TGConv模块包括一层空间图卷积层和与之并列的一层时间图卷积层，空间图卷积层和时间图卷积层的输出经拼接操作连接LeakyReLU激活函数，获得时空图卷积S-TGConv模块的输出；

所述的时空图注意力S-TGAtten模块的流程是：对于时空图卷积S-TGConv模块输出的特征，首先在每个节点上使用共享的线性变换权重矩阵W，然后使用一层参数为W_f的线性变化层，提取高频特征和低频特征，并将高频特征和低频特征这两个特征进行拼接操作，通过一层参数为W_t的线性变化层，最后通过LeakyReLU激活函数进行非线性变化，获得时空图注意力S-TGAtten模块的输出。

2.一种基于时空图卷积的脑网络分类方法，该方法的具体步骤是：

第一步，构建静息态功能磁共振影像数据集：

第1.1步，静息态功能磁共振影像数据预处理：

获取静息态功能磁共振影像分类数据集，使用fMRISurface软件对原始图像数据进行VBM预处理，分别进行去颅骨、分割、配准和空间平滑等操作，在移除小脑的影响后，使用相应的模板将大脑划分为多个感兴趣区域(ROI)，计算其血氧浓度依赖对比(BOLD)信号的标准化数值后作为ROI的时间序列特征，每个样本得到包含N个ROI的时间序列信号数据；以感兴趣区域作为节点，节点数量为N，其序列长度为M，第n个ROI的时间序列特征表示为一个M维的时间序列数据则一个样本的时间序列特征为X＝[x₁,…,x_n,…,x_N]^T∈R^N×M，其初始通道数为1，将数据集划分训练集和测试集；

第1.2步，设置固定的时间窗口大小，对M个时间点进行时间窗口随机采样后添加到训练集中，对训练集进行扩充，获得扩充后的训练集；以测试集和扩充后的训练集作为静息态功能磁共振影像数据集；

第二步，构建图结构脑网络：

第2.1步，计算所有样本共享的邻接矩阵A：

使用特征拼接函数concat(·)把所有样本的时间序列特征按照ROI的序号进行拼接，并计算皮尔森相关系数，每个元素都代表脑区之间的相关性；

使用特征拼接函数concat(·)把所有样本的时间序列特征按照ROI的序号进行拼接，之后使用K-最近邻算法计算KNN图，

将皮尔森相关系数和KNN图相乘获得所有样本共享的邻接矩阵A；

其中，U₀为样本个数，X_u＝[x₁,…,x_n,…,x_N]^T∈R^N×M为第u个样本的时间序列特征矩阵，KNN、concat、PCC分别表示计算KNN图、特征拼接操作、PCC操作；

第2.2步，构建图结构脑网络：将所有样本共享的邻接矩阵A作为边的权重，以样本的时间序列特征X为每个节点的特征，构建图结构脑网络；

第三步，利用分类预测模型进行分类：

第3.1步，将第二步中构建的图结构脑网络输入到一层通道数为64的S-TGConv模块从中提取特征，此处使用的时间核和空间核的大小均为11，步长为1；

第3.2步，将3.1中输出的特征F₁输出到一层通道数为128、时间卷积核为11，空间卷积核为5的S-TGConv模块，得到输出特征F₂；

第3.3步，将特征F₂输入到通道数为128的S-TGAtten模块中，随机给定共享的线性变换权重矩阵W，在F₂的每个ROI特征上使用共享的线性变换权重矩阵W，然后使用一层参数为W_f的线性变化层，提取高频特征和低频特征，并将高频特征和低频特征这两个特征进行拼接操作，通过一层参数为W_t的线性变化层，最后通过LeakyReLU激活函数进行非线性变化，得到特征F₃，该步骤的公式为：

F₃＝LeakyReLU(conncat((WF₂)W_f)W_t) (8)

第3.4步，特征F₃依次经过一层归一化BN层、一层Dropout层、两层全连接层φ_fc1、φ_fc2和一个分类函数classify后，得到最终输出的分类结果P_c，如公式(6)所示：

P_c＝classify(φ_fc2(φ_fc1(φ_dropout(φ_BN(F₃))))) (9)

第3.5步，使用三元组图卷积来增强训练效果：给定一个样本X_a作为原始样本，随机采样出一个正样本X_p和一个负样本X_n，X_p与X_a标签一致，而X_p与X_a的标签不一致；基于l₂正则函数，定义当前样本的三元组损失函数L_td为：

其中，O表示一个小批次训练中三元组的采样数量，f_t(·)为采样函数，Ф为间隔参数；

计算分类结果P_c的预测标签使用带有正则化项的损失函数和加强训练效果的三元组损失函数来计算第3.4步的分类结果；总的损失函数Loss为：

其中，为类别预测值，y为各类别对应的真实值，ε为标签平滑参数，C为类别数；

利用扩充后的训练集训练分类预测模型，保存最优的分类预测模型，用于进行脑网络分类，完成分类预测任务；

第四步，将采集到的功能磁共振影像数据集按第1.1步进行预处理后，将处理后的样本的时间序列特征X和第2.1步的所有样本共享的邻接矩阵A构成图结构脑网络，输入到第三步的最优的分类预测模型中，对生成的脑网络进行分类任务；

第五步，对任一样本，对于第3.3步的输出特征F₃，利用计算第i个ROI的权重，e_ij为特征F₃中第i行第j列的元素；计算N个ROI的权重，根据权重大小来表示ROI的重要性，后期再根据ROI的实际编号来确定所处的大脑部位。