[发明专利]一种基于视觉记忆力评估的阿尔兹海默病风险评估方法

权利要求书

1.一种基于视觉记忆力评估的阿尔兹海默病风险评估方法，其特征在于，该方法包括以下步骤：

步骤1：对所采集阿尔兹海默病患者组与正常人在完成视觉记忆力测试任务期间的眼动图像进行注视点坐标估计，在眼动图像中形成注视点轨迹；

步骤2、针对每张眼动图像生成注视热点图作为测试图片，同时剔除干扰数据，生成样本集：其中，分别表示第i位测试者第一次和第二次观看第v张图片的注视热点图，y表示N个样本的标签集合，y_i＝0表示样本i为Normal，y_i＝1表示样本i为阿尔兹海默病患者；V张测试图片视为V个外部模态v∈(1,2，...,V)，针对每个外部模态，同一个测试者第一次的观看测试图片和第二次的观看测试图片分别作为两个内部模态f,s；

步骤3：利用卷积神经网络提取注视热点图特征，构成测试样本特征向量表示如下：

其中，f_vgg(·)为基于VGG16的特征提取器，由两个全连接层及一个平均池化层构成，θ_vgg为网络层参数，m为内部模态指示器，m∈{f,s}，m＝f代表第一次观看，m＝s代表第二次观看；

步骤4：由编码器f_ae(·)，解码器f_dg(·)，鉴别器f_dm(·)和权重自适应融合层f_ce(·)进行单张测试图片的内部模态的特征共同表示提取，对于每张测试图片，将测试者前后两次观看的注视热点图提取的特征向量作为输入，输入各自对应的内部自动编解码器，取编解码器中间层的输出作为每张测试图片的内部特征共同表示，具体步骤如下：

步骤4.1：将两个内部模态f,s的特征向量输入对应的私有编码器f_ae(·)，得到内部模态特有表示

其中，表示编码器，表示私有编码网络参数，m表示内部模态指示器，分别表示两个内部模态f,s的特有表示；特有表示指单一模态(f或s)的特征，共同表示指多个模态特征经过g融合后的共同特征的表示；

步骤4.2：编码完成后，将所述两个内部模态的特有表示输入对应的解码器，还原为两个内部模态所分别对应的原始特征向量

其中，f₁^m(·)表示解码器，表示解码网络参数；

步骤5：基于提取到的V次张测试图片注视热点图的共同特征表示进行外部模态共同表示提取：具体过程如下：

步骤5.1：对于第i个外部模态，将学习到的模态特征作为输入，首先经过私有编码器，得到单个外部模态的私有特征表示再通过解码器解码还原得到原始的输入特征

其中，表示第v个外部模态的特征编码器和解码器，为所述编码器和解码器对应网络模型参数；

步骤5.2：取各个模态公共表示的均值作为最终公共表示：

其中，f_map为均值函数，V表示V个外部模态；

步骤5.3：针对所有样本，将提取到的最终公共表示输入全连接网络，作为阿尔兹海默病患者与正常人分别对应的待测试眼动数据；

步骤6：将最终提取到的共同特征表示作为全连接网络的输入，进行阿尔兹海默病患者与正常人分别对应的待测试眼动数据二分类处理。

2.如权利要求1所述的一种基于视觉记忆力评估的阿尔兹海默病风险评估方法，其特征在于，所述步骤4进一步包括以下处理：

步骤4.3：如果出现任意模态缺失的情形，为使得模型均能采用信息补全的策略还原缺失模态的输入特征，引入权重自适应融合的方法寻求多模态的公共表示：

z_i＝f₅(z_i^f,z_i^s；θ₅) (4)

其中，表示权重为θ₅的融合函数。

3.如权利要求1所述的一种基于视觉记忆力评估的阿尔兹海默病风险评估方法，其特征在于，所述步骤4进一步包括以下处理：

步骤4.4：针对个别样例数据缺失的情况，引入对抗训练的思想，将解码器的还原的两个内部模态所分别对应的原始特征向量输入对应的鉴别器，将编码器视为GAN网络的生成器，通过训练鉴别器正确鉴别生成器的输出是否为真，来提升解码器性能：

其中，为内部模态对应的鉴别器，为网络权重、m为网络参数；

鉴别器输出0，代表生成器未能准确还原对应模态的原始特征；鉴别器输出1，代表生成器的生成的样本近似真实；

同时，鉴别器的结果也会反馈给生成器，促使生成器产生真实样本；

重复步骤4.4，直到生成器生成近似真实的样本