[发明专利]一种基于快速权重机制的深度学习医疗诊断系统

摘要

本发明涉及一种基于快速权重机制的深度学习医疗诊断系统，属于深度学习及大数据处理技术领域。包括数据预处理模块、参数设定模块、训练数据生成模块、加载及迭代模块、联合网络模型定义模块、前向模块以及联合模型训练模块；联合网络模型定义模块主要包括先验单元、编码单元、特征提取单元、生成单元、GRU单元、快速权重机制单元和判决单元；快速权重机制单元的工作过程为：1)生成快速权重机制输入、隐藏层向量以及进行层规范化操作；联合模型训练模块的工作过程主要包括：采用Adam优化、计算交叉熵、分别将当前训练及测试数据送入前向模块中进行训练并计算准确度。所提诊断系统显著提高了决策准确率。

主权项

1.一种基于快速权重的深度学习医疗诊断系统，其特征在于：核心思想是：提出了变分递归神经网络及判别神经联合网络模型，并在该联合网络模型中引入快速权重机制和层规范化，有效提高了模型训练和测试的准确度，同时也有效稳定了各层中的动态参数；一种基于深度学习的医疗诊断系统，主要包括数据预处理模块、参数设定模块、训练数据生成模块、加载及迭代模块、联合网络模型定义模块、前向模块以及联合模型训练模块；其中，数据预处理模块将庞杂的MIMIC数据集中的数据进行规范，转换为可训练及测试的统一格式及内容；其中，参数设定模块设定的参数包括：训练数据集大小、测试数据集大小、批大小、隐藏变量z的大小、隐藏层大小、检查项数、时间步、快速权重步进、快速权重学习率、学习率、EPOCH、快速权重衰减率、变分网络损失函数以及判别网络损失比例系数；其中，训练数据生成模块又包括生成训练集数据单元、生成测试集数据单元、生成训练集标签单元以及生成测试集标签单元；加载及迭代模块又包括数据加载器和数据迭代器；联合网络模型定义模块包括初始化偏置单元、先验单元、编码单元、特征提取单元、生成单元、GRU单元、快速权重机制单元以及判决单元；本系统各模块的连接方式如下：数据预处理模块与训练数据生成模块相连，参数设定模块分别与加载及迭代模块、联合网络模型定义模块以及联合模型训练模块相连；训练数据生成模块与加载及迭代模块相连；加载及迭代模块与联合网络模型定义模块相连，联合网络模型定义模块与前向模块相连，前向模块与联合模型训练模块相连；加载及迭代模块中的数据加载器与数据迭代器相连；本系统各模块的功能如下：数据预处理模块的功能是对MIMIC数据集数据进行预处理，即将庞杂的MIMIC数据集中的数据进行规范，转换为可训练及测试的统一格式及内容，具体包括维度变换、依据统计结果删减数据以及弥补必要缺失项为主的操作，输出数量及规格符合要求的训练和测试数据；本系统各模块的功能如下：数据预处理模块的功能是对要进行训练及测试的数据进行预处理，具体包括维度变换、依据统计结果删减数据以及弥补必要缺失项为主的操作，输出数量及规格符合要求的训练和测试数据；参数设定模块的功能是为加载及迭代模块、联合网络模型定义模块以及联合模型训练模块提供参数，具体为：为训练数据生成模块提供训练数据集大小、测试数据集大小、检查项数和时间步以确定生成数据各个维度的大小，为加载及迭代模块提供批大小用以进行小批数据的生成；为联合网络模型定义模块提供隐藏变量z的大小、隐藏层大小、检查项数、时间步用来定义各神经网络各层的大小；为前向模块提供快速权重步进、快速权重学习率、快速权重衰减率进行快速权重的更新以及提供判别网络损失比例系数求整个模型总损失函数；为联合模型训练模块提供学习率用以进行反向运算、提供参数：EPOCH进行确定对数据集的训练次数；训练数据生成模块的功能是对经数据预处理模块预处理的数据进行维度转换，对于生成训练集数据单元和生成测试集数据单元，即将一维数据变换成可以输入到数据加载器中的三维数据，其中三维数据各维度的大小在参数设定模块中定义为训练数据集大小、时间步和检查项数参数；加载及迭代模块中数据加载器的功能是将数据生成模块输出的训练集数据和训练集标签以及测试集数据和标签中按照样本对应起来，并保存在一个变量集合中，此外加载器还可以返回训练集和测试集的样本数；数据迭代器的功能是调用数据加载器产生的变量集合，将数据集分成一个个小批，输入到联合网络模型中，小批的大小在参数设定模块中定义；联合网络模型定义模块的功能是定义联合模型中各个单元的网络结构，用以前向模块的调用和连接；具体包括定义先验单元、编码单元、特征提取单元、生成单元以及判决单元中各层的大小以及应用的非线性激活函数，定义GRU单元的输入变量和隐藏层变量的大小、隐藏层数，定义快速权重单元的输入慢权重、隐藏层变量慢权重以及层规范化操作，具体的快速权重更新和迭代规则在前向模块中定义；前向模块的功能是完成整个训练或测试的前向过程，包括整个联合网络的运行以及生成损失函数的计算，在t时刻具体过程为调用联合网络模型定义模块中的特征提取单元提取x特征，以x特征和隐藏层变量为输入调用编码单元得到隐藏变量z，调用特征提取单元提取z特征，运行先验和编码求相对熵损失函数，调用生成网络求交叉熵损失函数，以x特征、z特征为输入，隐藏层变量为状态，调用GRU单元得到快速权重的初始隐藏层变量，更新快速权重矩阵，调用快速权重单元的两个慢权重和快速权重矩阵进行迭代，并对隐藏层变量进行层规范化操作和激活函数激活，得到迭代后的隐藏层变量；对每个时刻的隐藏层变量求平均，作为输入调用判决单元，得到最终的判决结果；联合模型训练模块是整个训练和测试过程的主函数，包括选择参数优化器，调用训练集批数据，梯度初始化，运行前向模块，计算总损失函数，进行后向传播，调用测试集进行准确率测试过程。