[发明专利]基于Transformer的干眼症早筛系统及方法

说明书

本发明提供一种基于Transformer的干眼症早筛系统及方法，包括单模态编码器模块、模态融合网络模块及识别模块；单模态编码器模块用于获取多种数据源，对数据源执行特征提取，得到多个特征；模态融合网络模块用于将第一特征进行融合，对融合的特征采用基于Transformer构建得到识别模型；识别模块用于通过识别模型对干眼症数据进行识别，得到识别结果。提高了干眼症早筛的准确率，提高了辨识效率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于Transformer的干眼症早筛系统及方法。

背景技术

Transformer作为神经网络的基本建模单元，极大的促进了神经网络的发展。Transformer由Self-Attention和位置编码两部分组成。Self-Attention通过计算每一个token之间的注意力分数，以此来考虑不同token之间的相关性，由于Self-Attention模块本身不具备学习位置信息的能力，需要通过位置编码(Positional Encoding)主动将位置信息给模型。Transformer的整个训练建模的关键是通过学习不同token之间的相关性，通过迭代训练使得模型捕获输入的全局信息。

而现有技术基于Transformer所构建的干眼早筛及预后模型存在识别准确率低及低鲁棒性的问题。

发明内容

本发明实施例的主要目的在于提出一种基于Transformer的干眼症早筛系统及方法，提高了干眼症早筛的准确率。

本发明的一方面提供了一种基于Transformer的干眼症早筛系统，其特征在于，包括单模态编码器模块、模态融合网络模块及识别模块；

所述单模态编码器模块用于获取多种数据源，对所述数据源执行特征提取，得到多个特征；

所述模态融合网络模块用于将所述第一特征进行融合，对融合的特征采用基于Transformer构建得到识别模型；

所述识别模块用于通过识别模型对干眼症数据进行识别，得到识别结果。

根据所述的基于Transformer的干眼症早筛系统，其中单模态编码器模块用于获取多种数据源，对所述数据源执行处理，得到多个特征，包括：

所述单模态编码器模块包括图像单模态编码器、语言单模态编码器和结构话数据单模态编码器中的至少一种；

通过所述图像单模态编码器、所述语言单模态编码器和所述结构话数据单模态编码器获取对应的图像数据源、语言数据源及结构化数据源采用预训练模型执行特征提取。

根据所述的基于Transformer的干眼症早筛系统，其中模态融合网络模块包括单层前馈网络及多个模态融合层；

所述单层前馈网络用于获取所述第一特征，并将所述第一特征投影至所述模态融合层，所述单层前馈网络的维度与模态融合网络的隐藏维度一致；

所述模态融合层获取多个所述第一特征的投影，生成第二特征，所述第二特征用于表征多个所述第一特征的多模态集成。

根据所述的基于Transformer的干眼症早筛系统，其中单模态编码器模块的每个模态编码器设置有自注意力机制及对应的注意力参数。

根据所述的基于Transformer的干眼症早筛系统，其中模态融合网络模块还包括：

通过所述模态融合层对所述第二特征执行跨模态注意力、前馈投影和层归一化处理，得到所述识别模型。

根据所述的基于Transformer的干眼症早筛系统，其中跨模态注意力包括：

在每个模态内部的特征之间执行自注意力机制，每个模态都具有相应的注意力参数；