[发明专利]基于Transformer的干眼症早筛系统及方法

权利要求书

1.一种基于Transformer的干眼症早筛系统，其特征在于，包括单模态编码器模块、模态融合网络模块及识别模块；

所述单模态编码器模块用于获取多种数据源，对所述数据源执行特征提取，得到多个特征；

所述模态融合网络模块用于将所述第一特征进行融合，对融合的特征采用基于Transformer构建得到识别模型；

所述识别模块用于通过识别模型对干眼症数据进行识别，得到识别结果。

2.根据权利要求1所述的基于Transformer的干眼症早筛系统，其特征在于，所述单模态编码器模块用于获取多种数据源，对所述数据源执行处理，得到多个特征，包括：

所述单模态编码器模块包括图像单模态编码器、语言单模态编码器和结构话数据单模态编码器中的至少一种；

通过所述图像单模态编码器、所述语言单模态编码器和所述结构话数据单模态编码器获取对应的图像数据源、语言数据源及结构化数据源采用预训练模型执行特征提取。

3.根据权利要求2所述的基于Transformer的干眼症早筛系统，其特征在于，所述模态融合网络模块包括单层前馈网络及多个模态融合层；

所述单层前馈网络用于获取所述第一特征，并将所述第一特征投影至所述模态融合层，所述单层前馈网络的维度与模态融合网络的隐藏维度一致；

所述模态融合层获取多个所述第一特征的投影，生成第二特征，所述第二特征用于表征多个所述第一特征的多模态集成。

4.根据权利要求2所述的基于Transformer的干眼症早筛系统，其特征在于，所述单模态编码器模块的每个模态编码器设置有自注意力机制及对应的注意力参数。

5.根据权利要求3所述的基于Transformer的干眼症早筛系统，其特征在于，所述模态融合网络模块还包括：

通过所述模态融合层对所述第二特征执行跨模态注意力、前馈投影和层归一化处理，得到所述识别模型。

6.根据权利要求5所述的基于Transformer的干眼症早筛系统，其特征在于，所述跨模态注意力包括：

在每个模态内部的特征之间执行自注意力机制，每个模态都具有相应的注意力参数；

获取所述特征的注意力权重，根据所述注意力权重计算进行跨模块交叉后的交叉注意力权重；

根据所述交叉注意力权重，确定多模态数据组合成统一的通用的向量表征。

7.根据权利要求1所述的基于Transformer的干眼症早筛系统，其特征在于，所述模态融合网络模块用于将所述第一特征进行融合，对融合的特征采用基于Transformer构建得到识别模型，还包括：

对所述识别模型的训练或推理采用单模态、双模态和三模态数据进行融合，地将不同的模态组合投影到单个表示空间中，以构建所述识别模型，其中双模态和三模态的根据数据源类型自定义设置。

8.一种基于权利要求1-7任一所述系统的基于Transformer的干眼症早筛方法，其特征在于，包括：

用于获取多种数据源，对所述数据源执行特征提取，得到多个特征；

将所述第一特征进行融合，对融合的特征采用基于Transformer构建得到识别模型；

通过识别模型对干眼症数据进行识别，得到识别结果。