[发明专利]一种基于大规模预训练模型的图文分类方法

说明书

本发明公开一种基于大规模预训练模型的图文分类方法，涉及机器学习应用技术领域；基于大规模预训练模型的多模态注意力机制，通过transformer模型的self‑attention融合图像携带的视觉特征V与文本对应的嵌入特征Q和K，获得降低原始数据长度的数组array，根据所述数组array进行计算，不断迭代挖掘图文特征输入信息，并根据图文特征输入信息进行学习，完成图文信息的分类。

技术领域

本发明公开一种方法，涉及机器学习应用技术领域，具体地说是一种基于大规模预训练模型的图文分类方法。

背景技术

超大规模预训练模型在深度学习领域得到快速应用，但是模型的通用性不高，训练数据的专有性导致其训练的模型在应用到其他领域的时候，效果并不好。比如进行图文分类，还没有较为完善方法利用超大规模预训练模型处理图文分类任务。

发明内容

本发明针对现有技术的问题，提供一种基于大规模预训练模型的图文分类方法，具有通用性强、实施简便等特点，具有广阔的应用前景。

本发明提出的具体方案是：

本发明提供一种基于大规模预训练模型的图文分类方法，基于大规模预训练模型的多模态注意力机制，通过transformer模型的self-attention融合图像携带的视觉特征V与文本对应的嵌入特征Q和K，获得降低原始数据长度的数组array，根据所述数组array进行计算，不断迭代挖掘图文特征输入信息，并根据图文特征输入信息进行学习，完成图文信息的分类。

进一步，所述的一种基于大规模预训练模型的图文分类方法中基于大规模预训练模型，获得图像预训练模型，微调图像预训练模型，获得Image-CNN模型，通过Image-CNN模型对图像提取视觉特征V。

进一步，所述的一种基于大规模预训练模型的图文分类方法中通过Image-CNN模型提取图像的featuremap，进行线性转换后得到视觉特征V。

进一步，所述的一种基于大规模预训练模型的图文分类方法中基于大规模预训练模型，获得文本分类模型，通过文本分类模型提取文本对应的嵌入特征Q和K。

本发明还提供一种基于大规模预训练模型的图文分类系统，包括模型分析模块，

所述模型分析模块基于大规模预训练模型的多模态注意力机制，通过transformer模型的self-attention融合图像携带的视觉特征V与文本对应的嵌入特征Q和K，获得降低原始数据长度的数组array，根据所述数组array进行计算，不断迭代挖掘图文特征输入信息，并根据图文特征输入信息进行学习，完成图文信息的分类。

进一步，所述的一种基于大规模预训练模型的图文分类系统中基于大规模预训练模型，获得图像预训练模型，微调图像预训练模型，获得Image-CNN模型，通过Image-CNN模型对图像提取视觉特征V。

进一步，所述的一种基于大规模预训练模型的图文分类系统中通过Image-CNN模型提取图像的featuremap，进行线性转换后得到视觉特征V。

进一步，所述的一种基于大规模预训练模型的图文分类系统中基于大规模预训练模型，获得文本分类模型，通过文本分类模型提取文本对应的嵌入特征Q和K。

本发明还提供基于大规模预训练模型的计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行所述的一种基于大规模预训练模型的图文分类方法。

本发明的有益之处是：

本发明提供一种基于大规模预训练模型的图文分类方法，利用本发明方法模型参数规模越大，优势越明显，避免开发人员再进行大规模的训练，使用小样本就可以训练所需模型，极大降低开发使用成本，并有望进一步突破现有模型结构的精度局限。

附图说明