[发明专利]一种基于大规模预训练模型的图文分类方法在审
| 申请号： | 202210671706.5 | 申请日： | 2022-06-15 |
| 公开（公告）号： | CN115082730A | 公开（公告）日： | 2022-09-20 |
| 发明（设计）人： | 李雪;李锐;王洪添 | 申请（专利权）人： | 山东浪潮科学研究院有限公司 |
| 主分类号： | G06V10/764 | 分类号： | G06V10/764;G06F16/35;G06V10/82;G06N3/04;G06N3/08 |
| 代理公司： | 济南信达专利事务所有限公司 37100 | 代理人： | 孙晶伟 |
| 地址： | 250100 山东省济*** | 国省代码： | 山东;37 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 一种 基于 大规模 训练 模型 图文 分类 方法 | ||
1.一种基于大规模预训练模型的图文分类方法，其特征是基于大规模预训练模型的多模态注意力机制，通过transformer模型的self-attention融合图像携带的视觉特征V与文本对应的嵌入特征Q和K，获得降低原始数据长度的数组array，根据所述数组array进行计算，不断迭代挖掘图文特征输入信息，并根据图文特征输入信息进行学习，完成图文信息的分类。
2.根据权利要求1所述的一种基于大规模预训练模型的图文分类方法，其特征是基于大规模预训练模型，获得图像预训练模型，微调图像预训练模型，获得Image-CNN模型，通过Image-CNN模型对图像提取视觉特征V。
3.根据权利要求2所述的一种基于大规模预训练模型的图文分类方法，其特征是通过Image-CNN模型提取图像的featuremap，进行线性转换后得到视觉特征V。
4.根据权利要求1-3任一项所述的一种基于大规模预训练模型的图文分类方法，其特征是基于大规模预训练模型，获得文本分类模型，通过文本分类模型提取文本对应的嵌入特征Q和K。
5.一种基于大规模预训练模型的图文分类系统，其特征是包括模型分析模块，
所述模型分析模块基于大规模预训练模型的多模态注意力机制，通过transformer模型的self-attention融合图像携带的视觉特征V与文本对应的嵌入特征Q和K，获得降低原始数据长度的数组array，根据所述数组array进行计算，不断迭代挖掘图文特征输入信息，并根据图文特征输入信息进行学习，完成图文信息的分类。
6.根据权利要求5所述的一种基于大规模预训练模型的图文分类系统，其特征是基于大规模预训练模型，获得图像预训练模型，微调图像预训练模型，获得Image-CNN模型，通过Image-CNN模型对图像提取视觉特征V。
7.根据权利要求6所述的一种基于大规模预训练模型的图文分类系统，其特征是通过Image-CNN模型提取图像的featuremap，进行线性转换后得到视觉特征V。
8.根据权利要求5-7任一项所述的一种基于大规模预训练模型的图文分类系统，其特征是基于大规模预训练模型，获得文本分类模型，通过文本分类模型提取文本对应的嵌入特征Q和K。
9.基于大规模预训练模型的计算机可读介质，其特征是所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行权利要求1至4任一项所述的一种基于大规模预训练模型的图文分类方法。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于山东浪潮科学研究院有限公司，未经山东浪潮科学研究院有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/202210671706.5/1.html，转载请声明来源钻瓜专利网。
