[发明专利]用于数据敏感信息发现模型的多模态数据增强方法

摘要

本申请涉及一种用于数据敏感信息发现模型的多模态数据增强方法，通过构建敏感信息图像库；利用图像描述生成模型，对所述敏感信息图像库中的图像生成相应的描述信息；将所述敏感信息图像库中的图像与相对应的所述描述信息进行组合，组建得到图像‑文字对数据库，并作为图像‑文字对多模态训练集；利用所述图像‑文字对多模态训练集，进行多模态联合数据增强训练，得到多模态融合敏感信息发现模型；利用所述多模态融合敏感信息发现模型，对所述图像‑文字对数据库进行关键敏感信息提取，获取并输出敏感实体结果。利用多模态数据增强技术，增加训练样本多样性，提高模型准确率，对于单图像数据，利用图像描述生成模型来伪造数据，对训练集进行扩展。