[发明专利]一种基于注意力机制的图像-文本数据融合方法和系统

摘要

本发明公开了一种基于注意力机制的图像‑文本数据融合方法和系统，该方法首先构建基于注意力机制的图像‑文本数据融合网络，并基于特定任务构建完整的训练网络，再利用训练集进行训练，然后将待融合的图像和文本数据输入训练好的数据融合网络中，实现两者的数据融合。具有如下突出的特点和优点：第一，引入位置编码代替循环神经网络对文本上下文进行建模，数据融合网络的可并行化程度更高，训练模型的训练速率更快；第二，通过图像和文本在语义层次上的融合，使得融合后的数据质量更高，可用性更强；第三，该方法可以通过多种任务训练数据融合网络，鲁棒性更强。

主权项

1.一种基于注意力机制的图像‑文本数据融合方法，其特征在于，包括如下步骤：步骤S1，收集特定任务下的图像和文本数据集；步骤S2，对收集到的图像和文本数据集进行预处理，作为训练集；步骤S3，构建基于注意力机制的图像‑文本数据融合网络；步骤S4，根据任务构建输出网络，连接于数据融合网络之后，形成训练网络；步骤S5，利用训练集对训练网络进行训练；步骤S6，对待融合的图像和文本数据集进行预处理；步骤S7，将预处理后的图像和文本数据输入训练好的数据融合网络，输出即为图像和文本的融合数据。