[发明专利]针对视觉和语言的跨模态处理

权利要求书

1.一种计算机实现的方法，包括：

根据目标模型中的视觉特征提取子模型，提取训练图像的一组视觉特征，其中每个视觉特征对应于所述训练图像中的一个像素块；

基于视觉语义词典，确定与所述一组视觉特征对应的一组视觉语义特征；

根据所述目标模型中的文本特征提取子模型，提取与所述训练图像对应的训练文本的一组文本特征，其中每个文本特征对应于所述训练文本中的至少一个词；以及

基于所述一组视觉语义特征和所述一组文本特征，训练所述目标模型以用于确定输入文本和输入图像之间的关联信息。

2.根据权利要求1所述的方法，其中基于所述视觉语义词典确定所述一组视觉语义特征包括：

从所述视觉语义词典中确定所述一组视觉特征被映射到的至少一个候选语义特征；

基于所述一组视觉特征，更新所述至少一个候选语义特征；以及

基于经更新的所述至少一个候选语义特征，确定所述一组视觉语义特征。

3.根据权利要求2所述的方法，

其中更新所述至少一个候选语义特征包括：

针对所述至少一个候选语义特征中的指定候选语义特征，确定所述一组视觉特征中被映射到所述指定候选语义特征的至少一个视觉特征；以及

基于所述至少一个视觉特征和针对所述指定候选语义特征的权重，更新所述指定候选语义特征，并且

其中基于经更新的所述至少一个候选语义特征，确定所述一组视觉语义特征包括：

将经更新的所述指定候选语义特征确定为所述一组视觉语义特征中与所述至少一个视觉特征对应的视觉语义特征。

4.根据权利要求1所述的方法，其中训练所述目标模型包括：

基于所述一组视觉语义特征和所述一组文本特征，根据所述目标模型中的融合子模型，生成针对所述训练文本和所述训练图像的一组融合特征；

基于所述一组融合特征，确定目标函数；以及

通过最小化所述目标函数，训练所述目标模型。

5.根据权利要求4所述的方法，

其中生成所述一组融合特征包括：

对所述一组视觉语义特征中的至少一个视觉语义特征应用掩码；

基于所述一组文本特征和经掩码的所述一组视觉语义特征，根据所述融合子模型，生成所述一组融合特征，并且

其中确定所述目标函数包括：

基于所述一组融合特征，生成与被应用掩码的所述至少一个视觉语义特征对应的预测特征；以及

基于所述预测特征与所述至少一个视觉语义特征之间的差异，确定所述目标函数。

6.根据权利要求5所述的方法，其中所述至少一个视觉语义特征对应于所述视觉语义词典中的同一候选语义特征。

7.根据权利要求4所述的方法，其中确定所述目标函数包括：

基于所述一组融合特征和将要应用所述目标模型的特定任务，确定所述目标函数。

8.根据权利要求7所述的方法，其中所述特定任务包括以下至少一项：

图像检索，

文本检索，

视觉问答，

自然语言的视觉推理，

图像生成，或

文本生成。

9.一种计算机实现的方法，包括：

根据经训练的目标模型中的视觉特征提取子模型，提取输入图像的一组视觉特征，其中每个视觉特征对应于所述输入图像中的一个像素块；

基于视觉语义词典，确定与所述一组视觉特征对应的一组视觉语义特征；

根据所述目标模型中的文本特征提取子模型，提取与所述输入图像对应的输入文本的一组文本特征，其中每个文本特征对应于所述输入文本中的至少一个词；以及

基于所述一组视觉语义特征和所述一组文本特征，确定所述输入文本和所述输入图像之间的关联信息。