[发明专利]一种基于数据增强的视觉语义嵌入方法及系统

权利要求书

1.一种基于数据增强的视觉语义嵌入方法，其特征在于，包括：

接收图像数据和文本数据；

利用第一网络模型对图像进行目标识别，并根据置信度选取若干图像区域；利用第二网络模型提取每个所述图像区域的细粒度特征，通过微调网络将所述图像细粒度特征映射到共同嵌入空间，得到图像在共同嵌入空间的细粒度表示；

根据所述细粒度表示进行第一语义图推理，获得第一推理结果；

对第一推理结果进行统一池化操作，得到第一池化结果；

利用第一提取模型提取文本上下文相关的词向量表示；利用第二提取模型对文本上下文相关的词向量表示进行微调映射至共同嵌入空间，得到文本在共同嵌入空间中的词向量表示；

根据所述词向量表示进行第二语义图推理，获得第二推理结果；

对第二推理结果进行统一池化操作，得到第二池化结果；

对所述第一池化结果和第二池化结果进行语义对齐；

所述第二网络模型、第一提取模型和第二提取模型均利用数据增强后的数据进行训练。

2.根据权利要求1所述的方法，其特征在于，所述第一网络模型为在Visual Genome数据集中预训练的目标识别网络Faster R-CNN。

3.根据权利要求1所述的方法，其特征在于，所述第二网络模型为在ImageNet数据集中预训练的Resnet101。

4.根据权利要求1所述的方法，其特征在于，所述微调网络为多层感知机连接一层全连接网络。

5.根据权利要求1所述的方法，其特征在于，所述第一提取模型为BERT-Base-Uncased模型；所述第二提取模型为Bi-GRU网络模型。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述第一语义图推理的方法包括：

构建第一全连接语义图，以图片的细粒度特征向量表示作为节点，节点间边的权重采用节点间的相似度表示；

采用图卷积神经网络实现第一全连接语义图中节点之间的语义推理。

7.根据权利要求6所述的方法，其特征在于，所述第一语义图推理的方法包括：

构建第二全连接语义图，以词的向量表示作为节点，节点间边的权重采用节点间的相似度表示；

采用图卷积神经网络实现第二全连接语义图中节点之间的语义推理。

8.根据权利要求7所述的方法，其特征在于，所述第一池化结果和第二池化结果进行语义对齐包括：

采用热启动的方式，在训练的第一个epoch采用一般跨模态三元组损失函数；

剩余的训练中采用难负样本跨模态三元组损失函数。

9.根据权利要求8所述的方法，其特征在于，所述数据增强的方法包括图像数据增强和文本数据增强；

所述图像数据增强包括：每个图像区域都有一定的概率被一个固定的特征向量mask所替换，并生成图像数据增强的细粒度特征表示；

所述文本数据增强包括：

文本描述中的每个单词都有一定的概率替换为一个固定的非零特征向量；

文本描述中的每个单词都有一定的概率被移除；

文本描述中的每个单词都有一定的概率被词典中的另一个单词替换。

10.一种基于数据增强的视觉语义嵌入系统，根据权利要求1-9任一项所述的基于数据增强的视觉语义嵌入方法进行视觉语义嵌入，其特征在于，包括：

数据接收单元，用于接收图像和文本数据；

图像特征获取单元，利用第一网络模型对图像进行目标识别，并根据置信度选取若干图像区域；利用第二网络模型提取每个所述图像区域的细粒度特征，通过微调网络将所述图像细粒度特征映射到共同嵌入空间，得到图像在共同嵌入空间的细粒度特征表示；

第一图推理单元，根据所述细粒度表示进行第一语义图推理，获得第一推理结果；

第一池化单元，对第一推理结果进行统一池化操作，得到第一池化结果；

文本特征提取单元，利用第一提取模型提取文本上下文相关的词向量表示；利用第二提取模型对文本上下文相关的词向量表示进行微调映射至共同嵌入空间，得到文本在共同嵌入空间中的词向量表示；

第二图推理单元，根据所述词向量表示进行第二语义图推理，获得第二推理结果；

第二池化单元，对第二推理结果进行统一池化操作，得到第二池化结果；

语义对齐单元，对所述第一池化结果和第二池化结果进行语义对齐。