[发明专利]获取和评估VQA系统的训练数据的方法、装置、设备和介质

权利要求书

1.一种用于获取视觉问答系统的训练数据的方法，包括：

识别视觉问答系统的训练图像中的对象；

从知识图谱中获得与识别的所述对象有关的信息；

向训练数据提供方提供以多种标记方式标记有所述信息的所述训练图像；以及

从所述训练数据提供方获取用于训练所述视觉问答系统的一组训练数据，其中每个训练数据包括由所述训练数据提供方针对以所述多种标记方式之一标记有所述信息的所述训练图像提出的问题和与所述问题相对应的回答。

2.根据权利要求1所述的方法，其中从所述知识图谱获得所述信息包括：

从所述知识图谱中获得所述对象的属性信息，所述属性信息指示所述对象的一个或多个属性和所述一个或多个属性的相应值。

3.根据权利要求1所述的方法，其中从所述知识图谱获得所述信息包括：

从所述知识图谱中获得所述对象的关系信息，所述关系信息指示所述对象与其他对象之间的一个或多个关系。

4.根据权利要求1所述的方法，其中

向所述训练数据提供方提供以多种标记方式标记有所述信息的所述训练图像包括：

以第一标记方式将所述信息标记在所述训练图像上；以及

向所述训练数据提供方提供以所述第一标记方式标记的所述训练图像；并且

获取所述一组训练数据包括：

从所述训练数据提供方获取所述一组训练数据中的第一训练数据，所述第一训练数据包括由所述训练数据提供方针对以所述第一标记方式标记的所述训练图像提出的第一问题和与所述第一问题相对应的第一回答。

5.根据权利要求4所述的方法，其中

向所述训练数据提供方提供以多种标记方式标记有所述信息的所述训练图像还包括：

响应于从所述训练数据提供方获取到所述第一训练数据，确定所述第一训练数据是否涉及所述信息中的至少一部分信息；

响应于确定所述第一训练数据涉及所述信息中的所述至少一部分信息，以不同于所述第一标记方式的第二标记方式将所述信息重新标记在所述训练图像上；以及

向所述训练数据提供方提供以所述第二标记方式重新标记的所述训练图像；并且

获取所述一组训练数据还包括：

从所述训练数据提供方获取所述一组训练数据中的第二训练数据，所述第二训练数据包括由所述训练数据提供方针对以所述第二标记方式重新标记的所述训练图像提出的第二问题和与所述第二问题相对应的第二回答。

6.根据权利要求4所述的方法，其中所述信息至少包括第一信息和第二信息，并且以所述第一标记方式对所述训练图像进行标记包括：

以相同方式将所述第一信息和所述第二信息分别标记在所述训练图像上。

7.根据权利要求5所述的方法，其中所述信息至少包括第一信息和第二信息，并且以所述第二标记方式对所述训练图像进行重新标记包括：

响应于确定所述第一训练数据涉及所述第一信息而不涉及所述第二信息，以不同方式将所述第一信息和所述第二信息分别标记在所述训练图像上。

8.根据权利要求7所述的方法，其中以不同方式将所述第一信息和所述第二信息分别标记在所述训练图像上包括：

相对于所述第一信息以更突出的方式将所述第二信息标记在所述训练图像上。

9.一种用于评估视觉问答系统的训练数据的方法，包括：

从训练数据提供方获取视觉问答系统的训练数据集，所述训练数据集包括由所述训练数据提供方基于来自知识图谱的信息而针对多个训练图像生成的多组训练数据；

确定每组训练数据对于来自所述知识图谱的信息的信息覆盖率；以及

基于所述多组训练数据的相应信息覆盖率，来确定所述训练数据集对于来自所述知识图谱的信息的信息覆盖率。