[发明专利]一种基于原型的嵌入网络的场景图生成方法

权利要求书

1.一种基于原型的嵌入网络的场景图生成方法，其特征在于，包括以下分步骤：

S1、获取图像，将图像输入目标检测器，得到若干具有特征的图像实例；

S2、通过基于原型的嵌入网络对图像实例进行建模，得到主体、客体和谓词，进而得到主客体的关系表示以及谓词原型；

S3、通过基于原型的嵌入网络识别谓词原型匹配的主客体的关系表示，得到主客体-谓词的匹配结果；

S4、根据主客体-谓词的匹配结果进行图像的场景图生成，完成场景图生成。

2.根据权利要求1所述的基于原型的嵌入网络的场景图生成方法，其特征在于，所述S1中，图像实例的特征包括第一视觉特征、第二视觉特征和联合特征。

3.根据权利要求2所述的基于原型的嵌入网络的场景图生成方法，其特征在于，所述S2中，得到主体、客体和谓词的方法具体为：

SA1、根据图像实例的特征得到实例变化的语义内容；

SA2、根据实例变化的语义内容构建主体、客体和谓词。

4.根据权利要求3所述的基于原型的嵌入网络的场景图生成方法，其特征在于，所述SA1中，实例变化的语义内容包括第一～第三语义内容，得到第一语义内容v_s、第二语义内容v_o和第三语义内容u_p的表达式具体为：

式中，W_s,W_o,W_p均为可学习的参数，t_s,t_o,t_p均为类别标签的词嵌入，f(·)为全连接层，h(·)为将视觉特征转化到语义空间的视觉语义函数，为连接运算，σ(·)为sigmoid激活函数，⊙为为哈达玛乘积，x_s为第一视觉特征，x_o为第二视觉特征，x_u为联合特征；

所述SA2中，构建主体s、客体o和谓词p的表达式具体为：

s＝W_st_s+_s

o＝W_ot_o+_o

p＝_pt_p+_p。

5.根据权利要求4所述的基于原型的嵌入网络的场景图生成方法，其特征在于，所述S2中，得到主客体的关系表示以及谓词原型的方法具体为：

根据主体、客体和谓词将主客体与对应的谓词在公共语义空间中进行匹配的表达式进行等价替换，得到主客体的关系表示以及谓词原型；

其中，所述主客体与对应的谓词在公共语义空间中进行匹配的表达式主客体的关系表示r以及谓词原型c的表达式具体为：

c＝W_pt_p

式中，ReLU为激活函数。

6.根据权利要求5所述的基于原型的嵌入网络的场景图生成方法，其特征在于，所述S3中，基于原型的嵌入网络通过原型引导学习进行主客体-谓词匹配；

所述原型引导学习的方法具体为构建第一损失函数和三元损失函数，所述第一损失函数的表达式具体为：

式中，为一元运算，τ为可学习的温度超参数，c_t为真值类别的谓词原型，c_j为第j个类别的谓词原型，N为谓词原型类别的数量。