[发明专利]基于场景图的图像描述生成方法及装置

权利要求书

1.一种基于场景图的图像描述生成方法，其特征在于，包括：

将待处理图像输入场景图生成网络，获得待处理图像中各目标对象的视觉特征向量以及各目标对象之间的关系类别概率分布向量；

对所述关系类别概率分布向量进行权值预测处理，获得所述各目标对象之间的关系权值向量；

对所述关系权值向量和所述视觉特征向量进行上下文编码处理，获得各目标对象的物体特征向量；

对所述物体特征向量进行语言解码处理，获得对所述待处理图像的描述信息。

2.根据权利要求1所述的方法，其特征在于，对所述关系类别概率分布向量进行权值预测处理，获得所述各目标对象之间的关系权值向量，包括：

将所述关系概率分布向量输入权值预测网络，获得初始关系权值向量；

对所述初始关系权值向量进行归一化处理，获得所述关系权值向量，

其中，所述关系权值向量包括主语关系权值向量和宾语关系权值向量。

3.根据权利要求2所述的方法，其特征在于，对所述初始关系权值向量进行归一化处理，获得所述关系权值向量，包括：

将第i个目标对象与第j个目标对象之间的初始关系权值向量中的第h个元素，以及第i个目标对象与其他N-1个目标对象之间的初始关系权值向量中的第h个元素进行归一化处理，获得第i个目标对象与第j个目标对象之间的关系权值向量中的第h个元素，其中，所述关系权值向量包括H个元素，N为目标对象的数量，H≥1，且H为整数，N≥1，且N为整数，i和j为小于或等于N的正整数，h为小于或等于H的正整数。

4.根据权利要求1所述的方法，其特征在于，对所述关系权值向量和所述视觉特征向量进行上下文编码处理，获得各目标对象的物体特征向量，包括：

根据所述关系权值向量和所述视觉特征向量，获得各目标对象的上下文特征向量；

将所述各目标对象的视觉特征向量和上下文特征向量进行拼接处理，获得所述各目标对象的物体特征向量。

5.根据权利要求4所述的方法，其特征在于，所述关系权值向量包括主语关系权值向量和宾语关系权值向量，

根据所述关系权值向量和所述视觉特征向量，获得各目标对象的上下文特征向量，包括：

根据所述主语关系权值向量和所述视觉特征向量，获得主语上下文特征向量；

根据所述宾语关系权值向量和所述视觉特征向量，获得宾语上下文特征向量；

根据所述主语上下文特征向量、所述宾语上下文特征向量和所述视觉特征向量，获得所述各目标对象的上下文特征向量。

6.根据权利要求1所述的方法，其特征在于，所述待处理图像的描述信息包括至少一个词语，

对所述物体特征向量进行语言解码处理，获得对所述待处理图像的描述信息，包括：

根据所述各目标对象的物体特征向量，确定第一个词语的第一隐向量；

根据第一个词语的第一隐向量，确定第一个词语的词向量；

根据第t-1个词语的第一隐向量、所述各目标对象的物体特征向量以及第t-1个词语的词向量，确定第t个词语的第一隐向量，其中，t＞1，且t为整数；

根据第t个词语的第一隐向量，确定第t个词语的词向量；

根据各词语的词向量，确定所述待处理图像的描述信息。

7.根据权利要求6所述的方法，其特征在于，根据第t-1个词语的第一隐向量、所述各目标对象的物体特征向量以及第t-1个词语的词向量，确定第t个词语的第一隐向量，包括：

根据第t-1个词语的第一隐向量、所述各目标对象的物体特征向量以及第t-1个词语的词向量，确定第t个词语的第二隐向量；

根据所述各目标对象的物体特征向量以及第t个词语的第二隐向量，确定第t个词语的特征向量；

根据所述第t个词语的第二隐向量以及第t个词语的特征向量，确定第t个词语的第一隐向量。