[发明专利]一种图像处理方法、装置、电子设备和存储介质

权利要求书

1.一种图像处理方法，其特征在于，所述方法包括：

将待处理图像输入到图像检测模型中进行对象检测，得到所述待处理图像中至少两个对象分别对应的对象检测信息；

将所述对象检测信息输入到视觉关系检测模型中进行视觉关系检测，得到两两对象间的视觉关系，所述视觉关系表征所述待处理图像中的两两对象间的交互关系；

将所述视觉关系和所述视觉关系对应的对象检测信息输入到场景图生成模型中进行场景图生成，得到所述待处理图像对应的目标场景图，所述目标场景图为标注有所述两两对象间的视觉关系的结构信息。

2.根据权利要求1所述的图像处理方法，其特征在于，所述视觉关系检测模型包括谓词识别网络，所述将所述对象检测信息输入到视觉关系检测模型中进行视觉关系检测，得到两两对象间的视觉关系包括：

将所述图像检测模型输出的对象检测信息输入到所述谓词识别网络中进行两两对象间的谓语关系对应的谓词识别，得到目标谓词，所述目标谓词表征语义调整后的谓词；

根据所述目标谓词和所述目标谓词对应的对象，得到所述视觉关系。

3.根据权利要求2所述的图像处理方法，其特征在于，所述谓词识别网络包括初始相关度计算层和语义调整层，所述将所述对象检测信息输入到所述谓词识别网络中进行两两对象间的谓词识别，得到目标谓词包括：

将所述对象检测信息和预设谓词输入到所述初始相关度计算层中，对两两对象检测信息对应的谓词和每个预设谓词进行相关度计算，得到初始相关度分布信息，所述初始相关度分布信息表征语义调整前所述两两对象检测信息对应的谓词和所述每个预设谓词间的相关度；

将所述初始相关度分布信息输入到语义调整层中，基于所述预设矩阵对所述初始相关度分布信息进行谓词语义调整，得到所述目标相关度分布信息，所述目标相关度分布信息表征语义调整后所述两两对象检测信息对应的谓词和所述每个预设谓词间的相关度；

根据所述目标相关度分布信息，确定所述目标谓词。

4.根据权利要求3所述的图像处理方法，其特征在于，所述将所述初始相关度分布信息输入到语义调整层中，基于所述预设矩阵对所述初始相关度分布信息进行谓词语义调整，得到所述目标相关度分布信息包括：

根据所述初始相关度分布信息，确定初始谓词；

在所述初始谓词为通用谓词的情况下，基于所述预设矩阵中的语义调整矩阵，对所述初始相关度分布信息进行谓词语义调整，所述通用谓词表征所述预设谓词中使用概率大于预设阈值的谓词；

在所述初始谓词为非通用谓词的情况下，基于所述预设矩阵中的语义保持矩阵，将所述初始相关度分布信息确定为所述目标相关度分布信息，所述非通用谓词表征所述预设谓词中使用概率小于预设阈值的谓词。

5.根据权利要求1所述的图像处理方法，其特征在于，所述方法还包括：

将标注图像输入到所述图像检测模型中进行对象检测，得到所述标注图像中每个对象对应的训练对象检测信息，所述标注图像标注有两两对象间的参考视觉关系；

将所述训练对象检测信息输入到第一待训练模型中进行视觉关系检测，得到两两对象间的第一训练视觉关系，所述第一训练视觉关系表征通过所述第一待训练模型得到的所述标注图像中两两对象间的交互关系；

将所述第一训练视觉关系和所述第一训练视觉关系对应的训练对象检测信息输入到第二待训练模型中进行场景图生成，得到所述标注图像对应的第一训练场景图，所述第一训练场景图为标注有所述两两对象间的第一训练视觉关系的结构信息；

根据所述第一训练视觉关系和所述参考视觉关系，对所述第一待训练模型和所述第二待训练模型进行训练，得到第一视觉关系检测模型和初始场景图生成模型，所述第一视觉关系检测模型为不具有预设矩阵的视觉关系检测模型。