[发明专利]一种图像处理方法、装置、电子设备和存储介质

说明书

本公开关于一种图像处理方法、装置、电子设备和存储介质，该方法包括：将待处理图像输入到图像检测模型中进行对象检测，得到待处理图像中至少两个对象分别对应的对象检测信息，将对象检测信息输入到视觉关系检测模型中进行视觉关系检测，得到两两对象间的视觉关系，该视觉关系为经过视觉关系检测模型对视觉关系对应的语义信息量进行调整后得到的，将视觉关系输入到场景图生成模型中进行场景图生成，得到待处理图像对应的目标场景图。该方法基于视觉关系检测模型，对两两对象间的视觉关系进行检测，可以提高视觉关系检测的准确性。

技术领域

本公开涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、电子设备和存储介质。

背景技术

通过视觉关系检测可以生成标注有视觉关系的场景图，标注有视觉关系的场景图作为图像内容的结构化表示，是计算机视觉和自然语言之间的桥梁。生成标注有视觉关系的场景图后，可以根据场景图像，检测图像中的主语、谓语、宾语构成的视觉关系三元组。

相关技术中，在对待处理图像进行视觉关系检测时，容易混淆检测到的视觉关系，从而降低了视觉关系检测的准确性，也降低了标注有视觉关系的场景图的有效性。

发明内容

本公开提供一种图像处理方法、装置、电子设备和存储介质，以至少解决相关技术中视觉关系检测的准确性低，且标注有视觉关系的场景图像的有效性低的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种图像处理方法，所述方法包括；

将待处理图像输入到图像检测模型中进行对象检测，得到所述待处理图像中至少两个对象分别对应的对象检测信息；

将所述对象检测信息输入到视觉关系检测模型中进行视觉关系检测，得到两两对象间的视觉关系，所述视觉关系表征所述待处理图像中两两对象间的交互关系；

将所述视觉关系和所述视觉关系对应的对象检测信息输入到场景图生成模型中进行场景图生成，得到所述待处理图像对应的目标场景图，所述目标场景图为标注有所述两两对象间的视觉关系的结构信息。

作为一个可选的实施例，所述视觉关系检测模型包括谓词识别网络，所述将所述对象检测信息输入到视觉关系检测模型中进行视觉关系检测，得到两两对象间的视觉关系包括：

将所述对象检测信息输入到所述谓词识别网络中进行两两对象间的谓语关系对应的谓词识别，得到目标谓词，所述目标谓词表征语义调整后的谓词；

根据所述目标谓词和所述目标谓词对应的对象，得到所述视觉关系。

作为一个可选的实施例，所述谓词识别网络包括初始相关度计算层和语义调整层，所述将所述对象检测信息输入到所述谓词识别网络中进行两两对象间的谓词识别，得到目标谓词包括：

将所述对象检测信息和预设谓词输入到所述初始相关度计算层中，对两两对象检测信息对应的谓词和每个预设谓词进行相关度计算，得到初始相关度分布信息，所述初始相关度分布信息表征语义调整前所述两两对象检测信息对应的谓词和所述每个预设谓词间的相关度；

将所述初始相关度分布信息输入到语义调整层中，基于所述预设矩阵对所述初始相关度分布信息进行谓词语义调整，得到所述目标相关度分布信息，所述目标相关度分布信息表征语义调整后所述两两对象检测信息对应的谓词和所述每个预设谓词间的相关度；

根据所述目标相关度分布信息，确定所述目标谓词。

作为一个可选的实施例，所述将所述初始相关度分布信息输入到语义调整层中，基于所述预设矩阵对所述初始相关度分布信息进行谓词语义调整，得到所述目标相关度分布信息包括：

根据所述初始相关度分布信息，确定初始谓词；