[发明专利]图像处理方法、装置、电子设备及计算机可读存储介质

说明书

本公开关于一种图像处理方法、装置、电子设备及计算机可读存储介质，其中，该方法包括：通过第一深度神经网络模型对输入图像进行特征提取，得到输入图像的第一图像特征，通过第二深度神经网络模型与第三神经网络模型分别对多个相册模板中的模板图像与模板音乐进行特征提取，得到第二图像特征与音频特征；通过匹配网络模型将第一图像特征分别与多个相册模板的第二图像特征和音频特征进行匹配，得到输入图像分别与多个相册模板的多个匹配值；根据多个匹配值，确定与输入图像匹配的相册模板。通过本公开，解决了相关技术中相册模板难以匹配，导致用户体验差的问题，达到了将相册模板中的图像与音乐对输入图像进行双重匹配的效果。

技术领域

本公开涉及计算机领域，尤其涉及一种图像处理方法、装置、电子设备及计算机可读存储介质。

背景技术

随着互联网技术的发展，“音乐相册”应用近年逐渐流行。“音乐相册”应用为用户输入的图像队列提供相册模版和背景音乐的功能，相册模版丰富输入图像的视觉效果，背景音乐和相册模版相辅相成，更好的传播“音乐相册”的情感和意境。

通常，由于“音乐相册”应用中的相册模版和背景音乐数目众多，种类繁杂，用户在使用“音乐相册”应用时难以挑选，因此，用户使用体验较差。

发明内容

本公开提供一种图像处理方法、装置、电子设备及计算机可读存储介质，以至少解决相关技术中相册模板难以匹配，导致用户体验差的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种图像处理方法，通过第一深度神经网络模型对输入图像进行特征提取，得到所述输入图像的第一图像特征，通过第二深度神经网络模型分别对多个相册模板中的模板图像进行特征提取，得到第二图像特征，通过第三深度神经网络模型分别对所述多个相册模板中的模板音乐进行特征提取，得到音频特征；通过匹配网络模型将所述第一图像特征分别与多个相册模板的第二图像特征和音频特征进行匹配，得到所述输入图像分别与所述多个相册模板的多个匹配值；根据所述多个匹配值，确定与所述输入图像匹配的相册模板。

可选地，所述通过匹配网络模型将所述第一图像特征分别与多个相册模板的第二图像特征和音频特征进行匹配，得到所述输入图像分别与所述多个相册模板的多个匹配值，包括：将所述第一图像特征分别和所述多个相册模板的第二图像特征进行联合，得到第一联合特征；通过第一匹配子网络模型对所述第一联合特征进行匹配，得到所述输入图像分别与所述多个相册模板的模板图像的第一匹配输出值；将所述第一图像特征分别和所述多个相册模板的音频特征进行联合，得到第二联合特征；通过第二匹配子网络模型对所述第二联合特征进行匹配，得到所述输入图像分别与所述多个相册模板的模板音乐的第二匹配输出值；根据所述第一匹配输出值和所述第二匹配输出值，确定所述输入图像分别与所述多个相册模板的多个匹配值；其中，所述匹配网络模型包括所述第一匹配子网络模型和所述第二匹配子网络模型。

可选地，采用以下方式，得到所述匹配网络模型：获取样本集，其中，所述样本集包括正样本集和负样本集，所述正样本集包括：多组正样本对，所述正样本对包括：历史输入图像与被选择的相册模板，所述负样本集包括：多组负样本对，所述负样本对包括：历史输入图像与未被选择的相册模板；采用所述样本集对初始网络模型进行训练，得到所述匹配网络模型。

可选地，采用所述样本集对初始网络模型进行训练，得到所述匹配网络模型，包括：生成所述初始网络模型的损失函数；通过最小化所述损失函数，对所述初始网络模型进行训练，得到所述匹配网络模型。

可选地，生成所述初始网络模型的损失函数，包括：生成所述初始网络模型的排序损失函数，和生成所述初始网络模型的二分类损失函数，其中，所述排序损失函数依据正样本对的匹配值与负样本对的匹配值之间的差值确定，所述二分类损失函数依据正负样本对的预测匹配值确定。