[发明专利]图文处理模型训练及图文处理方法、装置、设备及介质

说明书

本公开提供了一种图文处理模型训练及图文处理方法、装置、设备及介质，涉及人工智能领域，具体涉及深度学习领域，可用于信息推荐场景。具体实现方案为：将样本文本输入待训练的文本特征提取器得到文本特征，并将样本图像输入待训练的图像特征提取器得到图像特征；根据所述文本特征和所述图像特征之间的相关性，对所述文本特征提取器和所述图像特征提取器的网络参数进行更新；根据所述图像特征和所述样本图像构建监督信号，并根据所述监督信号更新所述图像特征提取器的网络参数。本公开能够提高图像特征提取器的特征提取准确度，从而提高图文相关性判断的准确度。

技术领域

本公开涉及人工智能领域，具体涉及深度学习领域，可用于信息推荐场景。

背景技术

Feed信息流推荐系统用于给用户提供持续更新的媒体内容，在信息流的入口上，媒体内容大多以文字结合配图的形式展现，封面图像作为信息流的主要元素，占据较大版面，可以直观反应文章或者视频的主题、人物、风格以及格调。

封面图像与媒体内容的相关性，尤其是封面图像与标题的一致性，不仅影响了媒体内容的点展比和用户核心体验，同时还影响应用程序的品牌调性。

发明内容

本公开提供了一种图文处理模型训练及图文处理方法、装置、设备及介质。

根据本公开的一方面，提供了一种图文处理模型训练方法，该方法包括：

将样本文本输入待训练的文本特征提取器得到文本特征，并将样本图像输入待训练的图像特征提取器得到图像特征；

根据所述文本特征和所述图像特征之间的相关性，对所述文本特征提取器和所述图像特征提取器的网络参数进行更新；

根据所述图像特征和所述样本图像构建监督信号，并根据所述监督信号更新所述图像特征提取器的网络参数。

根据本公开的另一方面，提供了一种图文处理方法，包括：

将目标文本输入文本特征提取器，得到目标文本的文本特征；

将目标图像输入图像特征提取器，得到目标图像的图像特征；

根据所述目标文本的文本特征和所述目标图像的图像特征，确定所述目标文本与所述目标图像之间的相关性；

其中，所述文本特征提取器和所述图像特征提取器采用如本公开任一实施例所述的图文处理模型训练方法预先训练得到。

根据本公开的另一方面，提供了一种图文处理模型训练装置，包括：

特征数据提取模块，用于将样本文本输入待训练的文本特征提取器得到文本特征，并将样本图像输入待训练的图像特征提取器得到图像特征；

特征提取器更新模块，用于根据所述文本特征和所述图像特征之间的相关性，对所述文本特征提取器和所述图像特征提取器的网络参数进行更新；

监督信号构建模块，用于根据所述图像特征和所述样本图像构建监督信号，并根据所述监督信号更新所述图像特征提取器的网络参数。

根据本公开的另一方面，提供了一种图文处理装置，包括：

文本特征提取模块，用于将目标文本输入文本特征提取器，得到目标文本的文本特征；

图像特征提取模块，用于将目标图像输入图像特征提取器，得到目标图像的图像特征；

相关性确定模块，用于根据所述目标文本的文本特征和所述目标图像的图像特征，确定所述目标文本与所述目标图像之间的相关性；

其中，所述文本特征提取器和所述图像特征提取器采用如本公开任一实施例所述的图文处理模型训练装置预先训练得到。

根据本公开的另一方面，提供了一种电子设备，该电子设备包括：