[发明专利]图片处理方法、文本处理方法、相关设备及存储介质

说明书

本公开关于图片处理方法、文本处理方法、相关设备及存储介质，其中，图片处理方法包括：获取待处理图片，对待处理图片进行切片处理得到图片块序列；将图片块序列中的图片块输入自编码网络的编码器进行编码处理，得到每个图片块对应的嵌入向量；各图片块对应的嵌入向量构成图片向量序列；将图片向量序列输入图片生成文本模型，得到输出的所述待处理图片对应的描述文本。本公开简化了图片生成文本模型的模型结构，并提升了图片生成文本的准确性和稳定性。

技术领域

本公开涉及计算机技术领域，尤其涉及图片处理方法、文本处理方法、相关设备及存储介质。

背景技术

目前，在一些应用场景下，需要根据输入的文本信息自动生成符合该文本信息的图片，例如根据用户的描述文本来自动生成视频或者直播的封面等；而在另一些应用场景下，需要根据图片内容自动生成符合该图片的描述文本，例如根据商品图片自动生成相应的商品描述。

相关技术中，在需要文本生成图片的场景中一般采用生成对抗式网络模型来实现，但是生成对抗式网络模型仅能实现单向的从文本生成图片，因此在需要图片生成文本时还需要构建不同结构的网络模型，导致相关技术在文本生成图片和图片生成文本这两种应用场景下的模型结构设计复杂，并且模型的准确性和鲁棒性均较差。

发明内容

本公开提供图片处理方法、文本处理方法、相关设备及存储介质，以至少解决相关技术中在文本生成图片和图片生成文本这两种应用场景下的模型结构设计复杂，以及模型的准确性和鲁棒性均较差的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种图片处理方法，包括：

获取待处理图片，对所述待处理图片进行切片处理得到图片块序列；

将所述图片块序列中的图片块输入自编码网络的编码器进行编码处理，得到每个所述图片块对应的嵌入向量；各所述图片块对应的嵌入向量构成图片向量序列；

将所述图片向量序列输入图片生成文本模型，得到输出的所述待处理图片对应的描述文本。

在一个示例性的实施方式中，所述图片生成文本模型的训练方法包括：

获取第一样本图片文本对；所述第一样本图片文本对包括第一样本图片和所述第一样本图片的描述文本；

对所述第一样本图片文本对中的第一样本图片进行切片处理，得到第一样本图片块序列；

将所述第一样本图片块序列中的第一样本图片块输入所述自编码网络的编码器进行编码处理，得到每个所述第一样本图片块对应的嵌入向量；各所述第一样本图片块对应的嵌入向量构成第一样本图片向量序列；

将所述第一样本图片向量序列输入第一预设神经网络进行文本预测，得到输出的预测文本；

根据所述预测文本与所述描述文本之间的差异，对所述第一预设神经网络进行训练，得到所述图片生成文本模型。

在一个示例性的实施方式中，所述方法还包括：

获取第一原始样本图片文本对；所述第一原始样本图片文本对包括第一原始样本图片和所述第一原始样本图片的描述文本；

对所述第一原始样本图片文本对中的第一原始样本图片进行图片增强处理，得到所述第一原始样本图片对应的多个第一增强样本图片；

对所述第一原始样本图片文本对中所述第一原始样本图片的描述文本进行文本增强处理，得到多个第一增强样本文本；

根据所述多个第一增强样本图片和所述多个第一增强样本文本，生成多个第一增强样本图片文本对；

根据所述第一原始样本图片文本对和所述多个第一增强样本图片文本对，得到所述第一样本图片文本对。