[发明专利]模型训练方法、装置、电子设备及计算机存储介质

说明书

本申请实施例提供了一种模型训练方法、装置、电子设备及计算机存储介质，其中，模型训练方法包括：获取预训练样本数据，预训练样本数据包括多模态数据；利用预训练样本数据对神经网络模型中的编码器进行预训练，获得预训练完成的编码器；获取预训练完成的编码器对预训练样本数据进行处理后输出的特征表示，以及与特征表示对应的预训练参考样本；利用特征表示与预训练参考样本对神经网络模型中的解码器进行预训练。对编码器和解码器采取了分阶段训练，提高了模型的训练效果和训练效率。

技术领域

本申请实施例涉及人工智能技术领域，尤其涉及一种模型训练方法、装置、电子设备及计算机存储介质。

背景技术

随着科技的发展，互联网上信息传播的方式更偏向于图像、视频等更加直观的方式。多模态数据越来越多的应用到了信息传播及存储的各个领域。数据按照载体类型不同可以划分为文字、图像、视频、语音等，所谓多模态数据，就是包多种载体类型的数据。虽然多模态数据更加直观，但在一些场景下，许多信息需要用户根据多模态数据，按照文字的方式进行人工配置。例如，在电商场景下，商品卖点、常见问题等都需要人工根据商品的图像、视频或文字描述进行填写；又如，在直播场景下，直播主题、关键词描述等页需要用户根据图像或视频的内容进行人工填写，这样会耗费大量的人工时间成本。以商品卖点为例，通常商品的图像、文字描述等都会揭示商品的卖点，只需要对图像和文字进行智能地识别和提取即可得到商品卖点，而如果利用神经网络模型进行智能地填写，则需要在训练模型的时候进行人工标注，由于是从商品的图像、文字描述等多模态数据中提取商品卖点，需要分别对图像和文字描述进行标注，导致人工标注的成本太高。因此，对于处理多模态数据的神经网络模型，模型训练效率低下，模型训练效果较差。

发明内容

有鉴于此，本申请实施例提供一种模型训练方法、装置、电子设备及计算机存储介质，以解决上述部分或全部问题。

根据本申请实施例的第一方面，提供了一种模型训练方法，包括：获取预训练样本数据，预训练样本数据包括多模态数据；利用预训练样本数据对神经网络模型中的编码器进行预训练，获得预训练完成的编码器；获取预训练完成的编码器对预训练样本数据进行处理后输出的特征表示，以及与特征表示对应的预训练参考样本；利用特征表示与预训练参考样本对神经网络模型中的解码器进行预训练。

根据本申请实施例的第二方面，提供了一种模型训练装置，包括：样本模块，用于获取预训练样本数据，预训练样本数据包括多模态数据；编码器模块，用于利用预训练样本数据对神经网络模型中的编码器进行预训练，获得预训练完成的编码器；特征表示模块，用于获取预训练完成的编码器对预训练样本数据进行处理后输出的特征表示，以及与特征表示对应的预训练参考样本；解码器模块，用于利用特征表示与预训练参考样本对神经网络模型中的解码器进行预训练。

根据本申请实施例的第三方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；存储器用于存放至少一可执行指令，可执行指令使处理器执行如第一方面的模型训练方法对应的操作。

根据本申请实施例的第四方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面的模型训练方法。

本申请实施例提供的模型训练方法、装置、电子设备及计算机存储介质，获取预训练样本数据，预训练样本数据包括多模态数据；利用预训练样本数据对神经网络模型中的编码器进行预训练，获得预训练完成的编码器；获取预训练完成的编码器对预训练样本数据进行处理后输出的特征表示，以及与特征表示对应的预训练参考样本；利用特征表示与预训练参考样本对神经网络模型中的解码器进行预训练。先对编码器进行预训练，再利用预训练好的编码器输出的特征表示，对解码器进行训练，对编码器和解码器采取了分阶段训练，可以使模型训练更容易收敛，提高了模型训练效果，而且不需要人工进行标注，减少人工成本，提高了模型的训练效率。

附图说明