[发明专利]一种多模态特征提取网络的预训练方法及装置

说明书

本申请涉及数据处理技术领域，可应用于车载场景，尤其涉及一种多模态特征提取网络的预训练方法及装置，该方法为：在基于一批训练样本进行的一轮训练过程中，基于所述多模态特征提取网络提供的多种候选模态，分别对每个训练样本进行特征提取，获得相应候选模态的候选模态特征，并基于所述目标模态对应的局部映射子特征之间的时序关系，生成重构特征一个重构特征，以及基于目标模态的重构特征的目标模态特征与各个其他候选模态特征的相似性关系计算的损失值，调整网络参数。这样，不仅能够训练多模态特征提取网络提取更具时间敏感性的特征，还能够训练提取出不同模态的深层次特征，并能够提高训练后的多模态特征提取网络在下游任务中的适配性。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种多模态特征提取网络的预训练方法及装置。

背景技术

目前，在基于多模态特征执行具体的视频处理任务之前，通常需要先对基础的多模态特征提取网络进行预训练，再基于预训练后的多模态特征提取网络和具体的视频处理任务构建任务处理模型，以及采用微调训练后的任务处理模型，执行相应的视频处理任务。

相关技术下，在对多模态特征提取网络进行预训练时，通常采用遮挡部分特征，并基于剩余特征进行重构学习的方式，实现自监督训练。

然而，当前的预训练方式中，在预训练多模态特征提取网络时，仅能整体上粗粒度地建立不同模态数据之间的基本约束，而无法细粒度地约束不同模态数据之间深层次的对应关系，使得预训练得到的多模态特征提取网络无法实现对于视频相关的多模态特征的有效提取。

发明内容

本申请实施例提供一种多模态特征提取网络的预训练方法及装置，用以约束多模态特征提取网络提取多模态特征之间深层次的对应关系，提取有效的多模态特征。

本申请实施例提供的具体技术方案如下：

第一方面，提出一种多模态特征提取网络的预训练方法，包括：

获取训练样本集合，其中，每个训练样本包含不同模态的至少两种样本素材，一种模态对应多媒体数据的一种媒体形式；

采用所述训练样本集合，对预设的多模态特征提取网络进行多轮迭代预训练，其中，在基于一批训练样本进行一轮迭代过程中，执行以下操作：

基于所述多模态特征提取网络提供的多种候选模态，分别对每个训练样本进行特征提取，获得相应候选模态的候选模态特征，其中，每个候选模态特征包括：一种模态的样本素材的整体映射子特征，以及拆分所述一种模态的样本素材后得到的至少一个局部映射子特征；

从所述多种候选模态中选定目标模态，并基于所述目标模态对应的局部映射子特征之间的时序关系，分别生成每个局部映射子特征对应的重构特征；

基于所述目标模态对应的目标模态特征和至少一个重构特征，与各个其他候选模态特征之间的相似性关系，计算损失值，并基于所述损失值调整所述多模态特征提取网络的网络参数。

可选的，还包括：

将获取的待检索文本信息输入已训练的目标视频检索模型，获得所述目标视频检索模型输出的检索结果；

将所述检索结果指示的视频信息，确定为所述待检索文本信息对应的视频信息。

可选的，还包括：

基于预训练后的多模态特征提取模型，构建视频问答模型，并获取针对所述视频检索模型构建的问答样本集合，其中，一条问答样本中包括一个视频帧序列、提问文本信息，以及答复文本标签；

采用所述问答样本集合对所述视频问答模型进行多轮迭代训练，其中，在一轮迭代训练过程中，执行以下操作：

将视频帧序列和提问文本信息输入所述视频问答模型，得到输出的预测答复文本，并基于所述预测答复文本和答复文本标签之间的信息差异，调整模型参数。