[发明专利]一种多模态特征提取网络的预训练方法及装置

权利要求书

1.一种多模态特征提取网络的预训练方法，其特征在于，包括：

获取训练样本集合，其中，每个训练样本包含不同模态的至少两种样本素材，一种模态对应多媒体数据的一种媒体形式；

采用所述训练样本集合，对预设的多模态特征提取网络进行多轮迭代预训练，其中，在基于一批训练样本进行一轮迭代过程中，执行以下操作：

基于所述多模态特征提取网络提供的多种候选模态，分别对每个训练样本进行特征提取，获得相应候选模态的候选模态特征，其中，每个候选模态特征包括：一种模态的样本素材的整体映射子特征，以及拆分所述一种模态的样本素材后得到的至少一个局部映射子特征；

从所述多种候选模态中选定目标模态，并基于所述目标模态对应的局部映射子特征之间的时序关系，分别生成每个局部映射子特征对应的重构特征；

基于所述目标模态对应的目标模态特征和至少一个重构特征，与各个其他候选模态特征之间的相似性关系，计算损失值，并基于所述损失值调整所述多模态特征提取网络的网络参数。

2.如权利要求1所述的方法，其特征在于，所述至少两种样本素材包括视频帧序列及关联的文本信息，所述多模态特征提取网络中包括视频模态特征提取子网络和文本模态特征提取子网络；

所述基于所述多模态特征提取网络提供的多种候选模态，分别对每个训练样本进行特征提取，获得相应候选模态的候选模态特征，包括：

基于所述视频模态特征提取子网络，分别对每个视频帧序列进行特征提取，得到相应的视频模态特征；

基于所述文本模态特征提取子网络，分别对每个视频帧序列关联的文本信息进行特征提取，得到相应的文本模态特征。

3.如权利要求2所述的方法，其特征在于，所述基于所述视频模态特征提取子网络，分别对每个视频帧序列进行特征提取，得到相应的视频模态特征，包括：

基于所述视频模态特征提取子网络，对每个视频帧序列进行特征提取，获得所述视频帧序列对应的视频整体映射子特征；

获取对应拆分后的所述视频帧序列得到的至少一个视频局部映射子特征，其中，每个视频局部映射子特征对应由所述视频帧序列拆分得到的一个视频帧序列子段；

将所述视频整体映射子特征和所述至少一个视频局部映射子特征确定为相应的视频模态特征。

4.如权利要求2所述的方法，其特征在于，所述基于所述文本模态特征提取子网络，分别对每个视频帧序列关联的文本信息进行特征提取，得到相应的文本模态特征，包括：

基于所述文本模态特征提取子网络，针对每个视频帧序列关联的文本信息进行特征提取，获得对应的文本整体映射子特征；

获取对应拆分后的文本信息得到的至少一个文本局部映射子特征，其中，每个文本局部映射子特征对应由所述文本信息拆分得到的一个文本子信息；

将所述文本整体映射子特征和所述至少一个文本局部映射子特征确定为相应的文本模态特征。

5.如权利要求3所述的方法，其特征在于，所述目标模态为视频模态；所述基于所述目标模态对应的局部映射子特征之间的时序关系，分别生成每个局部映射子特征对应的重构特征，包括：

针对每个视频局部映射子特征，根据与所述视频局部映射子特征之间满足时序位置约束条件的一个其他视频局部映射子特征，生成所述视频局部映射子特征的重构特征。

6.如权利要求2所述的方法，其特征在于，所述目标模态为视频模态，所述基于所述目标模态对应的目标模态特征和至少一个重构特征，与各个其他候选模态特征之间的相似性关系，计算损失值，包括：

基于每个视频模态特征中的视频整体映射子特征，与各个文本模态特征中的文本整体映射子特征之间的相似性关系，计算第一比对子损失；

基于每个视频模态特征中的视频局部映射子特征，与各个文本模态特征中文本局部映射子特征之间的相似性关系，计算第二比对子损失；

基于每个重构特征，与所述文本模态特征中文本局部映射子特征之间的相似性关系，计算第三比对子损失，并基于所述第一比对子损失、第二比对子损失，以及所述第三比对子损失，计算损失值。