[发明专利]一种基于神经网络的多模态协同学习方法及装置

权利要求书

1.一种基于神经网络的多模态协同学习方法，其特征在于，该方法包括：

S1抓取短视频数据建立短视频数据集，所述短视频数据包括用户历史发布的短视频及其附属信息；

S2提取短视频数据集中短视频数据的多模态特征，并针对各个模态特征进行信息补足；

S3依次将各个模态特征中任一模态特征作为主模态，其余作为辅模态，并计算主模态和辅模态的关系权重，分别进行同一性特征信息与补充性特征信息分类，将补充性特征信息和通过神经网络增强的同一性特征信息进行信息重组；

S4建立关注机制网络，区分每一个重组后的模态特征信息对短视频所属场景分类的贡献程度，利用神经网络进行短视频场景分类；所述关注机制网络包括各模态的关注度矩阵，所述关注度矩阵的列代表场景，行代表模态特征，所述关注度矩阵中的每个元素代表该模态特征对该场景分类的贡献程度。

2.如权利要求1所述的一种基于神经网络的多模态协同学习方法，其特征在于，在所述步骤S1中，所述抓取短视频数据建立短视频数据集的具体步骤包括：

S11抓取活跃用户作为种子用户，形成种子池，通过宽度优先搜索法抓取每个种子用户的关注者用户，扩充种子池；

S12抓取种子池中每个用户历史发布的短视频及其附属信息，所述附属信息包括发布者、文本描述、观看次数、转发次数、点赞次数和地理信息。

3.如权利要求1所述的一种基于神经网络的多模态协同学习方法，其特征在于，所述步骤S2的具体步骤包括：

S21提取短视频数据集中短视频数据的多模态特征，所述短视频数据的多模态特征包括图像模态特征、音频模态特征和文本模态特征；

S22通过矩阵分解法进行所述音频模态特征和文本模态特征的信息补足。

4.如权利要求1所述的一种基于神经网络的多模态协同学习方法，其特征在于，在本方法中，所述步骤S3通过建立协同学习网络，增强各个模态的表达能力，具体步骤包括：

S31依次将各个模态特征中任一模态特征作为主模态，其余作为辅模态；

S32通过将主模态和辅模态输入神经网络中计算主模态和辅模态的关系权重，得到主模态分值向量和辅模态分值向量；

S33进行同一性特征信息与补充性特征信息分类，得到主模态和辅模态的同一性向量和补充性向量；

S34将主模态和辅模态辅模态的同一性分值向量通过神经网络进行增强；

S35将补充性特征信息和通过神经网络增强的同一性特征信息进行信息重组。

5.如权利要求4所述的一种基于神经网络的多模态协同学习方法，其特征在于，所述步骤S33的具体步骤包括：

S331预设主模态训练阈值和辅模态训练阈值，并根据该主模态训练阈值和辅模态训练阈值分别将主模态分值向量和辅模态分值向量分为同一性分值向量和补充性分值向量；

S332将主模态和辅模态的同一性分值向量和补充性分值向量与原主模态和辅模态分别进行元素对应乘积运算，得到主模态和辅模态的同一性向量和补充性向量。

6.如权利要求1所述的一种基于神经网络的多模态协同学习方法，其特征在于，所述步骤S4的具体步骤包括：

S41建立各模态的关注度矩阵，所述关注度矩阵的列代表场景，行代表模态特征，所述关注度矩阵中的每个元素代表该模态特征对该场景分类的贡献程度；利用关注度矩阵对原特征进行加权，并通过神经网络计算得到各模态的区别特征；

S42利用神经网络进行场景分类，将各模态的区别特征输入神经网络，得到各模态在分类场景中的概率分布和不同场景分类的概率标签向量，将各个模态的概率标签向量进行融合和损失补偿，得到短视频场景分类结果。

7.一种计算机可读存储介质，其中存储有多条指令，其特征在于，所述指令适于由终端设备的处理器加载并执行根据权利要求1-6中任一项所述的一种基于神经网络的多模态协同学习方法。