[发明专利]一种信息监测方法及装置、电子设备、存储介质

权利要求书

1.一种信息监测方法，其特征在于，包括：

获取待监测信息；所述待监测信息包括多种模态的信息；

确定所述多种模态的信息分别对应的模态信息特征；每种模态的信息对应至少一种模态信息特征；

根据所述多种模态的信息分别对应的模态信息特征和预先训练好的多模态信息识别模型确定所述待监测信息的监测结果；所述监测结果用于表征所述待监测信息是否为敏感信息；

其中，所述预先训练好的多模态信息识别模型包括：特征融合层，用于将多种模态的信息分别对应的模态信息特征进行融合；所述特征融合层包括：单模态特征处理层、多模态特征处理层和特征整合层；

所述单模态特征处理层用于对各种模态的信息对应的模态信息特征分别进行处理；

所述多模态特征处理层包括第一模态特征处理层和第二模态特征处理层，所述第一模态特征处理层用于基于任意两种模态信息之间的关联关系对该两种模态的信息分别对应的模态信息特征进行处理，所述第二模态特征处理层用于基于任意三种模态信息之间的关联关系对该三种模态的信息分别对应的模态信息特征进行处理；

所述特征整合层用于基于处理后的单模态特征和处理后的多模态信息特征进行特征融合，获得融合特征。

2.根据权利要求1所述的信息监测方法，其特征在于，所述多种模态的信息包括：图像信息、文本信息、音频信息和视频信息；其中，图像信息对应的模态信息特征为图像特征，文本信息对应的模态信息特征为文本特征，音频信息对应的模态信息特征为音频特征，视频信息对应的模态信息特征包括图像特征和音频特征。

3.根据权利要求1或2所述的信息监测方法，其特征在于，所述预先训练好的多模态信息识别模型还包括预测层；所述根据所述多种模态的信息分别对应的模态信息特征和预先训练好的多模态信息识别模型确定所述待监测信息的监测结果，包括：

通过所述特征融合层将所述多种模态的信息分别对应的模态信息特征进行融合，获得融合特征；

通过所述预测层基于所述融合特征确定所述待监测信息的监测结果。

4.根据权利要求3所述的信息监测方法，其特征在于，所述通过所述特征融合层将所述多种模态的信息分别对应的模态信息特征进行融合，获得融合特征，包括：

通过所述单模态特征处理层对各种模态的信息对应的模态信息特征分别进行处理，获得处理后的单模态信息特征；

通过所述多模态特征处理层基于所述多种模态的信息之间的关联关系对所述多种模态的信息分别对应的模态信息特征进行处理，获得处理后的多模态信息特征；

通过所述特征整合层基于所述处理后的单模态特征和所述处理后的多模态信息特征进行特征融合，获得所述融合特征。

5.根据权利要求3所述的信息监测方法，其特征在于，所述信息监测方法还包括：

获取所述特征融合层输出的所述融合特征；

根据所述待监测信息的监测结果确定所述融合特征的分类标识；

根据所述融合特征的分类标识存储所述融合特征；存储的融合特征用于对所述预先训练好的多模态信息识别模型进行优化训练。

6.根据权利要求1所述的信息监测方法，其特征在于，所述预先训练好的多模态信息识别模型包括：不同模态的信息分别对应的特征提取层；所述确定所述多种模态的信息分别对应的模态信息特征，包括：

通过各种模态的信息分别对应的特征提取层确定各种模态的信息分别对应的模态信息特征。

7.根据权利要求1所述的信息监测方法，其特征在于，所述信息监测方法还包括：

获取训练数据集；所述训练数据集中包括：多种模态的样本信息分别对应的样本信息特征以及各个样本信息特征对应的分类标识，所述分类标识用于表征样本信息特征对应的样本信息是否为敏感信息；

基于所述训练数据集对初始的多模态信息识别模型进行训练，获得训练好的多模态信息识别模型。