[发明专利]多媒体信息识别方法、装置、电子设备及存储介质

说明书

本发明提供了一种多媒体信息识别方法，包括：本发明对待识别的多媒体信息中的文本进行文本提取处理，确定与多媒体信息相匹配的文本特征向量；对多媒体信息进行图像提取处理，确定与多媒体信息相匹配的图像特征向量；对文本特征向量和所述图像特征向量分别进行过滤处理；对文本特征向量和图像特征向量的过滤处理结果进行特征融合处理，确定相应的融合特征向量；基于所述融合特征向量，对待识别的多媒体信息进行识别，获得多媒体信息的识别结果，由此，不但通过文本信息和图像信息的结合实现对多媒体信息的识别，同时通过特征信息的过滤处理使得冗余信息和错误信息更少，提升了识别结果的准确性，减少由于错误识别造成的用户的体验感下降。

技术领域

本发明涉及信息处理技术，尤其涉及多媒体信息识别方法、装置、电子设备及存储介质。

背景技术

传统技术中，各类资讯推荐系统向用户推荐相应的资讯过程中可以对所要推荐的多媒体信息进行识别，以新闻短文为例，对于新闻短文分类，可以仅使用新闻短文中的文本模态信息来进行分类，例如通过CNN系模型(TextCNN、DPCNN)或RNN系模型(TextRNN、TextRCNN)来对新闻短文中的向量化文本进行内容特征提取，并基于所提取的内容特征信息来对新闻短文进行分类。但是使用新闻短文中的文本模态信息来进行分类，并未考虑短文中有用的图像模态信息，并且所提取的新闻短文内容特征信息可能包含一些错误和冗余的信息，干扰信息分类的准确性。

发明内容

有鉴于此，本发明实施例提供一种多媒体信息识别方法、装置、电子设备及存储介质，本发明实施例的技术方案是这样实现的：

本发明提供了一种多媒体信息识别方法，所述方法包括：

获取待识别的多媒体信息，其中所述待识别的多媒体信息包括文本与图像；

对所述待识别的多媒体信息中的文本进行文本提取处理，确定与所述多媒体信息相匹配的文本特征向量；

通过对所述多媒体信息进行图像提取处理，确定与所述多媒体信息相匹配的图像特征向量；

对所述文本特征向量和所述图像特征向量分别进行过滤处理，获得文本特征向量过滤处理的结果和图像特征向量的过滤处理结果；

通过对所述文本特征向量过滤处理的结果和所述图像特征向量的过滤处理结果进行特征融合处理，确定相应的融合特征向量；

基于所述融合特征向量，对所述待识别的多媒体信息进行识别，获得所述多媒体信息的识别结果。

本发明实施例还提供了一种多媒体信息识别装置，所述装置包括：

信息传输模块，用于获取待识别的多媒体信息，其中所述待识别的多媒体信息包括文本与图像；

信息处理模块，用于对所述待识别的多媒体信息中的文本进行文本提取处理，确定与所述多媒体信息相匹配的文本特征向量；

所述信息处理模块，用于通过对所述多媒体信息进行图像提取处理，确定与所述多媒体信息相匹配的图像特征向量；

所述信息处理模块，用于对所述文本特征向量和所述图像特征向量分别进行过滤处理，获得文本特征向量过滤处理的结果和图像特征向量的过滤处理结果；

所述信息处理模块，用于通过对所述文本特征向量过滤处理的结果和所述图像特征向量的过滤处理结果进行特征融合处理，确定相应的融合特征向量；

所述信息处理模块，用于基于所述融合特征向量，对所述待识别的多媒体信息进行识别，获得所述多媒体信息的识别结果。

上述方案中，

所述信息处理模块，用于通过多媒体信息识别模型的文字信息处理网络，提取与所述多媒体信息的文本内容相匹配的特征向量；