[发明专利]生成信息的方法和装置

说明书

本申请实施例公开了生成信息的方法和装置。该生成信息的方法的一具体实施方式包括：获取待识别视频；采用视频理解技术理解待识别视频的内容，得到视频内容标签；采用文本数据分析技术分析待识别视频的文本，得到视频文本标签；基于视频内容标签和视频文本标签，确定待识别视频的语义标签。该实施方式可以通过视频内容理解和视频文本分析，自动抽取视频内容标签和视频文本标签，并基于视频内容标签和视频文本标签确定待识别视频的语义标签，有效提高待识别视频的语义标签的准确度和完整性。

技术领域

本申请涉及计算机技术领域，具体涉及计算机网络技术领域，尤其涉及生成信息的方法和装置。

背景技术

目前短视频已经成为人们获取信息的重要途径，短视频数量急剧增长，视频来源多样化，以及UGC(User Generated Content，用户原创内容)视频占比大幅增加，如何帮助用户快速找到感兴趣的视频，成为亟待解决的问题。目前的视频推荐和视频检索技术主要依赖于视频的文本信息，由于短视频文本信息偏少，如何基于视频内容构建通用描述信息，还没有成熟的解决方案。

现有的视频标签提取方案主要利用视频的标题数据，利用NLP(自然语言处理)的分词、词性分析、实体分析等技术，提取标题中的实体候选词。之后，利用针对某个场景的人工建立的知识库(通常是多级标签数据库)对候选词进行过滤之后，得到视频标签以及标签的上层类别信息。

发明内容

本申请实施例提供了生成信息的方法和装置。

第一方面，本申请实施例提供了一种生成信息的方法，包括获取待识别视频；采用视频理解技术理解待识别视频的内容，得到视频内容标签；采用文本数据分析技术分析待识别视频的文本，得到视频文本标签；基于视频内容标签和视频文本标签，确定待识别视频的语义标签。

在一些实施例中，采用视频理解技术理解视频内容，得到视频内容标签包括以下至少一项：将待识别视频输入视频分类模型，得到类别标签；逐帧检测待识别视频的视频帧内的人脸，将检测到的人脸与人脸库内的人脸样本进行匹配，获取与检测到的人脸相匹配的人脸样本的人物名标签和关联该人物名的人物信息标签；采用预先训练的动作检测模型，逐帧识别待识别视频的视频帧内的动作，得到动作信息，融合各帧的动作信息，得到动作标签；采用预先训练的识别分类模型，逐帧识别待识别视频的视频帧内的场景和实体并融合识别结果，得到视频帧内的场景标签和实体标签。

在一些实施例中，将待识别视频输入视频分类模型，得到类别标签包括：均匀抽取待识别视频的视频帧，得到待识别视频帧序列；采用图像分类网络对待识别视频帧序列进行特征提取，得到待识别视频的图像特征序列；抽取待识别视频的音频信号；将待识别视频的音频信号输入语音分类的卷积神经网络，对每秒的语音进行特征提取，得到待识别视频的语音特征序列；基于图像特征序列和语音特征序列，确定待识别视频对应各个标签的概率值；将概率值大于阈值的标签确定为待识别视频的类别标签。

在一些实施例中，基于图像特征序列和语音特征序列，确定待识别视频对应各个标签的概率值包括：将图像特征序列和语音特征序列输入预先训练的双流长短期记忆网络，得到待识别视频对应各个标签的概率值。

在一些实施例中，图像分类网络基于采用时序分段网络所建模的视频帧的特征和视频样本对应的标签训练得到；和/或语音分类的卷积神经网络基于以下步骤确定：提取视频样本的音频信号中的梅尔标度滤波器组特征；基于梅尔标度滤波器组特征和音频信号对应的标签，训练语音分类的卷积神经网络。

在一些实施例中，待识别视频的文本包括以下至少一项：待识别视频的标题文本；采用视频OCR检测待识别视频所得到的视频帧中的文本。

在一些实施例中，采用文本数据分析技术分析待识别视频的文本，得到视频文本标签包括：基于待识别视频的文本，从多级标签数据库中提取待识别视频的候选实体标签；基于NLP技术分析实体标签的词性和重要度，筛选得到视频文本标签。