[发明专利]一种基于音频智能识别搜索节目的方法

权利要求书

1.一种基于音频智能识别搜索节目的方法，其特征在于，包括以下步骤：

1）将节目视频文件中存在诸多不同纬度的数据特征，通过深度采集视频数据信息，包含图像、音频、文本；

2）对基础数据的类型及格式进行数据结构化预加工处理：清洗、筛选、转换、排序等；

3）根据多模态特征融合理解结果对视频文件进行智能打标，输出多维度视频标签信息：音频指纹、视频片段关键词、对应时间戳的字幕，根据对文本的标记，并对相应视频进行自动标签、归类，形成媒资标签体系库；

4）基于语音识别、语义理解技术，训练模型，构建语法，指定使用语法；

5）唤醒设备，对终端设备说出指令词或音频数据，进行指令解析，提取关键词，识别其意图；进行识别检索，基于标签体系，识别结果只在指令信息列表中匹配；

6）反馈识别结果，包含该指令信息中的所有节目或直接定位到对应台词、画面所在时间位置，以供用户选择或直接观看。

2.根据权利要求1所述的基于音频智能识别搜索节目的方法，其特征在于，所述步骤2中基础数据的类型及格式进行数据结构化预加工处理具体步骤如下：

2-1）对视频图像以CNN的网络结构实现VLAD算法，NetVLAD可以通过聚类中心将视频序列特征转化为多个视频镜头特征，图像特征序列用LSTM建模时序关系，输出是序列预测，Activity Recognition输出该段视频对应的标签；Image Description输出对图像的描述；Video Description输出对视频的描述，然后通过可以学习的权重对多个视频镜头加权求和获得全局特征向量；

2-2）对于音频信息，从视频中分离音频信号，使用VGGish提取音频特征序列，使用NetVLAD提取不同镜头对应的音频特征，输出音频分类，语音转文本和歌曲音频指纹等；识别标点预测和智能断句，多语言及方言素材的语音信息提取，然后通过可学习的权重融合生成音频模态的全局特征向量；

2-3）对于文本信息，将视频文字信息提取算法以OCR为基础模型，通过自然语言处理NLP算法模型进行预处理和后处理，智能识别视频中核心的文字内容信息，过滤其他干扰文字内容，并输出标题、人物和字幕三类文本内容和文本类别。