[发明专利]一种视听内容检索方法及系统

说明书

本发明公开了一种视听内容检索方法，包括：获取视听原始数据；将视听原始数据按特定格式封装成视听文件，将视听文件存储在文件库；对视听原始数据进行识别处理，输出识别文本；获取与识别文本相对应的描述信息及时间戳；将视听文件的路径信息、识别文本、描述信息及时间戳封装成比对数据体，将比对数据体存储在数据库中；获取用户检索请求，并判断检索请求与数据库中的比对数据体是否匹配，判断为是时，调取比对数据体所对应的视听文件，并对视听文件进行跳转播放。相应地，本发明公开了一种视听内容检索系统。采用本发明，以视听原始数据的识别文本及对应的时间戳建立检索比对数据库，可提高检索效率并满足不同检索偏好。

技术领域

本发明涉及数据检索技术，尤其涉及一种视听内容检索方法及系统

背景技术

随着多媒体技术和网络技术的飞速发展，人们的学习形式呈现多样化。其中，教学视频打破了时间和空间的限制，方便学生在任何时间和地点进行学习，且获取和传播变得越来越容易，已经逐渐成为教学资源传播的主要载体之一。目前，教学视频的数量也在急速增加。因此，对教学视频进行有效检索，对提高学习效率有着重要的影响。

传统的视频检索方法包括基于文字标识符的检索方法以及基于内容的检索方法。其中，基于文字标识符的检索方法就是人工对视频添加文字标识符，例如增加视频标题、描述内容。搜索时，匹配视频的标题和描述内容，就可以查找到目标视频。基于内容的检索方法利用视频镜头检测技术、关键帧提取技术、视频特征提取技术，对视频流中各镜头提权关键帧，并进行特征提取后，还要建立基于视频特征的索引。通过索引，就可以利用基于关键帧特征，或基于镜头动态特征，或是二者相结合对视频进行检索和浏览了。

现有的视听内容检索方法具有以下缺点：

基于文字标识符的检索方法需要人工对视频添加文字标识符后才能进行搜索，工作量巨大、效率很低。基于文字标识符的检索方法不能对视频中的内容进行检索，容易会让用户错过符合搜索要求的视频。该检索方法需要用户手动拖动进度查看某个关键知识点，不方便用户使用教学视频。

基于内容的视频检索方法主要应用在安防监控的视频回放中，只能搜索基于视频特征建立的索引，没建立索引的部分不能被搜索，这种方法不适合应用在教学视频应用平台，因为不同的用户对同个视频的感兴趣的部分不同，很难事先建立索引。

发明内容

本发明所要解决的技术问题在于，提供一种视听内容检索方法及系统，通过识别视听原始数据，以识别结果及对应的时间戳为基础建立检索比对数据库，极大地提高检索效率和满足不同用户的检索偏好。

为了解决上述技术问题，本发明提供一种视听内容检索方法，包括：获取视听原始数据；将视听原始数据按特定格式封装成视听文件，将视听文件存储在文件库；对视听原始数据进行识别处理，输出识别文本；获取与识别文本相对应的描述信息及时间戳；将视听文件的路径信息、识别文本、描述信息及时间戳封装成比对数据体，将比对数据体存储在数据库中；获取用户检索请求，并判断检索请求与数据库中的比对数据体是否匹配，判断为是时，从文件库调取比对数据体所对应的视听文件，并对视听文件进行跳转播放。

作为上述方案的改进，视听原始数据包括视频原始数据，将视听原始数据按特定格式封装成视听文件的步骤包括：对视频原始数据进行缩放、画面合成和编码处理，生成标准视频数据；按视频格式将标准视频数据封装成视听文件。

作为上述方案的改进，对视听原始数据进行识别处理，输出识别文本的具体步骤包括：从模型库中导入VGG-19卷积神经网络模型；将视频原始数据输入到VGG-19卷积神经网络模型的第一卷积层；通过VGG-19神经网络模型对视频原始数据进行卷积处理，输出识别文本。

作为上述方案的改进，视听原始数据包括音频原始数据，将视听原始数据按特定格式封装成视听文件的步骤包括：对音频原始数据进行编码处理，生成标准音频数据；按音频格式将标准音频数据封装成视听文件。