[发明专利]一种字幕检测及提取的方法及设备

说明书

技术领域

本发明涉及视频分析领域，具体涉及字幕检测及提取的方法及设备。

背景技术

电视节目是人们获取信息的重要途径之一，而视频中的标题字幕往往囊括了该视频的主要内容。如果能把字幕提取出来，那么对于将视频分类整理、快速搜索，都有很大的好处。在信息社会，人们面对大量的数字图像和众多的新闻资料使得人们查找到感兴趣的新闻内容越来越困难，再加上时间和精力有限，人工识别出这些字幕是极其费时、费力的。而且数据量巨大，字幕检测比较困难，视频图像复杂时，字幕特征与其近似很多并且字幕运动多样，较难准确定位。因此急需一种视频搜索引擎，以便能高效、准确地找到自己喜爱的主题，如何提高提取出的字幕信息的准确率。

发明内容

有鉴于此，本发明的一个目的是提供一种字幕检测及提取的方法及设备，自动化地对海量视频节目进行分类和管理，改变传统视频节目的手工存库/检索模式，提高效率，提高提取出的字幕信息的准确率。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

本发明的一个目的是提供的一种字幕检测及提取的方法，包括：

检测某帧图像是否有字幕存在；

定位字幕的位置，并产生一个包括字幕的框；

将字幕区域中的字符增强；

对视频字幕区域中的字符进行自适应分割以形成单个字符；

将分割得到的单个字符通过OCR识别得到当前视频帧相关的文本信息。

在一些可选的实施例中，所述检测某帧图像是否有字幕存在具体包括以下步骤：

场景转换检测；

字幕或标题出现和消失帧的检测；

求字幕或标题出现帧域其前一帧的差影图像；

特征提取与分类；

字幕区域的产生；

字幕区域的验证。

在一些可选的实施例中，所述字幕定位确定字幕的位置包括：

选择能够将字幕与背景区别开的字幕特征；

采用算法提取字幕特征；

聚集空间相邻的特征点形成区域；

用字母的另一些特征除去一些不可能是字幕的区域得到候选区字幕区域；

用字母的一些特征对候选字幕区域进行验证以得到真正的字幕区域。

在一些可选的实施例中，所述将字幕区域中的字符增强，具体包括：单帧字幕区域增强和多帧字幕区域增强。

在一些可选的实施例中，所述将字幕从背景中分割出来，具体是通过对字幕区域动态布局局部阈值二值化，候选区域增强、垂直投影区域探测完成单个字符的自适应分割。

本发明的一个目的是提供一种字幕检测及提取的设备，其特征在于，包括：

字幕帧检测单元，用于判断某帧图像是否有字幕存在；

字幕定位单元，用于确定字幕的位置，并产生一个包括字幕的框；

字幕增强单元，用于将字幕区域中的字符增强；

字幕分割单元，用于对视频字幕区域中的字符进行自适应分割以形成单个字符；

字符识别单元，用于将分割得到的单个字符通过OCR识别得到当前视频帧相关的文本信息。

在一些可选的实施例中，所述字幕帧检测单元具体采用时空切片的镜头检测方法进行检测，所述时空的方法包括以下步骤：

场景转换检测；

字幕或标题出现和消失帧的检测；

求字幕或标题出现帧域其前一帧的差影图像；

特征提取与分类；

字幕区域的产生；

字幕区域的验证。

在一些可选的实施例中，所述字幕定位包括：

选择能够将字幕与背景区别开的字幕特征；

采用算法提取字幕特征；

聚集空间相邻的特征点形成区域；

用字母的另一些特征除去一些不可能是字幕的区域得到候选区字幕区域；

用字母的一些特征对候选字幕区域进行验证以得到真正的字幕区域。

在一些可选的实施例中，所述字幕增强单元具体用于单帧字幕区域增强和多帧字幕区域增强。

在一些可选的实施例中，所述字幕分割单元采用投影法对字幕进行分割，并对分割后的字幕进行插值放大、二值化、字符分隔。

采用本发明的方法和装置，有如下效果：