[发明专利]用图像帧中检测到的文本信息分析视频内容的系统和方法

说明书

相关申请

本申请跟1999年1月28日提交，标题为“视频中文本信息检测和定位的方法和装置”的第60/117658号美国临时专利申请中公开的内容有关，该专利被共同转让给本发明的受让人。这里将这一相关临时专利申请的内容全部引入作为参考，就象它的内容就在本申请中一样。

技术领域

总的来说，本申请涉及视频处理系统，更具体地说，涉及一种系统，用于在检测到的视频内容中文本属性的基础之上，分析视频流，找出其特征。

发明背景

数字电视(DTV)的出现、因特网的普及以及象激光唱盘(CD)和数字化视频光盘(DVD)播放机这样的消费多媒体电子产品的引入，为消费者提供了大量多媒体信息。随着视频内容越来越容易获得以及访问这些视频内容的产品进入消费市场，对大量的多媒体数据进行搜索、编制索引和识别变得更加重要，更加富有挑战性。

许多出版物中都介绍了为视频信号编制索引和分类的系统和方法，包括：M.Abdel-Mottaleb等的“CONIVAS：基于内容的图像和视频访问系统”，ACM多媒体论文集，第427～428页，波士顿，1996年；S-F Chang等等的“视频Q：基于内容利用视觉线索的自动视频搜索系统”，ACM多媒体论文集，第313～324页，西雅图，1994年；M.Christel等等的“信息数字视频库”，ACM评论，第38卷，第4期，第57～58页，1995年；N.Dimitrova等等的“消费装置中的视频内容管理”，IEEE知识和数据工程学报，1998年11月；U.Gargi等等“在数字视频数据库中为文本事件编制索引”，模式识别国际会议，布里斯班，第916～918页，1998年8月；M.K.Mandal等等的“利用矩和小波的图像索引编制”，IEEE消费电子学报，第42卷，第3期，1996年8月；以及S.Pfeiffer等等的“数字运动的自动摘要提取”，视觉通信和图像表示杂志，第7卷，第4期，第345～353页，1996。

在视频流中检测广告也是一个非常活跃的研究领域。见R.Lienhart等等“关于电视广告的检测和识别”，IEEE多媒体计算和系统国际会议论文集，第509～516页，1997；以及T.McGee等等“对电视节目进行分析以识别和剔除非情节片断”，SPIE图像和视频数据库中的存储和读取会议，San Jose，1999年1月。

文件图像中的文本识别在本领域中众所周知。文件扫描仪和有关的光学字符识别(OCR)软件俯拾即是，大家也十分了解。然而，图像帧中的文本检测和识别却是少见的难题，跟印刷文件相比，需要完全不同的方法。印刷文件中的文本常常仅限于均匀背景(普通纸)上的单色字符，通常只需要简单的阈值处理算法将文本跟背景分离。相反，按比例缩小的视频图像中的字符带有很多的噪声分量，包括无控制的照明状态。还有，背景会频繁地移动，文本字符会有不同的颜色、大小和字体。

Ohya等等在1994年2月IEEE模式分析和机器智能学报第16卷第214～224页上的文章“在场景图像中的识别字符”，介绍了如何用本地阈值处理提取字符，以及通过在相邻区域之间评估灰度级差别来检测包含字符的图像区域。Ohya等等还公开了合并具有相近和相似灰度级的检测到的区域，从而产生字符模式候选对象的方法。

A.Hauptmann等等在1995年秋季AAAI语言和视觉集成计算模型学术讨论会上的文章“视频片断的文本、语音和视觉：信息媒体计划”中，介绍了如何利用视频文本的空间环境和高对比度特性来合并相互邻近，具有水平和垂直边缘的区域从而检测文本。R.Lienhart和F.Suber在1996年1月的SPIE图像和视频处理会议上的文章“视频索引的自动文本识别”，讨论了在视频图像中减少颜色数量的一种非线性红、绿、蓝(RGB)颜色系统。随后的分裂和合并过程产生了具有相似颜色的均匀片断。Lienhart和Suber采用各种试探方法来检测均匀区域中的字符，包括前景字符、单色或者硬字符、尺寸受限字符和跟周围区域相比具有高对比度的字符。