[发明专利]用于数字基带视频中的丢失帧检测的启发式方法

说明书

技术领域

本公开涉及视频分析，并且更特别地，涉及检测视频流中何时已经丢失视频帧。

背景技术

视频或者视频流是顺序图像帧的集合。有时，由于多种因素中的任意因素，在视频传送期间一些帧可能被丢失，并使得到的视频在质量上受到影响。例如，由于低带宽传输信道、高编码复杂度，或甚至在从基于磁带的工作流转换到基于文件的工作流期间，帧可能被丢失。

一一种视频质量测量度量被称为体验质量(QOE)，其将一个数值归于视频或者视频的一部分。由于观看包括了相当大数量的丢失帧的视频对用户而言是失望的并且不是愉快的观看体验，因此丢失帧降低了QOE。

附图1中图示出了描绘丢失帧的典型情况。帧1、2和3存在于视频中，而帧4-7已经丢失。该视频从帧8继续。

自动丢失帧检测是一个要解决的固有难题，这是因为存在大量的因素，例如，视频中运动的数量、视频内容的特性、由于闪光或者视频中的其他原因引起的大的亮度变化、感觉到的抖动的主观特性、源处的获取帧率、以及丢失帧本身的数量。

在由Steven Wolf提出，题目为“A no-reference（NR)and reduced reference (RR)metric for detecting dropped video frames”，并且包括在2009年1月的“Proceeding of the Fourth Intemational Workshop on Video Processing and Quality Metrics for Consumer Electronics”中的文章中，描述了一种解决自动帧丢失检测的问题的尝试。报导的方法利用了跨越视频序列的N帧的“运动能量时间历史”。随后其使用这一信息来生成一个阈值，以确定视频帧是否被丢失。这一方法的潜在缺点是其仅仅依赖于视频帧的亮度变化，并且忽视了其他可能的失真。而且，这一方法在计算“运动能量时间历史”时，仅对全局”帧级别起作用。

本发明的实施例解决了现有技术的这些以及其他局限性。

发明内容

本发明的实施例解决了现有技术中对于检测视频流中的丢失帧的不足。根据本发明的实施例的用于检测视频中丢失帧的视频检测器可包括：质量测量器，其被构造为生成在当前帧和先前帧之间的过渡的质量度量，动态阈值生成器，其被构造为基于在当前帧内的块的比较来生成阈值，以及标识器，其被构造为基于差值和阈值之间的比较来将视频帧指示为具有丢失帧。此外，本发明的实施例可包括用于检测视频流中的丢失帧的方法。示例方法可包括首先确定从先前帧向当前帧的过渡的质量度量，然后将该质量度量与阈值差分水平进行比较。然后，当质量度量满足或者超出阈值差分水平时，该方法指示在视频帧的流中存在丢失帧。下面描述检测丢失帧的视频检测器和方法的其他变形。

附图说明

图1图示出了通过本发明的实施例可被确定为具有丢失帧的视频中的单个场景的一系列视频帧。

图2图示出了由本发明的实施例所使用的由丢失帧引起的时间差异。

图3图示出了通过本发明的实施例不可被确定为具有丢失帧的视频中的两个场景的一系列视频帧。

图4是图示出了根据本发明的实施例的检测视频中丢失帧的示例方法的流程图。

图5是图示出了根据本发明的实施例的获取动态阈值水平的示例方法的流程图。

图6是图示出了根据本发明的实施例的被构造为识别视频的丢失帧的视频检测器的部件的框图。

具体实施方式

结构相似性索引度量(SSIM)是用于评价视频的客观质量度量，并且在Z.Wang等提出的，题目为“Image Quality Assessment：From Error Visibility to Structural Similarity”，并在“IEEE Transactions on Image Processing,Vol.13，No.4，2004年4月”中公布的文章中被一般性描述，并且该文章通过引用被并入本文中。

SSIM已经仅被用作为一种质量度量，以评估原始帧和应用了有损视频压缩技术之后的对应压缩帧之间的失真。然而，本发明的实施例，首先将SSIM的概念扩展到帧之间的过渡之一，然后检查关于生成的SSIM的质量，从而帮助确定考虑中的视频中是否已经丢失帧。

已知SSIM来对人类视觉系统(HVS)进行建模，因为其在评价两个视频帧时，考虑了亮度(L)、对比度(C)以及结构(S)上的变化。分量L、C和S中的每个被定义如下：