[发明专利]内容自适应视频处理

说明书

背景技术

本申请一般涉及包括视频编码和解码的视频处理和用于图形处理单元的硬件加速。

在传统的视频处理应用中，例如视频编码器和解码器，在质量和速度之间存在权衡。一般来说，使用更加复杂的处理算法带来更好的质量，但是代价是速度或其他资源。

视频软件可以提供一个界面，以允许用户选择多个预定选项中的一个，以进行速度和质量的权衡。通过选择不同的模式或选项，视频软件使用不同的预定算法，从最快的、最简单的算法到最复杂、最慢的算法。那些预定算法中的每一个对于所有图片都使用相同的方法和参数。

附图说明

参照以下附图来描述一些实施例：

图1是本发明的一个实施例的高级流程图；

图2是本发明的更加详细实施例的流程图；

图3是本发明的一个实施例的系统示意图；以及

图4是根据本发明的一个实施例的系统的正视图。

具体实施方式

在一些实施例中，可以自动地快速地权衡视频质量和处理速度两者。因此，可以调用不同的方法和参数以实现速度和质量之间的动态变化平衡。

视频处理速度根据视频内容而变化。一些视频内容在本质上比其他内容需要更多的处理时间。例如，具有大量运动的视频图片通常比不具有运动的图片需要更多的时间。在视频编码或处理中，速度随着宏块、片段和/或帧而发生变化是常见的。

作为一个示例，在视频编码中，一些宏块与它们的邻居如此相似，以至于它们能够被编码为跳过或直接类型。因此，可以不需要耗时的运动搜索来获得最佳质量。在另一方面，一些宏块可能包含大量运动，以至于它们将需要半像素或者四分之一像素运动搜索来获得相同的质量。

在一些实施例中，速度计被用来进行性能状态的测量。速度计基本上记录已经花费了多少处理时间预算。接下来，基于速度计输出，系统基于性能状态自动地选择速度或质量路径。例如，用户或应用可以指定整体目标速度或目标质量。接下来，视频内核或软件在性能目标内最大化视频质量，或者在质量目标内最小化处理时间。

如本文所使用的，视频单元可以是视频数据的任意部分，包括像素、块、宏块、片段、图片或图片组。

在一些实施例中，视频内核或软件可以根据当前速度计动态地决定应当使用哪种算法用于视频处理。换而言之，如果之前的视频单元已经花费了比目标量或预算量多的时间，则针对当前宏块或图片选择更简单的或更快的算法。如果之前的视频单元已经花费了比目标少的时间，则可以将更复杂的并且更慢的算法应用于当前宏块或图片。例如，在媒体内核中，基于当前性能状态并基于处理的视频内容的复杂度，可以对于每个宏块或每个图片不同地实现分层运动搜索和其他特征的使能和禁止，以动态地调整视频编码或处理速度，并实现期望的速度和质量权衡。

在一些实施例中，给不同的视频内容自适应地提供不同的编码和处理时间。因为视频内容的时间可变编码或处理的本质，在一些实施例中可以提高性能和质量。

在一些实施例中，应用可以是编码、解码或其他视频处理，包括视频分析、硬件图形加速或者任何其他视频处理或媒体处理应用。

参见图1，初始地，在10处指示的用户或应用提供输入到系统，以选择用于视频处理的初始模式或设置参数，如方框12中所指示的。接下来，如方框14中所指示的，检查速度计状态，并且可以更新或改变初始选择作为缺省的模式或参数集合。可以使用确定当前时间状态的速度计来检查性能。例如，用户可以为给定的视频处理任务提供时间预算。在一个实施例中，该时间可以被平均地分配给一组视频单元。速度计指示当前序列相对于初始分配的时间预算位于何处。因此，如果花费了太多时间，那么当前时间状态将需要速度的提高，并且如果在预算上已经花费了较少的时间，则可以提高质量。

接下来，在方框16中，可以编码或处理一个视频单元，例如宏块、片段或图片。接下来，该流程迭代到下一个视频单元，检查性能并且更新所需的模式或参数集，如方框14中所指示的。在一些实施例中，可以改变的模式包括导致不同质量或速度水平的模式。可能改变的参数的例子包括参考数量、运动搜索方法、重构的图片、栅格量化、多向预测、宏块或子宏块划分选择以及任意其他可能影响速度或质量的参数。

参见图2，序列20可以在视频处理期间被用来动态调整不同类型的内容。可以通过软件、固件和/或硬件来实现序列20。例如，其可被实现在视频应用或视频内核中。在软件和固件实施例中，其可以被实现为存储在诸如半导体、磁或光存储器等的非暂时性计算机可读媒介中的计算机可执行指令。