[发明专利]用于应用感知和内容感知的实时视频编码的系统和方法

说明书

本申请涉及用于应用感知和内容感知的实时视频编码的系统和方法。所公开的计算机实现的方法可以包括(i)接收用于编码的视频流，(ii)确定视频流与应用相关联，(iii)分析视频流以用语义类别来标记视频流内的帧的一个或更多个区域，(iv)至少部分地基于与视频流相关联的应用来确定语义类别的优先化，以及(v)至少部分地基于语义类别的优先化，将编码资源分配给帧的一个或更多个部分，帧的该一个或更多个部分包括帧的一个或更多个区域的至少一部分。还公开了各种其他方法、系统和计算机可读介质。

附图简述

附图示出了许多示例性实施例，并且是说明书的一部分。这些附图结合以下描述一起展示并解释了本公开的各种原理。

图1是用于应用感知的(application-aware)实时视频编码的示例性系统的框图。

图2是用于应用感知的实时视频编码的示例性方法的流程图。

图3是示例性语义标记视频帧(semantically tagged video frame)的图示。

图4是图3的示例性语义标记视频帧的块的图示。

图5是根据语义标记对图4的块进行基于应用的加权的图示。

图6是根据语义标记对图4的块进行可选的基于应用的加权的图示。

图7是根据图6的基于应用的加权来自适应地编码图3的语义标记视频帧的示例性的一趟(one-pass)过程的图示。

图8是用于在一趟中对视频帧进行应用感知和内容感知(content-aware)的自适应编码的系统的框图。

在所有附图中，相同的参考符号和描述表示相似但不一定相同的元素。虽然本文描述的示例性实施例易于进行各种修改和替代形式，但是特定实施例已经通过附图中的示例示出，并且将在本文详细描述。然而，本文描述的示例性实施例不旨在限于所公开的特定形式。相反，本公开覆盖了落入所附权利要求的范围内的所有修改、等同物和替代物。

示例性实施例的详细描述

就网络带宽和处理能力而言，流式视频(streaming video)可能是资源密集型的。因此，对视频流进行编码(特别是用于实时传输)可能涉及降低比特率和/或使用牺牲质量或速度以及处理效率的压缩技术。为了充分利用有限的带宽和处理能力，系统(例如本文所述的那些系统)可以识别视频帧内的内容，并且将更多的资源(例如，更多的比特和/或更多的处理能力)投入到具有相关内容的视频帧的部分。然而，同一类型的内容可能在所有上下文中不总是同等相关的。例如，视频流中的人脸可能经常是相关的，但是在某些上下文中，其他细节可能更重要，例如文本或一个人正在精细操纵的对象。通过将资源投入到视频流中更真实的人脸渲染中，在上下文中可能更重要的其他元素可能被较低保真度的渲染所忽略或甚至牺牲。因此，本文描述的系统和方法可以是应用感知的，以确定哪些内容与给定的上下文相关，并且可以将资源投入到提高与上下文最相关的内容的质量中。

通过改进视频流的编码，本文描述的系统和方法可以改进负责编码视频流的计算机的功能。此外，这些系统和方法可以通过更高效地编码(将计算资源引导到视频帧的最重要部分)从而释放计算机上的处理资源，来改进计算机的功能。此外，这些系统和方法可以通过减少提供高质量视频流所消耗的带宽量来改进计算机网络的功能。此外，这些系统和方法可以改进视频流式传输(streaming)和/或会议(conferencing)系统(其可以包括一个或更多个专用计算部件以及摄像机、麦克风等)的功能。因此，这些系统和方法表示了计算、视频编码、视频流式传输和视频会议领域的进步。

根据本文描述的一般原理，本文描述的任何实施例的特征可以彼此结合使用。当结合附图和权利要求阅读下面的详细描述时，这些和其他实施例、特征和优点将被更充分地理解。