[发明专利]使用机器学习的基于工作负载的视频处理功能的动态节流

说明书

本公开的实施例涉及使用机器学习的基于工作负载的视频处理功能的动态节流。公开了基于工作负载的动态地节流视频处理和/或流传输的系统和方法。实况视频从一个或更多个源(例如，相机)捕获并存储。然后视频被提供给视频处理引擎和视频流传输引擎。视频处理引擎可以执行一个或更多个操作，诸如对象检测、对象跟踪和对象分类，以产生表征数据(例如，包围盒、对象轨迹、警报、对象标签、对象计数、边界交叉、交点突出显示等)。视频处理和流传输的系统资源使用和性能被监控以产生工作负载数据(例如，度量)。基于策略和工作负载数据，通过调整提供给视频流传输和处理引擎的参数来动态地重新配置视频流传输和/或处理。

背景技术

实况视频系统接收由一个或更多个相机捕获的视频并将视频流传输到一个或更多个远程客户端，同时，同时地处理视频、执行对象检测、分类和/或跟踪。取决于组合的视频流传输和处理工作负载，系统性能可能会受到影响。具体来说，视频流传输性能可能会在包括帧速率、分辨率和/或比特率在内的所测量的度量方面降级。当计算资源和/或存储资源不足以执行处理操作时，视频处理性能可能仅仅会失败或降级(例如，降低的图像分辨率、丢帧等)。需要解决这些问题和/或与现有技术相关的其他问题。

发明内容

本公开的实施例涉及基于工作负载的视频处理功能的动态节流。公开了基于工作负载动态地节流(throttle)视频处理和/或流传输的系统和方法。实况视频从一个或更多个源(例如，相机)捕获并存储。然后视频被提供给视频处理引擎和视频流传输引擎。视频处理引擎可以执行一个或更多个操作，诸如对象检测、对象跟踪、对象分类、分割、姿态检测和人脸识别，以产生表征数据(例如，包围盒、对象轨迹、警报、对象标签、对象计数、边界交叉、交点突出显示等)。视频流传输引擎根据每客户端的播放控制将视频传输到一个或更多个流传输客户端。

与诸如对系统资源(例如，CPU、GPU、内存、网络带宽)进行分区以供处理或流传输组件独占使用的上述那些系统之类的常规系统相比，一个或更多个实施例的系统资源可以是共享的。视频处理和流传输的系统资源使用和性能被监控以产生工作负载数据(例如，度量)。用于流传输的性能度量可包括客户端数量和帧速率。用于处理的性能度量的非限制性示例可以是该处理是否成功完成。对于简单的帧，处理可能成功，但对于更复杂的帧(例如，移动对象数量增加的帧)，处理可能失败。

用于视频流传输的可调参数可以包括客户端数量、帧速率、分辨率和比特率。用于视频处理的可调参数可以控制帧速率(帧采样)、帧分辨率、计算精度(推理分辨率)、跟踪距离(跟踪窗口)、分类优先级、要处理的视频源的数量以及剪辑上传的频率。可以基于策略调整参数，该策略包括处理相对于流传输的优先级、每个度量的阈值以及每个处理操作的优先级。基于策略和工作负载数据，可以通过调整提供给视频流传输和处理引擎的参数来动态地重新配置视频流传输和/或处理。基于定义的策略控制性能降级提供了确定性降级并维持了服务质量(QoS)。

描述了一种用于动态地重新配置视频流传输和/或处理的系统、方法和计算机可读介质。在一个实施例中，引起至少一个捕获的视频流由视频系统传输到多个远程客户端。至少部分地与传输同时地，至少一个捕获的视频流由视频系统处理以产生与在至少一个捕获的视频流中描绘的场景相对应的表征数据，其中引起传输和处理带来(contribute to)系统工作负载。响应于确定系统工作负载触发基于策略的动作，在处理至少一个捕获的视频流期间动态地调整处理参数，该处理参数控制由视频系统执行的至少一个功能。在一个实施例中，至少一个捕获的视频流是使用流传输协议传输的。

附图说明

下面参考附图详细描述用于基于工作负载的视频处理功能的动态节流的本系统和方法，其中：

图1示出了示例视频系统的框图，该视频系统基于适合用于实现本公开的一些实施例的工作负载动态地节流视频处理和/或流传输。

图2示出了根据实施例的用于基于工作负载的视频处理功能的动态节流的方法的流程图。