[发明专利]使用机器学习的基于工作负载的视频处理功能的动态节流

权利要求书

1.一种计算机实现的方法，包括：

由视频系统引起将至少一个捕获的视频流传输到多个远程客户端；

至少部分地与所述传输同时地，由所述视频系统处理所述至少一个捕获的视频流以产生与在所述至少一个捕获的视频流中描绘的场景相对应的表征数据，其中引起所述传输和所述处理带来系统工作负载；以及

响应于确定所述系统工作负载触发基于策略的动作，动态地调整处理参数，所述处理参数控制在处理所述至少一个捕获的视频流期间由所述视频系统执行的至少一个功能。

2.如权利要求1所述的计算机实现的方法，其中所述传输是使用实时流传输协议来执行的。

3.如权利要求1所述的计算机实现的方法，其中所述处理由神经网络实现，所述神经网络能够配置为执行对象检测、对象分类、对象跟踪、分割、姿态检测或对象识别中的至少一个。

4.如权利要求3所述的计算机实现的方法，其中所述表征数据包括包围盒、对象轨迹、对象标签、对象计数、边界交叉或交点突出显示中的至少一个。

5.如权利要求1所述的计算机实现的方法，其中所述至少一个功能包括对帧速率、帧分辨率、计算精度、跟踪距离、分类优先级、要处理的视频源数量或视频剪辑上传的频率中的至少一个的调整。

6.如权利要求5所述的计算机实现的方法，其中所述计算精度包括为所述处理启用的特征通道的数量。

7.如权利要求5所述的计算机实现的方法，其中所述视频剪辑是基于与所述表征数据相关联的概率来选择的。

8.如权利要求1所述的计算机实现的方法，其中存储器容量、存储器带宽、处理器容量或网络带宽中的一个或更多个带来所述系统工作负载。

9.如权利要求1所述的计算机实现的方法，其中所述系统内的一个或更多个环境条件带来所述系统工作负载。

10.如权利要求1所述的计算机实现的方法，还包括：响应于所述表征数据生成警报。

11.如权利要求1所述的计算机实现的方法，还包括：响应于确定所述工作负载触发基于策略的响应，动态地调整流传输参数，所述流传输参数控制所传输的所述至少一个捕获的视频流的帧速率、比特率或分辨率中的至少一个。

12.如权利要求1所述的计算机实现的方法，其中所述处理参数控制帧速率、帧分辨率、计算精度或跟踪距离中的至少一个。

13.如权利要求1所述的计算机实现的方法，其中当检测到包括所述多个远程客户端的若干远程客户端的改变时，所述系统工作负载触发所述基于策略的动作。

14.如权利要求1所述的计算机实现的方法，其中当检测到包括所述至少一个捕获的视频流的若干捕获的视频流的改变时，所述系统工作负载触发所述基于策略的动作。

15.如权利要求1所述的计算机实现的方法，其中所述引起传输、所述处理或所述动态地调整步骤中的至少一个在服务器上或在数据中心中执行以生成图像，并且所述图像被流传输到用户设备。

16.如权利要求1所述的计算机实现的方法，其中所述引起传输、所述处理或所述动态地调整步骤中的至少一个在云计算环境内执行。

17.如权利要求1所述的计算机实现的方法，其中所述引起传输、所述处理或所述动态地调整步骤中的至少一个被执行以用于训练、测试或验证神经网络中的至少一个。