[发明专利]基于在线强化学习的流媒体处理方法、装置及电子设备

权利要求书

1.一种流媒体数据处理方法，包括：

获取流媒体客户端的当前时间段的流媒体状态数据；

通过在线机器学习模型，根据所述流媒体状态数据，确定所述流媒体客户端的当前时间段的流媒体控制信息，并发送给所述流媒体客户端；

获取流媒体客户端的下一时间段的流媒体状态数据，根据所述下一时间段的流媒体状态数据和所述当前时间段的流媒体控制信息，对所述在线机器学习模型进行训练并对所述在线机器学习模型进行模型参数更新。

2.根据权利要求1所述的方法，其中，所述流媒体客户端为多个，所述在线机器学习模型也为多个，与所述流媒体客户端对应，多个所述在线机器学习模型使用与所述流媒体客户端对应的流媒体状态数据进行训练。

3.根据权利要求2所述的方法，其中，对所述在线机器学习模型进行模型参数更新包括：

将所述多个在线机器学习模型的训练后的模型参数进行加权平均处理，生成聚合后的模型参数；

使用该聚合后的模型参数，对多个所述在线机器学习模型进行模型参数更新。

4.根据权利要求2所述的方法，其中，对所述在线机器学习模型进行模型参数更新包括：

针对所述多个在线机器学习模型中的指定在线机器学习模型执行如下处理：将所述多个在线机器学习模型的训练后的模型参数进行加权平均处理，生成聚合后的模型参数，其中，所述指定在线机器学习模型对应的权重值大于其他在线机器学习模型的权重值；

使用该聚合后的模型参数，对指定在线机器学习模型进行模型参数更新。

5.根据权利要求1所述的方法，其中，对所述在线机器学习模型进行训练并对所述在线机器学习模型进行模型参数更新包括：

获取所述下一时间段的流媒体状态数据，根据所述下一时间段的流媒体状态数据计算所述当前时间段的流媒体控制信息的奖励数据；

根据多个时间段的奖励数据，计算累积奖励；

使用累积奖励最大化的梯度策略，对所述在线机器学习模型进行训练并对所述在线机器学习模型进行模型参数更新。

6.根据权利要求5所述的方法，其中，多个时间段的所述流媒体状态数据、流媒体控制信息、奖励数据以及累积奖励被记录在数据缓冲区中，

使用累积奖励最大化的梯度策略，对所述在线机器学习模型进行训练并对所述在线机器学习模型进行模型参数更新包括：

当所述数据缓冲区中数据量超过预设阈值时，执行使用累积奖励最大化的梯度策略，对所述在线机器学习模型进行训练并对所述在线机器学习模型进行模型参数更新的处理。

7.根据权利要求5所述的方法，其中，使用累积奖励最大化的梯度策略，对所述在线机器学习模型进行训练并对所述在线机器学习模型进行模型参数更新包括：

在梯度更新的损失函数中，根据预设差异限制阈值，对损失函数中的新模型策略和旧模型策略之间的差异进行判定；

如果所述新模型策略和旧模型策略之间的差异大于所述限制阈值，则移除超出阈值部分对应的梯度损失激励；

使用移除了所述梯度损失激励后的损失函数值，对所述在线机器学习模型进行训练并对所述在线机器学习模型进行模型参数更新。

8.根据权利要求1所述的方法，其中，所述流媒体状态数据包括：流媒体客户端的上报的丢包率、网络延迟、延迟间隔和流媒体吞吐量中的一项或者任意多项。

9.根据权利要求1所述的方法，其中，所述流媒体控制信息包括流媒体处理速率，用于控制流媒体客户端执行流媒体的编码和/或发送的处理。

10.根据权利要求1所述的方法，其中，所述在线机器学习模型为在线强化学习模型。