[发明专利]一种基于强化学习的多用户动态码率视频传输方法及系统

说明书

本发明公开了一种基于强化学习的多用户动态码率视频传输方法及系统。其方法包括：用户与服务器协商，确定各用户各自的角色及分组；各用户请求服务器上的媒体描述文件，以及Actor神经网络模型文件；各用户根据历史缓存信息，输入Actor网络，选择合适码率的音视频块；各用户间隔一定时间上传最近一段时间内的记录，并下载服务器最新的Actor网络模型文件；服务器上存储用户提供的记录以及服务器资源状态记录，在获取一定数量样本后在服务器上集中训练神经网络。本发明的方法更好地考虑了视频内容之间以及用户之间的关系，能优化服务器资源使用，提高传输效率，保证用户之间的公平性，同时也大大提高了用户视频体验质量。

技术领域

本发明涉及视频传输领域，具体涉及一种基于强化学习的多用户动态码率视频传输方法及系统。

背景技术

近年来随着智能终端(如智能手机，智能电视，平板电脑，头显)的快速发展，视频传输向着更高用户体验(更高清晰度，更低卡顿率，更低延迟)方向发展。但是在复杂的网络环境下，受限于现有网络服务供应能力，更高的用户体验难以得到满足。

在现有网络设施基础上提升服务质量成为视频服务器提供商重点研究领域之一。现有的视频服务优化主要针对客户端-服务器模式下进行单用户优化，例如通过算法估计网络参数来选择最合适码率，这种方式的主要缺点在于网络参数(时延，丢包等)成因复杂且相互影响，不同成因解决策略不同，需要针对具体场景制定不同策略，很难在不同网络环境以及应用场景中泛化。同时单用户优化导致用户之间的公平性无法得到保障。随着强化学习在码率自适应传输中的应用，尤其是多智能体技术的进展，使得多用户协同优化传输成为可能。

发明内容

本发明针对现有技术中的上述缺陷或不足，提供一种基于强化学习的多用户动态码率视频传输方法及系统。

本发明方法所采用的技术方案是：

一种基于强化学习的多用户动态码率视频传输方法，该方法的步骤包括：

a)多用户通过与服务器进行协商，根据视频传输的应用场景，确定用户的角色和分组；

b)各用户端具有Actor神经网络，用户根据所在的分组及角色请求传输服务器上的媒体描述文件，以及Actor神经网络模型文件；

c)各用户将历史缓存信息及网络状态信息输入Actor神经网络，Actor神经网络输出码率选择，作为接下来用户端选择的码率；

d)各用户间隔一定时间向服务器上传最近一段时间内的记录，并下载服务器上最新的Actor神经网络模型参数文件，替换本地的网络模型参数；

e)服务器上存储用户提供的记录以及服务器资源状态记录，在获取一定数量样本后利用多智能体深度确定性策略梯度算法训练各用户的Actor神经网络以及服务器上的Critic神经网络，用来响应用户端的更新Actor神经网络的请求。

本发明系统所采用的技术方案是：

一种基于强化学习的多用户动态码率视频传输系统，包括：用户协商单元，用于分配用户角色并根据预设模型将用户分组；资源调度单元，用于分配服务器资源给每个用户，并监控每个用户组使用服务器资源情况，根据使用情况动态调整用户分组以及服务器资源；网络训练单元，用于在服务器上进行集中式训练，在初始时提供不同应用场景下的模型文件，并且进行优化网络模型参数，实时训练并更新各用户的Actor神经网络模型文件

本发明的方法根据多用户的关系通过分组与服务器协同优化，更好地考虑了视频内容之间以及用户之间的关系，能优化服务器资源使用，提高传输效率，保证用户之间的公平性，同时也大大提高了用户视频体验质量。

附图说明

图1是本发明实施例中方法的流程图。

图2是本发明实施例中系统的示意图。

具体实施方式