[发明专利]一种VR视频云直播方法、装置及设备

说明书

本发明提供一种VR视频云直播方法、装置及设备，涉及通信技术领域。该方法包括：获取视频直播数据的当前输出图像所标记的第一惯性测量单元数据；根据所述第一惯性测量单元数据，确定预设时长之后所输出图像的第二惯性测量单元数据；根据所述预设时长之后所输出图像的参考帧数据和所述第二惯性测量单元数据，进行插帧处理，获得插帧图像数据；根据所述插帧图像数据，生成传输至所述用户终端的直播数据。本发明的VR视频云直播方法，对真实动作的帧图像的预测，避免了数据在边缘云与用户终端之间传输时的时间时延而导致的直播画面出现延时、卡顿等问题。提高了生成的游戏视频流畅性，满足了用户实时性交互的需求。

技术领域

本发明涉及通信技术领域，特别是指一种VR视频云直播方法、装置及设备。

背景技术

目前，网络直播行业如火如荼，5G网络的低延时、大带宽特性推动了VR产业的发展。与此同时，云VR游戏云直播将作为新型的游戏直播形式给我们带来丰富的视觉体验。

在现有的游戏云直播系统中，游戏用户端将两路视频数据推流到云平台上，分别是现场采集游戏用户操作的音视频和终端录制的游戏音视频；云平台通过视频内容制作、转码、存储、以及CDN分发给不同的用户端。VR游戏用户对内容需求高分辨率，传输需求低时延。把高分辨率的游戏视频传输到云端给传输带宽带来了巨大的挑战。为了满足低延时，游戏终端通常采取异步时间扭曲(Asynchronous Time warp，ATW)和异步空间扭曲(Asynchronous Space warp，ASW)把低帧成视频(例如30fbps)处理成高帧率(例如60fbps)视频，并实时响应姿态变化刷新屏幕。云端缺少对真实动作的帧图像的预测，生成的游戏视频流畅性低，且服务器资源有限，难以处理超高分辨率、帧率的视频，不能满足用户实时性交互的需求。

发明内容

本发明的目的是提供一种VR视频云直播方法、装置及设备，通过引入预设时长，并计算惯性测量单元数据，以此为输入变量进行插帧的方法，解决现有技术中云端缺少对真实动作的帧图像的预测，且服务器资源有限，不能满足用户实时性交互的需求的问题。

为达到上述目的，本发明的实施例提供一种VR视频云直播方法，应用于边缘云，所述方法包括：

获取视频直播数据的当前输出图像所标记的第一惯性测量单元数据；

根据所述第一惯性测量单元数据，确定预设时长之后所输出图像的第二惯性测量单元数据；

其中，所述预设时长等于数据在所述边缘云与用户终端之间传输的往返时间时延的一半；

根据所述预设时长之后所输出图像的参考帧数据和所述第二惯性测量单元数据，进行插帧处理，获得插帧图像数据；

根据所述插帧图像数据，生成传输至所述用户终端的直播数据。

进一步地，在所述获取视频直播数据的当前输出图像所标记的第一惯性测量单元数据之前，还包括：

接收用户终端侧发送的连接建立请求，建立与用户终端侧的连接；

获取数据在所述边缘云与用户终端之间传输的往返时间时延。

进一步地，所述预设时长之后所输出图像的参考帧数据，包括：

对所述第一惯性测量单元数据进行信源编码后的第一帧数据；或者

对所述第二惯性测量单元数据进行信源编码后的第二帧数据。

进一步地，所述根据所述预设时长之后所输出图像的参考帧数据和所述第二惯性测量单元数据，进行插帧处理，获得插帧图像数据，包括：

若所述边缘云的CPU大于或者等于第一门限和/或GPU大于或者等于第二门限，则根据所述参考帧数据和所述第二惯性测量单元数据，对所述参考帧数据进行异步时间扭曲，获得插帧图像数据；