[发明专利]一种实时传输全景视频的系统和方法

权利要求书

1.一种实时传输全景视频的系统，包括BMSC网元、MBMS网关、无线基站和联结链路，其特征在于：所述系统还包括如下模块：

数据采集模块，该模块部署于BMSC网元；该模块的功能是：(1)整合服务提供商上传的360度视频流和终端移动用户上传的报告信息，具体内容是：先采用投影的方法将服务提供商上传的360度视频流映射为平面格式，再采用编码方案对所述平面格式的视频进行编码，最后基于相应的网络协议将所述编码后的视频划分成相应的格式MDP文件以进行传输；实时探测终端移动用户的信道质量指示CQI值，收集终端移动用户观看视频过程中请求的360度视频的视角Fov、缓冲事件次数、缓冲区长度、所观看Fov的平均码率信息、所观看Fov的空间平滑度、所观看Fov的时间平滑度；(2)整合组播管理模块下发的组播组信息，具体为：组播组个数G，每个组播组人数Gg，每个组播组所分得的无线电资源Xg，观看各tile的人数比例，各tile的大小，各码率质量函数，各组播组用户平均缓冲区长度；(3)整合上述的视频流数据和用户信息数据，并把上述信息发送给视频码率自适应模块；所述的视频流数据是指视频不同切分部分tile的大小信息、空间坐标信息、所有可选的码率信息；所述的用户信息数据即所述的组播组信息；

视频码率自适应模块，该模块部署于BMSC网元；该模块的包括码率选择子模块和视频下发子模块；该模块的功能是：所述的码率选择子模块为每个组播组内的所有终端移动用户选择视频不同切分部分tile的质量即码率，所述的视频下发子模块将对应码率的视频不同切分部分tile形成视频数据流，并将该视频数据流发送至组播管理模块的内容分发子模块；

组播管理模块，该部署于MBMS网关，该模块包括组划分与资源分配子模块和内容分发子模块；该模块的功能是：(1)根据所述MBMS网关中是否存在分组信息以及收到的移动用户信息是否发生改变来决定是否调用所述的组划分与资源分配子模块进行组划分与资源分配；(2)所述的组划分与资源分配子模块进行组划分与资源分配，即将所有的移动终端用户划分为不同的组播组，并为不同的组播组分配无线资源块，并将所述的组播组信息发送至所述数据采集模块；(3)所述的内容分发子模块在接收到视频码率自适应模块的视频数据流后通过组播技术分发至每个组的每个移动用户。

2.根据权利要求1所述的一种实时传输全景视频的系统，其特征在于：所述的码率选择子模块为每个组播组内的所有终端移动用户选择视频不同切分部分tile的码率的具体内容是：(1)根据从所述的数据采集模块所接收到的视频流数据和用户信息数据，为每一个组播组创建状态向量Tg，Pg，u，d，Bg，其中Tg为该组播组的接收速率信息，Pg表示请求同一个视频不同切分部分tile的用户数占所有用户数的比例，u指该视频不同切分部分tile的大小，d指的是码率质量函数，Bg指的是该组播组用户平均缓冲区长度；(2)将上述状态向量作为输入输入到深度强化学习模型，将用户报告信息中的所观看Fov的平均码率信息、所观看Fov的空间平滑度、所观看Fov的时间平滑度、平均重新缓冲事件次数作为奖励值输入到所述的深度强化学习模型；(3)所述的深度强化学习模型根据所述的状态向量信息，为每个视频不同切分部分tile选择对应的码率，即动作向量，所述动作向量的维度与可选的所有码率数量相同，所述动作向量的每一个分量的数值代表了选择对应码率的概率，并根据概率最大值得到码率的选择策略，经过多次调用整理后形成所有tile的码率选择策略，并将该策略发送至所述的视频下发子模块。

3.根据权利要求1所述的一种实时传输全景视频的系统，其特征在于：所述的组划分与资源分配子模块进行组划分与资源分配的具体内容是：按照如下最优化问题进行组划分与资源分配：

|G₁∪G₂∪...∪G_k|＝M

上式中Gg代表组g中的用户集合，k代表组播组的个数，M代表所有用户的数量，代表该组的调制与编码模式，其单位为bits/RB，c_i表示用户i的调制与编码模式，x_g代表分配给该组的无线资源块数量，S指其占用的所有时间槽数，O_g代表组内各用户所请求的Fov的重叠程度；利用动态规划算法求解上述最优化问题。

4.一种实时传输全景视频的方法，其特征在于：所述方法包括下列操作步骤：

(1)数据采集模块整合服务提供商上传的360度视频流和终端移动用户上传的报告信息，具体内容是：先采用投影的方法将服务提供商上传的360度视频流映射为平面格式，再采用编码方案对所述平面格式的视频进行编码，最后基于相应的网络协议将所述编码后的视频划分成相应的格式MDP文件以进行传输；实时探测终端移动用户的信道质量指示CQI值，收集终端移动用户观看视频过程中请求的360度视频的视角Fov、缓冲事件次数、缓冲区长度、所观看Fov的平均码率信息、所观看Fov的空间平滑度、所观看Fov的时间平滑度；

(2)组播管理模块的组划分与资源分配子模块进行组划分与资源分配，将所述的组播组信息发送至所述数据采集模块；所述的组划分与资源分配子模块进行组划分与资源分配的具体内容是：按照如下最优化问题进行组划分与资源分配：

|G₁∪G₂∪...∪G_k|＝M

上式中Gg代表组g中的用户集合，k代表组播组的个数，M代表所有用户的数量，代表该组的调制与编码模式，其单位为bits/RB，c_i表示用户i的调制与编码模式，x_g代表分配给该组的无线资源块数量，S指其占用的所有时间槽数，O_g代表组内各用户所请求的Fov的重叠程度；利用动态规划算法求解上述最优化问题；

(3)数据采集模块整合组播组信息，并把所述的组播组信息发送给视频码率适应模块；

所述的组播组信息为：组播组个数G，每个组播组人数Gg，每个组播组所分得的无线电资源Xg，观看各tile的人数比例，各tile的大小，各码率质量函数，各组播组用户平均缓冲区长度；

(4)视频码率自适应模块的码率选择子模块针对于每个组播组，先为所有tile选择最低码率，然后针对每一个tile，调用深度强化学习模型为其选择合适的码率并将该码率决策送至视频下发子模块；具体内容是：(4.1)根据从所述的数据采集模块所接收到的视频流数据和用户信息数据，为每一个组播组创建状态向量Tg，Pg，u，d，Bg，其中Tg为该组播组的接收速率信息，Pg表示请求同一个视频不同切分部分tile的用户数占所有用户数的比例，u指该视频不同切分部分tile的大小，d指的是码率质量函数，Bg指的是该组播组用户平均缓冲区长度；(4.2)将上述状态向量作为输入输入到深度强化学习模型，将用户报告信息中的所观看Fov的平均码率信息、所观看Fov的空间平滑度、所观看Fov的时间平滑度、平均重新缓冲事件次数作为奖励值输入到所述的深度强化学习模型；(4.3)所述的深度强化学习模型根据所述的状态向量信息，为每个视频不同切分部分tile选择对应的码率，即动作向量，所述动作向量的维度与可选的所有码率数量相同，所述动作向量的每一个分量的数值代表了选择对应码率的概率，并根据概率最大值得到码率的选择策略；经过多次调用整理后形成所有tile的码率选择策略，并将该策略发送至所述的视频下发子模块；

(5)视频下发子模块收到码率决策后下载各个对应的tile，形成视频流数据，发送到组播管理模块的内容分发子模块；

(6)内容分发子模块应用组播技术，将对应组播组的视频内容分发给该组的各个移动终端用户；

(7)在上述过程中，如果有新用户加入或者存在用户以特定的速度移动导致其信道状况发生变化，则MBMS网关报告的用户信息将发生改变，于是触发所述的组播管理模块再次调用组划分与资源分配子模块重新进行组划分与资源分配，并重复上述步骤(3)至步骤(6)的操作。