[发明专利]一种基于有限视场反馈的全景视频多播流的视角预测方法

权利要求书

1.一种基于有限视场反馈的全景视频多播流的视角预测方法，其特征是应用于多播网络场景中，所述多播网络场景中包含全景视频服务器和N个客户端；所述全景视频服务器和客户端之间的上行链路中包含有从客户端到全景视频服务器的反馈信道；所述反馈信道用于将用户的实时视角信息反馈给全景视频服务器，并由所述服务器进行视角预测；所述全景视频多播流的视角预测方法是按如下步骤进行：

步骤一、构建基于球面卷积的显著性检测模型，所述显著性检测模型包括：显著性特征提取模块M_ST-SPCNN和基于球面卷积注意力模块M_SP-CBAM；

所述显著性特征提取模块M_ST-SPCNN包括：空间特征提取单元M_S-SPCNN和时间特征提取单元M_T-SPCNN；所述空间特征提取单元M_S-SPCNN以视频中t时刻的单帧全景图像χ_t为输入，并提取单帧图像χ_t中的空间尺度特征F_t^S；

所述时间特征提取单元M_T-SPCNN以连续t时刻到t+τ时刻的多帧图像(χ_t,χ_t+1,...,χ_t+τ)为输入，并提取多帧图像间的时间尺度特征F_t^T；将t时刻的空间尺度特征F_t^S和时间尺度特征F_t^T按通道串联后，得到t时刻的时空特征F_t^ST；

将t时刻的时空特征F_t^ST输入到所述球面卷积注意力模块M_SP-CBAM中并输出最终的时空特征F_t′，将时空特征F_t′映射为t时刻的显著性特征图P_t^s；1≤t≤t+τ≤tmax，tmax表示全景视频的时长；

步骤二、根据N个用户通过反馈信道反馈的{t-k,...,t-2,t-1}时刻的历史视角信息，从中随机选择R个用户在{t-k,...,t-2,t-1}时刻的历史视角信息；

根据所选择的每个用户在{t-k,...,t-2,t-1}的历史视角信息，利用高斯分布生成每个用户在{t-k,...,t-2,t-1}时刻的历史视图序列，记为

其中，

表示第r个用户反馈的{t-k,...,t-2,t-1}时刻的历史视图序列，表示第r个用户反馈的t-k时刻的历史用户视图，1≤r≤R≤N；

将R个用户在{t-k,...,t-2,t-1}时刻的历史用户视图序列相加，得到用户视图序列，记为(X_t-k,...,X_t-2,X_t-1)；其中，X_t-k表示R个用户在t-k时刻的视图序列；

步骤三、构建视角预测模块，所述视角预测模块包含基于球面卷积的双层记忆网络模型，M_2SP-ConvGRU；所述双层记忆网络模型M_2SP-ConvGRU是由两层基于球面卷积的记忆单元M_SP-ConvGRU构成，所述记忆单元M_SP-ConvGRU是在GRU模型其输入到状态转换以及状态到状态转换中，用球面卷积代替元素级的乘法；

将用户视图序列(X_t-k,...,X_t-2,X_t-1)作为双层记忆网络模块M_2SP-ConvGRU的输入，并进行特征挖掘和提取后，输出双层记忆网络模块M_2SP-ConvGRU中第二层t时刻的隐藏层特征，并作为t时刻的视角特征后映射为用户特征图P_t^v；

步骤四、将显著性特征图P_t^s和用户特征图P_t^v进行融合，得到t时刻预测的全体用户视角P_t。