[发明专利]一种面向全景视频的视点预测方法、装置及介质

说明书

本发明公开一种面向全景视频的视点预测方法、装置及介质，应用于虚拟现实领域的全景视频传输。首先，基于目标用户视点的历史轨迹来预测目标用户未来视点的位置，得到初步的预测结果；然后，在专家数据中寻找与目标用户视点的历史轨迹相匹配的相似用户，得到相似用户的未来信息；最后，将初步预测结果和相似用户的未来信息输入到SE‑Unet网络模型，输出用户视点的最终预测结果。本发明提供的用户视点预测模型能在更长的时间内提供更准确的预测结果，该预测结果表示了用户注意力范围的概率分布，据此进行编码和传输可以有效地节约全景视频传输的带宽资源，缓解由带宽波动造成视频冻结的问题，从而有效的提升用户观看全景视频的体验感。

技术领域

本发明涉及虚拟现实领域，特别是涉及一种面向全景视频的视点预测方法、装置及介质。

背景技术

随着虚拟现实(Virtual Reality，VR)技术的不断发展，作为VR技术的一项基础技术，全景视频是一个水平方向跨度为360度，垂直方向跨度为180度的全环绕空间球动态视频，它可以最大程度地拓展观众的视野范围，用户通常可以从各个方向和任意角度自由地观看视频。

全景视频比传统视频包含了更多的信息，它具有更高的分辨率和比特率编码。全景视频相关的技术主要包括四个部分：全景视频采集、全景视频拼接、全景视频投影和全景视频编码。全景视频的采集通常使用专业的全景摄影机来完成，诸如Insta360、三星Gear360以及Google Jump等。全景视频拼接是通过视频缝合技术将多个全景摄像头采集到的内容合成全景视频数据。全景视频投影是将全景视频的空间球面图像转化为二维平面的媒体格式，目前应用比较多的全景视频投影方式有等距柱状投影(EquirectangularProjection，ERP)、多面体投影(Platonic SolidProjection，PSP)、正方棱台投影(Truncated Square Projection，TSP)等投影方式。全景视频主流的编码方式有HEVC和H.264等编码标准。

全景视频的传输过程是先将全景视频通过投影变换转化为平面矩形视频，然后利用普通视频的编码技术进行传输。传统的全景视频传输方案是把空间球内所有内容都传输给用户，但人眼的注意力范围有限，人们只关注自己感兴趣的区域，对于不感兴趣的区域是很少关注的。如果将空间球内所有的信息都无差别地传输给用户，那么不感兴趣的视频信息必然会浪费有限的网络带宽。

为了解决全景视频传输过程中带宽资源浪费问题，研究人员提出了一种基于用户自身视口(Field ofView，FOV)的传输方案—FOV传输方案。在传输过程中，终端接收到的一帧数据中不再包含空间球所有的内容，而是根据用户视口信息构造对应的帧数据，即一帧数据中只包含等于或大于用户当前的视口信息。对于视口范围内的视频信息以较高的比特率进行传输，而对于视角以外其他区域的视频信息则以较低的比特率进行传输，或者直接不传输。因此，有效地预测用户视点并确定用户视口的范围，可以在节约带宽资源的前提下为用户提供更好的服务质量(Quality ofService，QoS)。

近年来，深度学习在学术界和工业界得到了广泛的发展和应用，结合深度学习的视点预测方法是全景视频领域的一个热点研究问题。有研究人员利用LSTM(Long-Short-Term Memory)结合用户在观看视频时的头部运动的历史轨迹进行视点预测，然而，该方法预测超过1s后，它的准确率会严重下降，即长期预测的准确性不高。因此，提高长期预测的准确性是本领域技术人员亟需解决的。

发明内容

基于现有方法的不足，本发明公开一种面向全景视频的视点预测方法、装置以及介质，它可以提高视点长期预测的准确率，有效地提升用户观看全景视频的体验感。

为解决上述技术问题，本方法提供一种面向全景视频的视点预测的方法，该方法包括：

获取目标观众观看全景视频时视点的历史轨迹并转化为热力图；

将目标用户视点的历史轨迹热力图输入seq2seq模型生成初步预测结果；