[发明专利]一种全景虚拟现实漫游中的流媒体应用方法

说明书

技术领域

本发明涉及流媒体技术、互联网技术以及虚拟现实技术，具体地说是一种全景虚拟现实漫游中的流媒体应用方法。

背景技术

在现有技术中，流媒体又叫流式媒体，它应用于视频点播和视频会议等，其传送方法为：用一个视频传送服务器把节目当成数据包发出，传送到网络上。用户通过解压设备对这些数据进行解压后，节目就会以发送前的状态进行显示。

流媒体是一种新的媒体传送方式。流式传输方式则是将整个A/V及3D等多媒体文件经过特殊的压缩方式分成一个个压缩包，由视频服务器向用户计算机连续、实时传送。在采用流式传输方式的系统中，用户不必像采用下载方式那样等到整个文件全部下载完毕，而是只需经过几秒或几十秒的启动延时即可在用户的计算机上利用解压设备(硬件或软件)对压缩的多媒体文件解压后进行播放。此时多媒体文件的剩余部分将在后台的服务器内继续下载。

与单纯的下载方式相比，这种对多媒体文件边下载边播放的流式传输方式不仅使启动延时大幅度地缩短，而且对系统缓存容量的需求也大大降低。然而，目前流媒体传送方法还没有应用到基于全景图像的虚拟现实漫游中。

基于全景图像的虚拟现实是人们通过计算机对复杂数据进行可视化操作与交互的一种全新方式。美国Google公司推出的街景(Street View)、美国EveryScape公司提供的在线地图服务以及英国Seety公司的London Streetby Street等都采用了这种方法。全景数据是以图像的形式存在的，其传输方式为：服务器端将全景图像分割为若干个子图像传输到客户端，并且用户可见区的子图像优先传输，使用户能够尽快地观察到虚拟场景。

目前这种全景数据传输方式的不足在于：海量图像数据的网络传输对服务器性能要求较高，数据传输量较大，网络负担较重，对带宽要求较高，客户端需等待很长时间才能进行漫游，并且无法实现基于连续视点的漫游，现实沉浸感差；虚拟环境只单纯地提供全景图像信息显示，缺乏必要的标识，其他环境相关信息不丰富，无法辅助和引导用户观察浏览，并搜索和了解感兴趣的信息。

随着人们需求的不断提高，人们更希望构建出一个连续漫游、信息丰富以及交互性强的虚拟环境。那么如何快速有效地将构建虚拟现实环境所需要的相关信息传递到客户端并显示，增加用户体验的真实感，将成为一个亟待解决的问题。

发明内容

为了克服现有技术中数据传输量大、网络负担重、图像信息不丰富等不足，本发明要解决的技术问题是提供一种数据传输量小的同时网络负担小且图像信息丰富的全景虚拟现实漫游中的流媒体应用方法。

为了实现上述目的，本发明采用的技术解决方案是：

本发明一种全景虚拟现实漫游中的流媒体应用方法，将融合有附加信息的全景流媒体应用于全景虚拟漫游，并实现连续视点的全景虚拟漫游，步骤包括：

1)全景流媒体的制作

利用流媒体视频压缩编码方式，对准备制作全景流媒体的图像数据进行压缩编码，同时对准备制作全景流媒体的附加信息进行融合，制作流媒体文件；

2)全景流媒体的传输

确定用户漫游起始地点，客户端向Web服务器提出漫游请求，Web服务器接收并响应请求，通过查询数据库，为客户端返回相应的流媒体文件信息；然后客户端与流媒体服务器建立网络连接，由客户端通过网络数据传输协议接收融合了附加信息的流媒体文件，并存储至缓冲区；对流媒体文件进行解析，并建立用于缓冲区管理的数据结构；

3)全景流媒体的显示

显示全景图像及附加信息，在全景虚拟漫游中对每帧全景图像对应的附加信息进行连续视点显示。

所述全景流媒体制作的数据准备包括：

采集原始数据：首先采集原始数据(包括全景图像，和与全景图像对应的地理信息)，全景图像存储至全景图像存储单元，将地理信息存储至数据库，并为每帧全景图像与地理信息建立一一对应关系表。

编辑全景图像：删除数据库中冗余图片记录及相应的地理信息，使相邻全景图像间留有用于保证漫游平滑度的地理间距，并通过调节图像参数使图像清晰且颜色分明；

添加附加信息：对全景图像添加附加信息，保存至数据库。

所述全景流媒体的制作步骤中的附加信息内容包括：对图像中包含的场景事物的描述、地理信息、指示牌、标签、3D实体信息、互联网链接地址。

所述全景流媒体的制作中的融合具体步骤包括：对流媒体全景图像压缩编码参数进行设置；对全景图像进行编码，与此同时在每帧的帧头数据和帧数据之间加入该帧附加信息，得到融合了附加信息的流媒体文件，并储存至磁盘存储空间。