[发明专利]一种实时传输高分辨率多视点立体视频的方法

说明书

技术领域

本发明涉及视频传输领域，更具体的是一种的多视点、高分辨率立体视频的传输方法。

背景技术

多视点立体视频技术在当前的图像和视频研究领域是最重要的发展趋势之一。多视点视频系统同时从多个角度获取同一场景的视频序列，并远程传输这些视频数据流。场景可以交互显示，用户可以从多个角度旋转检视，体验身临其境的感觉。

然而，多视点立体视频与基于平面显示的业务不同，由于含有多个视点的视频信息，其数据量更为庞大。由于巨大的数据量和复杂的处理要求，目前包括IPv6在内的网络环境和通信信道对传输立体视频的能力十分有限，还远不能满足要求。因此，基于多视点立体显示的业务给观众带来更大的冲击感和震撼感的同时，也对传输技术提出了更高的要求。高比特率的多视点视频处理对于内容提供商和最终用户来说是一个重要的挑战。即使经过先进的压缩技术处理后，多视点视频的仍然有很高的数据量。最近在学术文献中提出了多种视频传输方案：在最终用户方面，已经有学者从事选择性数据流这方面的工作，根据观看者的头部位置，将必要的部分多视点视频编码成数据流。目前已经提出的方法有使用不等重要片组以适应FMO到MVC的转换，率失真算法，以为每个质量层确定来源和通道。其他方案，如数据分割系统使用Turbo码来实现通道保护。但是由于RS码和Turbo码较高的计算成本，不适合在实时系统中应用。

在3DTV流通过IP网络传输的研究中，目前已经提出的方法有：利用NUEPMuT协议通过多树点对点(P2P)网络来传输多视点视频流；使用一个有效应用于可扩展的立体视频编码的层提取方法，以实现在任何给定的视频数据包之间有效地分配比特率预算；面向IP网络的多视点视频失真估计模型，以递归公式的形式在帧水平(frame-level)上建立了以MSE为指标的、任意丢包模式下的多视点视频失真估计模型，进而扩展到GGoP水平的失真估计模型。一些学术机构和企业也展示了应用在IP网络上的多视点立体视频服务的原型系统。微软亚洲研究院提出了一个可提供实时、互动和可靠的多视点视频服务系统架构。MERL(三菱电子研究实验室)提出了多视点3DTV原型系统与实时采集、传输和自动立体显示。GIST(Gwanangu Instituteof Science&Technology)利用多对高清摄像机和基于软件的视频接收机，提出了一个符合成本效益的多视点高清视频传输系统。多视点视频编码(MVC模式)虽然提供了较高的压缩比，但其编解码的复杂度太高，因此尚未应用于实时传输系统。一般来说，这些实用系统同时传输和播放被分别进行独立编码的多视点视频。

高分辨率多视点立体视频涉及庞大的数据量并且在实时传输上具有更高的要求，本发明就此提出了一种在IP网络上实时传输高分辨率多视点立体视频的有效方法。

发明内容

本发明的目的是，克服现有技术的上述不足，提出一种在现有有限资源的基础上，能够实现高清多视点视频的可靠和实时传输的方法。本发明的技术方案如下：

一种实时传输高分辨率多视点立体视频的方法，用于IP网络视频传输中，包括下列步骤：

(1)对多视点立体视频的每个视点的视频流进行独立编码；

(2)将编码后的多视点立体视频按照视点的不同，分成两组进行分组处理，对每组视频进行如下的步骤(3)-(4)的数据包合成处理；

(3)对于组内的每个视点，读取视频流里的每个NAL单元，根据NAL单元的头部信息判断是否包含具体图像数据，分离出包含具体图像数据的NAL单元，从而得到包含组内一个仅包含具体图像数据的新的视频数据流；

(4)对新的视频数据流进行数据包合成处理，将在不同视点的同一位置包含具体图像数据的NAL单元处理成一个混合包，新的混合包的头部采用和不同视点的NAL单元头部完全相同的参数，而主体部分由同一位置处的各个NAL单元的主体按照编号顺序组成；

(5)将经过数据包合成处理的各组视频，分别通过不同IP信道进行传输；

(6)将经过步骤3)分离出的不包含具体图像数据的NAL单元采用单独的信道进行传输。

上述实时传输高分辨率多视点立体视频的方法，步骤(1)可采用H.264/AVS格式独立编码。