[发明专利]基于运动信息与深度信息的3D视频编码传输方法

权利要求书

1. 一种基于运动信息与深度信息的3D视频编码传输方法，其特征在于：使用一设置有色彩图像传感器、深度图像传感器和运动传感器的摄像机对被拍摄对象进行拍摄，色彩图像传感器用于采集被拍摄对象的色彩图像信息，深度图像传感器用于采集被拍摄对象的深度图像信息，运动传感器用于采集摄像机镜头中心空间运动的运动信息，该运动信息包括位移信息以及转动角度信息，所述编码传输方法包括以下步骤：

第一步、数据采样

以设定帧率对所述色彩图像信息和深度图像信息进行采样；

以至少一倍于所述设定帧率的采样率对所述运动信息进行采样；

第二步、数据同步

根据系统绝对时间对所述色彩图像信息、深度图像信息以及运动信息进行时间同步，即将色彩图像信息、深度图像信息以及运动信息在系统绝对时间上进行一一对应；

第三步、图像渲染

通过摄像机对被拍摄对象进行拍摄获取第一帧图像，并对其进行编码；

摄像机镜头中心空间运动引起的变换矩阵[T]如下：

；

上述矩阵中，x为摄像机镜头中心在X轴上的位移，y为摄像机镜头中心在Y轴上的位移，z为摄像机镜头中心在Z轴上的位移；α、β、γ为欧拉角，α表示摄像机镜头中心绕Z轴旋转的角度，经过α角度之后，摄像机镜头中心绕X轴旋转的角度为β，然后继续绕Z轴旋转的角度是γ；Y轴为摄像机在初始位置时垂直于摄像机镜头平面的轴，X轴为垂直于Y轴的水平轴，Z轴为垂直于Y轴的竖直轴；

当N>1时，由色彩图像信息和深度图像信息可知第N-1帧中坐标为[X1，Y1]的像素的深度值为Z1，通过以下公式得到第N-1帧中该像素色彩图像信息和深度图像信息的齐次3D坐标[x1，y1，z1,1]：

[x1，y1，z1,1]=[（X1-w/2）×Z1×k，Z1，（-Y1+h/2）×Z1×k，1]；

上述公式中，w表示摄像机所拍摄照片X轴上的像素总数，h表示照片Y轴上的像素总数，k=tan（θ/2）/（h/2），其中θ表示摄像机的垂直视角；

通过以下公式得出经过摄像机镜头中心空间运动后第N-1帧中坐标为[X1，Y1]的像素在第N帧参考帧中的色彩图像参考帧信息和深度图像参考帧信息的齐次3D坐标[x2，y2，z2,1]：

[x2，y2，z2,1]=[x1，y1，z1,1]×[T]；

通过以下公式从经过摄像机镜头中心空间运动后第N-1帧中坐标为[X1，Y1]的像素在第N帧中色彩图像参考帧信息和深度图像参考帧信息的齐次3D坐标[x2，y2，z2,1]得到经过摄像机镜头中心空间运动后第N-1帧中坐标为[X1，Y1]的像素在第N帧参考帧中新的2D坐标[X2，Y2]：

[X2，Y2]=[x2/k/y2+w/2，-z2/k/y2-h/2]；

第四步、编码

结合摄像机实际拍摄到的第N帧中各像素的2D坐标和经过摄像机镜头中心空间运动后第N-1帧像素在第N帧参考帧中新的2D坐标，使用视频编码标准对应的编码器进行编码，得到第N帧的色彩图像信息流和深度图像信息流；

第五步、传输

在视频传输过程中传输编码后的色彩图像信息流、深度图像信息流以及摄像机镜头中心的运动信息；

第六步、解码

当N为大于1的整数时，结合已解码的第N-1帧的色彩图像信息、深度图像信息以及第N-1帧到第N帧过程中摄像机镜头中心所经历空间运动的运动信息，采用第三步的图像渲染方法分别渲染得到第N帧的色彩图像参考帧信息与深度图像参考帧信息，并结合第N帧的色彩图像信息流和深度图像信息流，采用相应解码器进行解码。

2. 根据权利要求1所述的3D视频编码传输方法，其特征在于：在所述图像渲染过程中，变换到图像区域外的像素点被舍弃，渲染出的新的帧中会出现孔洞，该孔洞通过插值法进行填补。