[发明专利]一种在线实时三维模型视频编解码方法

权利要求书

1.一种在线实时三维模型视频编解码方法，该方法包括服务端编码阶段、网络传输阶段和客户端解码阶段，其特征在于：具体实现步骤如下：

步骤一、服务端编码阶段，所述服务端编码阶段包括纹理图编码和三维模型编码，具体实现过程如下：

S1、纹理图编码：采用H.264视频编码标准对原始纹理图数据进行视频压缩，得到压缩后的纹理图数据，并封装入视频NAL单元；

S2、三维模型编码：采用Meshsequential算法对原始三维模型数据进行压缩，得到压缩后的三维模型数据，之后将压缩后的三维模型数据封装入自定义的模型NAL单元中；所述原始三维模型数据包含顶点坐标数据和面片索引数据，采用Meshsequential算法对原始三维模型数据进行压缩具体实现过程如下：

S21、针对三维模型面片索引数据进行压缩：第一个面片的第一个索引数据存储为绝对值，其余面片的索引数据均存储为以前一位面片的索引数据为基础的相对值，直到所有面片索引数据均做完压缩和保存；

S22、针对三维模型顶点坐标数据进行压缩：先对所有的顶点坐标数据进行量化，之后利用熵编码技术进行压缩编码；

S23、在编码第一帧数据之前，将每个视角下的相机参数通过网络传输至解码端；

S3、将步骤S1形成的视频NAL单元和步骤S2自定义的模型NAL单元封装入ts码流包，形成ts码流；

步骤二、网络传输阶段：所述网络传输阶段将打包后的ts码流，通过网络传输至客户端；

步骤三、客户端解码阶段，具体解码过程如下：

T1、对步骤S3形成的ts码流包进行解包，得到NAL单元；

T2、根据步骤T1得到的NAL单元类型，分离出纹理NAL单元和三维模型NAL单元；

T3、纹理NAL单元和三维模型NAL单元分别采用x264视频解码器和Meshsequential模型解码器运行在子线程中进行解压缩，分别得到解压后的纹理数据和解压后的三维模型数据，并将解压后的纹理数据和解压后的三维模型数据存入缓冲区；采用Meshsequential模型解码器进行解压缩的具体实现过程如下：

T31、根据编码端压缩过程，读取第一个面片索引数据，之后将相对值转化为绝对值，实现面片索引数据解码；

T32、进行熵编码反过程和量化反过程，解压缩顶点坐标数据；

T33、针对每一组面片索引，由相机参数、每个视角面片起始点和每个相机视角下纹理图起始点坐标算出每组面片索引数据中顶点对应的纹理坐标，根据纹理坐标进行纹理投影；

T4、待缓冲区满时，按照每30ms一帧，依次将缓冲区内所有解压后的纹理数据按照三维模型中的纹理坐标映射至三维模型上，形成一个带纹理的三维模型视频帧；

T5、通过构造三维渲染场景，依次展示每帧带纹理的三维模型视频帧，实现实时播放带纹理的三维模型视频。

2.根据权利要求1所述的一种在线实时三维模型视频编解码方法，其特征在于：步骤S1所述原始纹理图数据为每个相机视角下的纹理图按照视角顺序存放至一张2048x2048的纹理图中，并将每个相机视角下纹理图起始点坐标和每个视角面片起始点按照面片索引方式存放至面片索引之后。

3.根据权利要求1所述的一种在线实时三维模型视频编解码方法，其特征在于：步骤S2所述面片索引数据包含按照相机视角顺序排列的面片索引、每个相机视角下纹理图的起始点坐标和每个相机视角下面片起始点。

4.根据权利要求1所述的一种在线实时三维模型视频编解码方法，其特征在于：步骤S21所述存储为绝对值为第一个面片的第一个索引数据保存完整数据，其余面片的索引数据存储为相对值为之后的每一个面片的索引值均与前一位面片索引做差，并将该差值作为该面片索引的压缩数据并保存。

5.根据权利要求1所述的一种在线实时三维模型视频编解码方法，其特征在于：步骤S22所述对所有的顶点坐标数据进行量化将顶点坐标数据量化至16bit，所述熵编码技术采用rANS算法。

6.根据权利要求1所述的一种在线实时三维模型视频编解码方法，其特征在于：步骤S1用的视频编码库和步骤T3用的视频解码库均为libx264。

7.根据权利要求1所述的一种在线实时三维模型视频编解码方法，其特征在于：步骤T31所述相对值转化为绝对值为将第n个面片的索引信息和前一位的面片索引值相加得到本面片索引值，恢复面片索引值、每个相机视角下的纹理图起始点坐标和每个视角下面片起始点。