[发明专利]QoE驱动下的联合资源分配的点云视频自适应传输方法

说明书

本发明公开了一种QoE驱动下的联合资源分配的点云视频自适应传输方法，其步骤包括：1、将点云视频在空间上进行3D均匀切分，每个切块被压缩成不同的码率等级；2、将点云视频在时间上进行分组，每个帧组是码率变化的最小单位；3、将不同码率等级的点云视频切块存储在服务器中，生成记录它们信息的描述文件；4、服务器结合反馈信道中的用户实时视角信息，下行信道的带宽信息和设备的计算性能，为每个视频切块选择一种质量等级和传输形式，客户端把接受到的切块解码，融合和渲染后得到完整的视频进行播放。本发明能够更好地提高系统资源的利用率，减少点云视频传输对于带宽和计算性能的需求，同时保证用户的观看体验(QoE)。

技术领域

本发明涉及多媒体视频传输领域，具体的说是一种针对点云视频的流媒体自适应传输方法，适用于在无线网络环境下，优化端到端的点云视频传输流程。

背景技术

点云作为三维影像的一种表现形式，经常与和虚拟现实和增强现实技术结合，实现六自由的沉浸式视频。然而由于需要记录三维坐标的信息，其原始大小也远超普通的二维视频和360°视频，因此近年来针对点云的压缩是个热门的领域，如今针对动态点云的压缩研究有许多，压缩效率也十分高，然而由于点云结构不能直接用成熟的传统视频编解码，压缩效率高的同时，往往会导致客户端解码时间过长。此时的网络传输时间却十分短，也就是导致了整个传输系统中系统的计算资源被过度利用而通信资源无法有效得到充分利用。

西安电子科技大学的张伟等人发明了一种点云几何信息帧间编码及解码方法(公开号：CN112565764A)，其方法包括：获取当前帧点云前的帧点云作为当前帧点云的参考帧点云；对当前帧点云进行体素化处理，获得体素化处理后的当前帧点云；对当前帧点云以及参考帧点云分别进行八叉树划分，对划分得到的子节点继续进行八叉树划分，直到划分到叶子节点，得到当前帧点云的第一八叉树结构以及参考帧点云的第二八叉树结构；其中，所述第一八叉树结构包括多个节点，每个节点对应一个在第二八叉树结构中的参考节点；针对第一八叉树结构的每个待编码节点，获取第二八叉树结构中对应参考节点的占位情况；针对第一八叉树结构的每个待编码节点，当与该待编码节点对应的参考节点的占位情况为被占据时，获取与参考节点相邻的第一邻居节点的占位情况；基于所述第一邻居节点的占位情况，确定所述待编码节点占位码的上下文模型；对确定上下文模型之后的待编码节点占位码进行熵编码，获得二进制码流。但是此算法没有考虑帧间编码和解码所带来的计算资源消耗过大的问题，也没有考虑在当前网络环境下的实时传输性能，无法很好地应用在实际传输中。

深圳大学的王妙辉等人发明了一种自适应分块的基于体素的点云压缩方法及装置(公开号：(1)对原始的点云数据进行自适应分块；(2)将原始的点云数据进行八叉树体素划分，得到划分的点云块；(3)使用三维卷积网络对划分的点云块进行空间数量分布探测，得到点云块的特征；(4)对点云块的特征进行处理，计算出点云块的稠密程度及细节重要程度，根据点云块的稠密程度对点云块进行分类；(5)根据点云块的稠密程度及细节重要程度对点云块进行自适应合并；(6)对自适应分块后的点云块进行编码；(7)对点云训练集进行体素化并特征强化，首先对点云数据集进行体素化，体素保留体素内点云数量通过三维卷积网络进行体素强化，保留特征强化后体素训练集；(8)对特征强化后的体素进行编码，得到编码后的潜在表示数据；(9)对编码后的潜在表示数据进行解码，对解码结果计算改进后的wBCE损失函数，迭代网络；(10)使用改进后的wBCE损失函数循环执行步骤(7)-(9)：(11)分别对稠密点云压缩编码器和稀疏点云压缩编码器进行训练；(12)将训练完成的压缩编码器对自适应分块后的点云块进行编码。但是该方法需要足够数量的点云训练集进行训练，无法保证在不同的点云场景中都有较号的编码解码能力，且只考虑了单帧点云的压缩，没有考虑多帧连续点云的压缩。