[发明专利]特征数据编解码方法和装置

说明书

本申请提供了特征数据编解码方法和装置，涉及基于人工智能(AI)的图像或音频的编解码技术领域，具体涉及基于神经网络的图像特征图或音频特征变量的编解码技术领域。其中编码方法包括：获取待编码目标，所述待编码目标包括多个特征元素，所述多个特征元素包括第一特征元素。所述方法还包括获取所述第一特征元素的概率估计结果，根据所述第一特征元素的概率估计结果，判断是否对所述第一特征元素执行熵编码；仅当判断出需要对所述第一特征元素执行熵编码时，对所述第一特征元素执行熵编码。本申请根据概率估计结果来判断是否对特征元素编码。这样，能够在不影响编解码性能情况下降低编解码复杂度，其中待编码目标包括图像特征图或音频特征变量。

技术领域

本发明实施例涉及基于人工智能(AI)的图像或音频压缩技术领域，尤其涉及一种特征数据编解码方法及装置。

背景技术

图像或音频编码和解码(简称为编解码)广泛用于数字图像或音频应用，例如广播数字电视、互联网和移动网络上的图像或音频传输、视频或语音聊天、和视频或语音会议等实时会话应用、DVD和蓝光光盘、图像或音频内容采集和编辑系统以及可携式摄像机的安全应用。视频由多帧图像组成，因此本申请中的图像可以是单独的图像，也可以为视频中的图像。

即使在影片较短的情况下也需要对大量的视频数据进行描述，当数据要在带宽容量受限的网络中发送或以其它方式传输时，这样可能会造成困难。因此，图像(或音频)数据通常要先压缩然后在现代电信网络中传输。由于内存资源可能有限，当在存储设备上存储视频时，图像(或音频)的大小也可能成为问题。图像(或音频)压缩设备通常在信源侧使用软件和/或硬件，以在传输或存储之前对图像(或音频)数据进行编码，从而减少用来表示数字图像(或音频)所需的数据量。然后，压缩的数据在目的地侧由图像(或音频)解压缩设备接收。在有限的网络资源以及对更高图像(或音频)质量的需求不断增长的情况下，需要改进压缩和解压缩技术，这些改进的技术能够提高压缩率而几乎不影响图像(或音频)质量。

近年来，将深度学习应用于在图像(或音频)编解码领域逐渐成为一种趋势。如谷歌已连续几年在CVPR(IEEE Conference on Computer Vision and PatternRecognition)会议上组织CLIC(Challenge on Learned Image Compression)专题竞赛，CLIC专注使用深度神经网络来提升图像的压缩效率，在2020年CLIC中还加入了图像挑战类别。基于竞赛方案的性能评估，当前基于深度学习技术的图像编解码方案的综合压缩效率已经与最新一代视频图像编解码标准VVC(Versatile Video Coding)相当，而且在提升用户感知质量方面有独特优势。

VVC的视频标准制定工作已于2020年6月完成，标准收纳几乎所有能够带来显著压缩效率提升的技术算法。因此沿传统信号处理路径继续研究新型的压缩编码算法在短时间内难以获得大的技术突破。区别于传统图像算法通过人工设计来对图像压缩的各模块进行优化，端到端AI的图像压缩是作为一个整体共同进行优化，因此AI图像压缩方案的压缩效果更好。变分自编码器(Variational Autoencoder,AE)方法是当前AI图像有损压缩技术的主流技术方案。在目前的主流技术方案是待编码图像通过编码网络获得图像特征图，并进一步对图像特征图执行熵编码，但是熵编码过程存在着复杂度过高的问题。

发明内容

本申请提供一种特征数据的编解码方法和装置，能够在不影响编解码性能情况下降低编解码复杂度。

第一方面，提供了一种特征数据的编码方法，包括：

获取待编码特征数据，所述待编码特征数据包括多个特征元素，所述多个特征元素包括第一特征元素；

获取所述第一特征元素的概率估计结果；

根据所述第一特征元素的概率估计结果，判断是否对所述第一特征元素执行熵编码；

仅当判断出需要对所述第一特征元素执行熵编码时，对所述第一特征元素执行熵编码。