[发明专利]具有自适应迭代帧内预测的视频压缩

说明书

一种在视频编码器处进行视频编码的方法包括：接收与当前第一块相关联的一个或多个语法元素，所述当前第一块属于从图片划分出的多个第一块，所述一个或多个语法元素用于指示：最佳分区，所述最佳分区指示如何将所述当前第一块划分成用于帧内预测的多个第二块、一组块选择信号，其中所述当前第一块被重新划分成多个第三块，每个块选择信号对应于所述多个第三块中的一个，并且指示相应的第三块是使用第一编码方法还是第二编码方法编码的、以及一组压缩表示，每个压缩表示对应于所述多个第三块中的一个。可以基于所述一个或多个语法元素重建所述当前第一块，以生成重建的当前第一块。

引用并入

本公开要求于2021年9月27日提交的、申请号为17/486,533、名称为“具有自适应迭代帧内预测的视频压缩”的美国专利申请的优先权，其要求于2021年1月27日提交的、申请号为63/142,377、名称为“具有自适应迭代帧内预测的神经图像压缩”的美国临时申请的优先权。在先申请的公开内容通过引用整体并入本文。

技术领域

本公开描述了总体上涉及基于人工神经网络的视频编解码的实施例。

背景技术

本文所提供的背景描述旨在总体上呈现本公开的背景。在背景技术部分以及本说明书的各个方面中所描述的目前已署名的发明人的工作所进行的程度，并不表明其在本公开提交时作为现有技术，且从未明示或暗示其被承认为本公开的现有技术。

神经网络基于一组连接的节点(也称为神经元)，这些节点松散地模拟生物大脑中的神经元。神经元可以组织成多个层。一个层的神经元可以连接到紧邻的前一层和紧邻的后一层的神经元。

两个神经元之间的连接，就像生物大脑中的突触一样，可以将信号从一个神经元传输到另一个神经元。接收信号的神经元随后处理该信号，并可以向其它连接的神经元发出信号。在一些示例中，为了找到神经元的输出，通过从输入到神经元的连接的权重对神经元的输入进行加权，并对加权输入求和，以生成加权和。可以将偏差(bias)添加到加权和。进一步地，加权和随后通过激活函数，以生成输出。

国际标准化组织(ISO)和国际电工委员会(IEC)运动图像专家组(MPEG)(JTC 1/SC29/WG 11)一直在积极寻找对未来视频编解码技术标准化的潜在需要。ISO/IEC联合图像专家组(JPEG)建立了一个JPEG人工智能(AI)组，其专注于使用神经网络(NN)的基于AI的端到端神经图像压缩。一些公司资助了神经图像压缩(NIC)的专门研究项目。中国音频视频标准(AVS)还成立了AVS-AI特别小组，以致力于神经图像和视频压缩技术。最近方法的成功为先进的神经图像和视频压缩方法带来了越来越多的工业兴趣。

发明内容

本公开的各方面提供了一种在视频编码器处进行视频编码的方法。该方法可以包括：将图片划分成多个第一块；对属于多个第一块的当前第一块进行处理，以生成以下输出：最佳分区，其中最佳分区指示如何将当前第一块划分成用于帧内预测的多个第二块、一组块选择信号，其中当前第一块被重新划分成多个第三块，每个块选择信号对应于多个第三块中的一个，并且指示相应的第三块是使用第一编码方法还是第二编码方法编码的、以及一组压缩表示，每个压缩表示对应于多个第三块中的一个；以及对输出进行编码，以生成与图片对应的编码比特。

在实施例中，基于迭代预测估计神经网络(NN)，生成使用最佳分区划分出的当前第一块的估计块。估计块包括与多个第二块对应的多个估计第二块。在实施例中，对于使用第一编码方法编码的每个第三块，基于神经压缩NN对相应第三块中的多个估计第二块进行编码，以生成相应第三块的相应压缩表示。对于使用第二编码方法编码的每个第三块，执行帧内预测，以为相应第三块中的每个第二块生成残差块，基于残差神经压缩NN，对相应第三块的多个残差块进行压缩，以生成相应第三块的相应压缩表示。

在实施例中，为相应第三块中的每个第二块生成残差块的帧内预测是基于多个估计第二块和多个第一块的一个或多个估计块的，其中多个估计第二块是在当前第一块的估计块中的相应第二块的估计第二块之前处理的，一个或多个估计块是在当前第一块之前处理的。