[发明专利]用于编码或解码图像的方法和装置

说明书

提供了一种使用深度神经网络(DNN)的预测图像生成技术。提供了一种图像解码方法，其包括：接收编码图像的比特流；确定从编码图像中分割的至少一个块；确定用于预测至少一个块中的当前块的邻近块；通过将邻近块应用于配置为通过使用至少一个计算机来预测图像的块的深度神经网络(DNN)学习模型来生成当前块的预测数据；从比特流中提取当前块的残留数据；以及通过使用预测数据和残留数据来重构当前块。

技术领域

本公开涉及一种通过利用使用机器学习算法的人工智能(AI)来处理图像的方法。更具体地，本公开涉及一种用于在图像编码和解码过程中通过使用深度神经网络(DNN)来生成预测图像的技术。

背景技术

人工智能(AI)系统是可以表现出人类水平的智能的计算机系统，并且是一种机器自我训练并做出决策且确定率随该系统的使用而得到提高的系统。

AI技术包括使用自分类算法并学习输入数据特征的机器学习(深度学习)技术以及通过使用机器学习算法来模拟人脑功能(诸如，识别和决策)的要素技术。

要素技术可以包括例如以下各项中的至少一项：用于识别人类语言/字符的语言理解技术、用于将对象识别为人类视觉的视觉理解技术、用于通过确定信息来在逻辑上推理和预测信息的推理/预测技术、用于将人类经验信息处理为知识数据的知识表达技术、或者用于控制车辆的自主驾驶或机器人的移动的操作控制技术。

具体地，视觉理解是用于以人类视觉的方式识别和处理对象的技术，并且包括对象识别、对象跟踪、图像搜索、人员识别、场景理解、空间理解和图像增强。

发明内容

技术问题

提供了根据多种实施例的图像编码/解码方法和设备。本公开将要实现的技术方案不限于上述技术特征，并且可以从以下实施例中推断出其他技术方案。

问题的解决方案

一种根据实施例的图像解码方法包括：接收编码图像的比特流；确定从编码图像中分割的至少一个块；确定用于预测所述至少一个块中的当前块的邻近块；通过将邻近块应用于配置为通过使用至少一个计算机来预测图像的块的深度神经网络(DNN)学习模型来生成当前块的预测数据；从比特流中提取当前块的残留数据；以及通过使用预测数据和残留数据来重构当前块。

DNN学习模型可以是训练为根据DNN学习模型中包括的多个网络节点之间的连接关系和基于多个网络节点中的每个网络节点的权重的操作来预测当前块的原始数据的网络模型。

预测数据的生成可以包括：通过将邻近块应用于第一DNN学习模型以执行第一预测来生成当前块的第一预测数据；通过将邻近块和第一预测数据应用于第二DNN学习模型以执行第二预测来生成当前块的第二预测数据；以及通过使用第一预测数据和第二预测数据来生成预测数据。

第一预测数据可以用于预测当前块的原始数据，并且第二预测数据可以用于预测通过从当前块的原始数据减去第一预测数据而获得的值。

第一DNN学习模型可以是递归神经网络(RNN)学习模型，并且第二DNN学习模型可以是卷积神经网络(CNN)学习模型。

第一预测数据的生成可以包括根据每个时间步长的预定方向，将邻近块的序列输入到RNN学习模型。

邻近块的确定可以包括：从在当前块之前重构的块中确定与当前块相邻的相邻块；以及将位于从当前块面向相邻块的每个方向上的块确定为邻近块。

所述输入可以包括：基于位于当前块的左方向上的块，沿顺时针方向将位于每个方向上的块输入到RNN学习模型。

当每个方向上存在多个块时，位于同一方向上的块的输入顺序可以是从距当前块最远的块到距当前块最近的块的顺序。

所述输入可以包括以Z扫描顺序将邻近块输入到RNN学习模型。