[发明专利]通过可变形卷积生成用于视频编解码的预测帧

说明书

一种在视频编解码设备处进行视频编解码的方法，包括：通过可变形卷积深度神经网络(DNN)执行可变形卷积，以基于一组一个或多个先前已重建参考帧，生成一个或多个第一特征图；基于一个或多个第一特征图，生成预测帧；以及基于预测帧，重建当前帧。在实施例中，可以基于特征提取DNN，生成对应于一个或多个先前已重建参考帧的一组一个或多个第二特征图。可以使用偏移生成DNN，分别生成对应于一个或多个第二特征图的一个或多个偏移图。

引用并入

本公开要求于2021年5月13日提交的、申请号为17/319,932的美国专利申请“通过可变形卷积生成用于视频编解码的预测帧(Predicted Frame Generation by DeformableConvolution for Video Coding)”的优先权，该申请要求于2020年7月15日提交的、申请号为63/052,231的美国临时申请“通过可变形卷积生成预测帧(Predicted FrameGeneration by Deformable Convolution)”的优先权。在先申请的公开内容通过引用整体并入本申请中。

技术领域

本公开描述了总体上涉及基于人工神经网络的视频编解码的实施例。

背景技术

本文中提供的背景技术描述是为了大体上呈现本公开的上下文。在此背景技术部分描述的程度上，当前署名的发明人的工作，以及在本公开提交时可能不具有作为现有技术的资格的描述的各方面，既不明确认为也不隐含认为是本申请的现有技术。

神经网络基于互连节点(也称为神经元)的集合，这些互连节点松散地模拟生物大脑中的神经元。神经元可以组织成多层。一层的神经元可以连接到其前一层的神经元和后一层的神经元。

两个神经元之间的连接，像生物大脑中的突触一样，可以将信号从一个神经元传递到另一个神经元。然后，接收信号的神经元对该信号进行处理，并且可以发信号通知其它连接的神经元。在一些示例中，为了找到神经元的输出，通过用从神经元的输入到神经元的连接的权重，对神经元的输入进行加权，并且对加权后的输入进行求和，生成加权和。可以将偏置加到该加权和上。进而，该加权和经过激活函数，产生输出。

发明内容

本公开的各方面提供了一种在视频编解码设备处进行视频编解码的方法。该方法可以包括：通过可变形卷积深度神经网络(DNN)执行可变形卷积，以基于一组一个或多个先前已重建参考帧，生成一个或多个第一特征图；基于该一个或多个第一特征图，生成预测帧；以及基于该预测帧，重建当前帧。

在实施例中，可以基于特征提取DNN，生成对应于一个或多个先前已重建参考帧的一组一个或多个第二特征图。可以使用偏移生成DNN，分别生成对应于一个或多个第二特征图的一个或多个偏移图。每个偏移图可以是基于偏移生成DNN的以下输入而生成：对应于正在生成的偏移图的第二特征图；以及对应于目标帧的第二特征图，所述目标帧是所述一个或多个先前已重建参考帧其中之一。所述一个或多个偏移图可以具有相同的目标帧。

在实施例中，当当前帧与一个或多个先前已重建参考帧是按显示顺序排列时，目标帧与当前帧相邻。在实施例中，当当前帧是P帧时，目标帧是一个或多个先前已重建参考帧的最后一帧。当当前帧是B帧时，目标帧是一个或多个先前已重建参考帧中按显示顺序在当前帧之前的帧中的最后一帧。

在实施例中，可以接收一个或多个第二特征图，作为可变形卷积DNN的输入。可以分别生成对应于一个或多个第二特征图的一个或多个第一特征图。在实施例中，可变形卷积DNN包括一个或多个可变形卷积层，每个可变形卷积层与一个可变形卷积内核相关联，并且在对应于每个第二特征图的一个或多个可变形卷积层其中之一层，基于相应的可变形卷积内核和相应的第二特征图的偏移图，执行可变形卷积。

在实施例中，可以基于一个或多个第一特征图和一个或多个先前已重建参考帧，使用帧重建DNN构建一个或多个已对准帧。可以基于一个或多个已对准帧使用帧合成DNN来生成预测帧。