[发明专利]一种视频编解码方法、装置及用于图像滤波的神经网络有效
申请号: | 201711311491.1 | 申请日: | 2017-12-11 |
公开(公告)号: | CN108184129B | 公开(公告)日: | 2020-01-10 |
发明(设计)人: | 马思伟;贾川民;王苫社;赵政辉 | 申请(专利权)人: | 北京大学 |
主分类号: | H04N19/82 | 分类号: | H04N19/82;H04N19/86;H04N19/96;H04N19/61 |
代理公司: | 11619 北京辰权知识产权代理有限公司 | 代理人: | 刘广达 |
地址: | 100871*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 滤波图像 神经网络 视频编解码 图像滤波 滤波 学习神经网络 环路滤波 随机访问 样本补偿 帧内编码 编解码 低延时 块效应 | ||
1.一种视频编解码方法,其特征在于,在环路滤波处理中还包括以下步骤:
步骤1:获取经去块效应处理之后的第一滤波图像块或经样本补偿处理之后的第二滤波图像块;
步骤2:基于所述第一滤波图像块和经训练的至少一个第一滤波神经网络获取第三滤波图像块,或者,基于所述第二滤波图像块和经训练的至少一个第二滤波神经网络获取第四滤波图像块;
步骤3:在按照下列公式确定第三滤波图像块或第四滤波图像块的率失真增益J小于0时,在码流信息中写入表示使用选定第一滤波神经网络进行滤波的第一标识信息或表示使用选定第二滤波神经网络进行滤波的第二标识信息,
其中,表示所述第一滤波图像块或所述第二滤波图像块与对应的原始图像块之间的均方误差失真,n表示图像块的长和宽,表示所述第一滤波图像块或所述第二滤波图像块在位置处的像素值,表示对应的原始图像块在位置处的像素值,表示均方误差失真增益,表示不使用所述选定第一滤波神经网络或不使用所述选定第二滤波神经网络进行滤波之前的均方误差失真,表示HEVC中的拉格朗日因子,表示使用所述选定第一滤波神经网络或使用所述选定第二滤波神经网络进行滤波所需的代价。
2.根据权利要求1所述的视频编解码方法,其特征在于,在步骤1之前还包括:
步骤1’:基于第一训练数据集合进行训练,得到经训练的第一滤波神经网络,或者,基于第二训练数据集合进行训练,得到经训练的第二滤波神经网络,
其中,所述第一训练数据集合包括,利用标准的HEVC视频编码器的环路滤波处理中所获取的、经去块效应处理之后的至少一个图像块和与该经去块效应处理之后的至少一个图像块一一对应的至少一个原始图像块,所述第二训练数据集合包括,利用标准的HEVC视频编码器的环路滤波处理中所获取的、经样本补偿处理之后的至少一个图像块和与该经样本补偿处理之后的至少一个图像块一一对应的至少一个原始图像块。
3.根据权利要求1或2所述的视频编解码方法,其特征在于,所述图像块至少包括下列中的至少一种:图像帧、编码树单元CTU、编码单元、预测单元、变换单元。
4.根据权利要求3所述的视频编解码方法,其特征在于,所述图像块包括YCbCr数据,所述视频编解码方法分别对所述图像块中的亮度数据、色度数据进行与编解码相关的环路滤波处理。
5.根据权利要求1所述的视频编解码方法,其特征在于,R=1。
6.根据权利要求3所述的视频编解码方法,其特征在于,将所述步骤3替换为以下步骤:
当按照下列公式确定图像帧所包含的至少一个第三滤波CTU或第四滤波CTU的率失真增益J小于0时,且当按照下列公式确定该图像帧所对应的第三滤波图像帧或第四滤波图像帧的率失真增益J小于0时,在码流信息中写入表示使用选定第一滤波神经网络进行图像帧级和CTU级的滤波的第一标识信息或表示使用选定第二滤波神经网络进行图像帧级和CTU级的滤波的第二标识信息,
其中,表示所述第一滤波图像帧或CTU、或所述第二滤波图像帧或CTU与对应的原始图像帧或CTU之间的均方误差失真,n表示图像帧或CTU的长和宽,表示所述第一滤波图像帧或CTU、或所述第二滤波图像帧或CTU在位置处的像素值,表示对应的原始图像帧或CTU在位置处的像素值,表示均方误差失真增益,表示不使用所述选定第一滤波神经网络或不使用所述选定第二滤波神经网络进行滤波之前的均方误差失真,表示HEVC中的拉格朗日因子,表示使用所述选定第一滤波神经网络或使用所述选定第二滤波神经网络进行滤波所需的代价。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京大学,未经北京大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711311491.1/1.html,转载请声明来源钻瓜专利网。