[发明专利]一种结合卷积神经网络的HEVC视频质量增强方法有效

专利信息
申请号: 201910771568.6 申请日: 2019-08-21
公开(公告)号: CN112422993B 公开(公告)日: 2021-12-03
发明(设计)人: 何小海;孙伟恒;熊淑华;卡恩·普拉迪普;苏姗;卿粼波;滕奇志 申请(专利权)人: 四川大学
主分类号: H04N19/82 分类号: H04N19/82;H04N19/86;H04N19/154;G06N3/04;G06N3/08
代理公司: 暂无信息 代理人: 暂无信息
地址: 610065 四川*** 国省代码: 四川;51
权利要求书: 查看更多 说明书: 查看更多
摘要: 发明提出了一种结合卷积神经网络的HEVC视频质量增强算法框架,所提框架分为两个部分:首先在编码端对I帧构建CNN环路滤波网络IFN‑ND,以此替代HEVC原有的环路滤波器,这样就提升了I帧的质量。I帧作为后续P帧的参考帧,其质量的提升能够减少残差并初步提高P帧的质量;在解码端针对P帧构建了CNN后处理网络PQEN‑ND对解码后的P帧质量进行进一步的提升。算法框架还从码流信息中提取HEVC压缩噪声分布信息,加入到所提卷积神经网络中,以进一步提升网络效果。实验结果表明,所提算法框架能够显著地提升压缩视频质量。本发明可广泛应用于数字电影拍摄传输、文体活动直播、远程教育培训和目标检测等领域。
搜索关键词: 一种 结合 卷积 神经网络 hevc 视频 质量 增强 方法
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于四川大学,未经四川大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/patent/201910771568.6/,转载请声明来源钻瓜专利网。

同类专利
  • 用于对视频数据进行编码的方法、设备和介质-202211275539.9
  • 马宗全;王祥林;陈漪纹;修晓宇;朱弘正;于冰 - 北京达佳互联信息技术有限公司
  • 2020-12-18 - 2023-09-01 - H04N19/82
  • 本申请涉及用于对视频数据进行编码的方法、设备和介质。公开了一种用于对视频数据进行编码的方法,包括:获得与视频帧的多个像素组相对应的多个亮度样点和多个色度样点;以及对于所述多个像素组中的每一个像素组:识别与该像素组相对应的相应色度样点和一组亮度样点,每个亮度样点具有相应光亮度值;根据预定义锚定规则确定锚亮度样点,所述锚亮度样点具有锚光亮度值;基于所述一组亮度样点生成色度细化值,进一步包括:(1)将所述一组亮度样点中的每个亮度样点的相应光亮度值与所述锚光亮度值求差,以及(2)对所述一组亮度样点的光亮度值差应用跨分量滤波器以生成所述色度细化值;以及使用所述色度细化值来得到所述相应色度样点的值。
  • 环路滤波实现方法、装置及计算机存储介质-202111050475.8
  • 万帅;王铭泽;马彦卓;霍俊彦;杨付正 - OPPO广东移动通信有限公司
  • 2019-03-07 - 2023-08-08 - H04N19/82
  • 本申请实施例公开了一种环路滤波实现方法、装置及计算机存储介质,该方法包括:获取待滤波图像;其中,所述待滤波图像是待编码视频中的原始图像在视频编码过程中所生成的,所述待编码视频包括原始图像帧,所述原始图像帧包括所述原始图像;基于所述待滤波图像,分别获得所述待滤波图像的至少两个图像分量;确定所述待滤波图像的融合信息;其中,所述融合信息至少包括对所述至少两个图像分量进行融合得到的;基于所述融合信息对所述待滤波图像进行环路滤波处理,得到所述待滤波图像滤波后的至少一个图像分量。
  • 环路滤波实现方法、装置及计算机存储介质-202110832617.X
  • 万帅;王铭泽;马彦卓;霍俊彦;杨付正 - OPPO广东移动通信有限公司
  • 2019-03-07 - 2023-08-08 - H04N19/82
  • 本申请实施例公开了一种环路滤波实现方法、装置及计算机存储介质,该方法包括:获取待滤波图像;其中,所述待滤波图像是待编码视频中的原始图像在视频编码过程中所生成的,所述待编码视频包括原始图像帧,所述原始图像帧包括所述原始图像;确定所述待滤波图像的融合信息;其中,所述融合信息是所述待滤波图像的至少两个图像分量以及对应的辅助信息融合得到的;基于所述融合信息对所述待滤波图像进行环路滤波处理,得到所述待滤波图像滤波后的至少一个图像分量。
  • 基于卷积神经网络的环路滤波方法和装置-202011230701.6
  • 孙俊;黄志杰;郭晓鹏 - 北京大学
  • 2020-11-06 - 2023-07-18 - H04N19/82
  • 本发明公开了一种基于卷积神经网络的环路滤波方法和装置。该方法的步骤包括:建立并训练用于重建视频质量恢复的卷积神经网络,包括第一网络、第二网络和第三网络;利用索贝尔算子和二阶拉普拉斯算子求出输入的重建图像的一阶梯度和二阶梯度;利用第一网络和第三网络对输入的重建图像的一阶梯度和二阶梯度进行恢复,并将恢复的梯度与输入的重建图像的特征图进行整合,得到整合后的特征图;将整合后的特征图经过第二网络,得到恢复后的重建图像。相对于传统的环路滤波技术,本发明通过卷积网络提取视频特征,提高了对压缩视频的恢复能力。本发明在GPU的加速下能够与传统滤波技术的计算复杂度相当,且能够更加有效提升视频编码器压缩视频质量。
  • 面向VVC视频编码标准基于可变CNN的QP自适应环路滤波方法-202310250176.1
  • 刘鹏宇;金鹏程;陈善继;王偲荣 - 北京工业大学
  • 2023-03-15 - 2023-06-27 - H04N19/82
  • 本发明公开了面向VVC视频编码标准基于可变CNN的QP自适应环路滤波方法,属于视频编码技术领域,本方法包含以下步骤:构建轻量级CTU质量三分类网络;构建三个不同复杂度的CNN滤波网络;构建滤波和分类数据集;训练轻量级CTU质量三分类网络模型和三个不同复杂度的CNN滤波网络模型;将轻量级CTU质量三分类网络与三个不同复杂度的CNN滤波网络耦合,并集成到VVC标准VTM6.0中。本发明充分利用了深度学习在图像滤波去噪方面的优势,改善了视频编码器中环路滤波器的性能,有效提升视频整体质量和压缩效率。
  • 一种基于编码信息的深度神经网络的环路滤波决策方法-202310309504.0
  • 向劲松;王鹏;黄胜;曹维俊;陈贤龙 - 重庆邮电大学
  • 2023-03-27 - 2023-06-27 - H04N19/82
  • 本发明涉及一种基于编码信息的深度神经网络的环路滤波决策方法,属于图像处理技术领域。该决策方法应用于视频编码标准VVC中的基于神经网络的环路滤波器决策,首先预设基于神经网络的环路滤波器为Filter Net,用于替换VVC标准中的去块效应滤波器DBF和样值自适应补偿SAO;并搭建FFDN对所输入信息进行特征提取,以准确学习失真情况,进而得到CTU级别的Filter Net标志位,FFDN的输入为编码树单元CTU的重建信息、划分深度矩阵、Slice类型信息和QP值。借助这些编码信息,FFDN网络可以在编码增益相当的情况下,实现基于神经网络的环路滤波方案复杂度降低,进而实现整体编码时间的减少。
  • 基于多尺度变换域自适应维纳滤波的压缩视频来源检测方法-202210048894.6
  • 田妮莉;苏开清;潘晴 - 广东工业大学
  • 2022-01-17 - 2023-05-23 - H04N19/82
  • 本发明公开了基于多尺度变换域自适应维纳滤波的压缩视频来源检测方法,包括步骤:对参考和待测试的压缩视频分别干预解码,在环路滤波模块前取出视频帧,获取对应帧的宏块量化参数QP值构成矩阵;对各帧进行多尺度的双密度双树复小波变换,采用局部自适应阈值窗口维纳滤波处理各层的32个高频子带,逆变换后求取降噪前后的噪声残差;将QP矩阵作为噪声残差的权重,采用最大似然估计器得到最后的传感器模式噪声;使用符号峰值相关能量求参考和待测试压缩视频间的传感器模式噪声的相关性,根据阈值作出判决。本发明能从压缩视频中提取更充分的传感器模式噪声,有效改善压缩视频的识别效果,并且在较短时长的压缩视频源识别中也具有较强的鲁棒性。
  • 用于编码器中的环路滤波器及相关的信号处理方法-202210378580.2
  • 曾伟民;蔡志宏;李伟;张容;陈伍军 - 瑞昱半导体股份有限公司
  • 2022-04-12 - 2023-05-12 - H04N19/82
  • 本发明提供一种用于一编码器中的环路滤波器,其包括一约束方向增强滤波器与一决策电路。该约束方向增强滤波器用于对多个帧进行处理,其中针对该多个帧中的一第一帧,该约束方向增强滤波器决定该第一帧中的每一个区块在一第一滤波强度清单中的最佳滤波强度,并根据该第一帧的内容来决定一第二滤波强度清单。该决策电路用于记录该第一帧中的每一个区块对应到的最佳滤波强度是该第一滤波强度清单中的哪一个序号,并将该第一滤波强度清单与每一个区块所对应的序号提供给该编码器的一编码电路以作为该编码器的输出。
  • 一种环路滤波方法及相关装置-202211427592.6
  • 孟学苇;贾川民;王苫社;马思伟 - 鹏城实验室
  • 2022-11-15 - 2023-04-07 - H04N19/82
  • 本申请公开了一种环路滤波方法及相关装置,方法包括对于待滤波视频帧中的每个待滤波像素点,获取所述待滤波像素点所属的目标分类类别,以及获取所述待滤波像素点的参考像素向量,其中,参考像素向量包括局部参考像素和非局部参考像素;根据所述待滤波像素点的参考像素向量及目标分类类别对所述待滤波像素点进行滤波,以得到滤波后视频帧。本申请将待滤波像素点的局部参考像素和非局部参考像素进行融合得到参考像素向量,可以有效提升压缩视频的主客观质量,同时,基于待滤波视频帧的分辨率来确定局部参考像素和非局部参考像素的数量,这样可以根据待滤波视频帧的内容复杂度自适应选取参考像素向量,提高了环路滤波的自适应性。
  • 一种基于多信息融合的深度神经网络的环路滤波方法-202211615020.0
  • 向劲松;王鹏;陈贤龙;曹维俊;黄胜 - 重庆邮电大学
  • 2022-12-15 - 2023-04-07 - H04N19/82
  • 本发明属于视频编解码技术领域,具体涉及一种利用编码过程中多种信息融合的神经网络MIIN(Multi‑Information Integration Network)的环路滤波方法。本发明通过将编码过程中产生的多种中间信息输入到所搭建的神经网络中,并对视频编解码标准VVC环路滤波中的DBF模块和SAO模块进行替换,以提升环路滤波方案的性能。方案中亮度分量和色度分量采用不同的输入信息,其中主输入均为各个分量对应的重建信息,对应亮度分量的辅助输入为预测信息和分区信息,对应色度分量的辅助输入为残差信息和分区信息,借助这些辅助信息,MIIN网络复杂度接近的情况下,可以获得更好的滤波效果。
  • 一种用于视频编码的神经网络环路滤波方法及装置-202211307844.1
  • 宋晓丹;李甫;高大化;谢雪梅;石光明 - 西安电子科技大学
  • 2022-10-25 - 2023-04-04 - H04N19/82
  • 本申请提供一种用于视频编码的神经网络环路滤波方法及装置,该方法包括:在视频编解码器的编码端,获取当前帧的原始图像、前一模块输出的重建图像及其他边信息;将当前帧的原始图像、前一模块输出的重建图像及其他边信息,输入至编码端的基于自编码器的环路滤波器模块,得到第一重建图像和当前帧的环路滤波码流;在视频编解码器的解码端,获取当前帧的环路滤波码流、前一模块输出的重建图像及其他边信息;将当前帧的环路滤波码流、前一模块输出的重建图像及其他边信息输入至解码端的基于自编码器的环路滤波器模块,得到第二重建图像。该方案能够提升进一步提升编码性能,即在同等质量下降低码率,或者同等码率下,提升质量。
  • 滤波及编解码方法、装置、计算机可读介质及电子设备-202111144704.2
  • 王力强 - 腾讯科技(深圳)有限公司
  • 2021-09-28 - 2023-03-31 - H04N19/82
  • 本申请的实施例提供了一种滤波及编解码方法、装置、计算机可读介质及电子设备。该基于深度学习的滤波方法包括:获取已编码图像对应的重建图像和所述已编码图像的量化参数,所述量化参数包括所述已编码图像对应的帧级量化参数、条带级量化参数和块级量化参数中的至少一种;根据所述重建图像和所述量化参数生成深度学习滤波器的输入参数;将所述输入参数输入至所述深度学习滤波器,得到所述深度学习滤波器输出的对应于所述重建图像的已滤波图像。本申请实施例的技术方案可以提高滤波效果,进而有利于提升视频的编解码效率。
  • 用于视频编码的高效环路滤波-202211186461.3
  • 吴岳霖;邱铭豪;黄彦杰 - 联发科技股份有限公司
  • 2022-09-27 - 2023-03-31 - H04N19/82
  • 用于实现有效环路滤波的各种方案被描述,其表现在对于包括至少两个滤波级的环路滤波器的低延迟和降低的硬件成本。一种装置接收图片的当前块及该当前块的一个或多个相邻块的像素数据,基于该像素数据,该装置执行滤波操作并生成滤波块,该滤波块包括完全滤波的子块和部分滤波的子块。该装置进一步输出输出块,该输出块包括完全滤波的子块,以及部分滤波的子块中的每个子块的相应部分,其中该相应部分与完全滤波的子块之一相邻。
  • 一种解码、编码、编解码方法、装置及其设备-202111150944.3
  • 曹小强 - 杭州海康威视数字技术股份有限公司
  • 2020-03-25 - 2022-12-23 - H04N19/82
  • 本申请提供一种解码、编码、编解码方法、装置及其设备,该解码方法包括:若帧间预测滤波允许标志位允许当前块采用帧间预测滤波,和/或,增强帧间预测滤波允许标志位允许当前块采用增强帧间预测滤波,且当前块满足帧间预测滤波条件,则从当前块的编码比特流中解析当前块的帧间预测滤波标识;若所述帧间预测滤波标识指示当前块的滤波类型为帧间预测滤波,则对当前块进行帧间预测滤波处理,得到当前块的目标预测值;若所述帧间预测滤波标识指示当前块的滤波类型为增强帧间预测滤波,则对当前块进行增强帧间预测滤波处理,得到当前块的目标预测值。通过本申请,能够提高编码性能。
  • 视频处理中的多参数自适应环路滤波-202210787197.2
  • 张莉;张凯;刘鸿彬;王悦 - 抖音视界有限公司;字节跳动有限公司
  • 2020-03-24 - 2022-10-25 - H04N19/82
  • 描述了用于视频处理的设备、系统和方法。在一个示例性方面,一种用于视频处理的方法包括:执行包括一个或多个视频区域的视频的比特流和视频之间的转换,其中,用于使用非线性自适应环路滤波器对视频区域的第一视频单元的重构进行滤波的限幅参数是基于比特流中包括的第一边信息和第一自适应参数集标识来推导的,并且其中,用于使用非线性自适应环路滤波器对第一视频单元的重构进行滤波的滤波系数是基于比特流中包括的第二边信息和第一自适应参数集标识来推导的。
  • 环路滤波网络的训练方法、装置、计算机设备和存储介质-202010274653.4
  • 朱晗;许晓中;刘杉 - 腾讯科技(深圳)有限公司
  • 2020-04-09 - 2022-09-20 - H04N19/82
  • 本申请涉及一种环路滤波网络的训练方法、装置、计算机设备和存储介质。该方法包括:获取原始图像和对应的解码图像,将解码图像分别输入至第一环路滤波网络以及第二环路滤波网络中,获取第一环路滤波网络提取的第一特征图以及第二环路滤波网络提取的第二特征图,根据第一特征图和第二特征图获取第一环路滤波网络与第二环路滤波网络间的迁移损失值;根据第二环路滤波网络输出的滤波图像以及原始图像获取第二环路滤波网络的基础损失值;根据迁移损失值以及基础损失值确定第二环路滤波网络的目标损失值,根据目标损失值对第二环路滤波网络的网络参数进行调整,直至达到收敛条件,最终获得的环路滤波网络在计算复杂度较低的同时,提升编解码性能。
  • 用于编解码器的环内滤波器及滤波方法-202110226721.4
  • 董馨 - 炬芯科技股份有限公司
  • 2021-03-01 - 2022-09-02 - H04N19/82
  • 本公开涉及用于编解码器的环内滤波器及滤波方法,属于视频编解码领域,能有效去除方块效应。一种用于编解码器的环内滤波器,包括:输入存储器,存储待去方块宏块的子块数据;缓存存储器,存储待去方块宏块的左和上边界邻接子块数据和周边宏块控制信息;输出存储器,存储待去方块宏块的子块的滤波后数据;预取模块,从输入存储器中流水线地读取待去方块宏块的当前要被滤波处理的子块的数据,若该子块是待去方块宏块的边界子块,还从缓存存储器中流水线地读取相应的左和/或上边界邻接子块数据;去方块模块,基于周边宏块控制信息和预取模块读取的数据,对待去方块宏块的子块流水线地执行滤波;输出模块,将滤波后的数据流水线地写入输出存储器。
  • 去区块滤波等级决策方法-202110273488.5
  • 曾伟民;蔡志宏;李伟;张容;陈伍军 - 瑞昱半导体股份有限公司
  • 2021-03-12 - 2022-08-30 - H04N19/82
  • 本发明披露一种去区块滤波等级决策方法,应用于一图像编码器,并用于决定N个图帧的去区块滤波等级。该方法包含:判断该N个图帧的一当前图帧的一当前量化参数是否同于该N个图帧的任一先前图帧的一先前量化参数;若该当前量化参数不同于该先前量化参数,依据该当前量化参数查询一已建立表,以得到M个当前去区块滤波参考等级,从而依据该M个当前去区块滤波参考等级分别决定该当前图帧的M个当前去区块滤波等级;以及若该当前量化参数同于该先前量化参数,依据该先前图帧的M个先前去区块滤波等级分别决定该当前图帧的该M个当前去区块滤波等级。
  • 用于帧内预测的插值滤波方法、装置、介质及电子设备-201911122284.0
  • 王英彬;李一鸣;许晓中;刘杉;陈震中 - 腾讯科技(深圳)有限公司
  • 2019-11-15 - 2022-07-08 - H04N19/82
  • 本申请的实施例提供了一种用于帧内预测的插值滤波方法、装置、介质及电子设备。该用于帧内预测的插值滤波方法包括:获取指定预测单元所包含的预测像素的信息,并获取所述指定预测单元对应的滤波参数;根据所述预测像素与所述预测像素的第一参考像素之间的距离,从所述指定预测单元对应的滤波参数中选择与所述距离相匹配的目标滤波器;通过所述目标滤波器对所述预测像素的第二参考像素进行插值滤波处理,得到所述预测像素的预测值。本申请实施例的技术方案可以根据预测像素的位置信息自适应地选择不同的插值滤波参数,进而有助于提高帧内预测时像素插值预测的准确性,有利于提升编码压缩性能及解码效率。
  • 视频编解码的基于神经网络的环路内滤波器中的模型选择-202111505591.4
  • 李跃;张莉;张凯 - 脸萌有限公司
  • 2021-12-10 - 2022-06-14 - H04N19/82
  • 本公开涉及视频编解码的基于神经网络的环路内滤波器中的模型选择。一种由视频编解码装置实施的方法。该方法包括针对每个视频单元从多个神经网络(NN)滤波器模型候选中选择NN滤波器模型。针对第一视频单元选择的NN滤波器模型不同于针对第二视频单元选择的NN滤波器模型。该方法还包括基于针对视频单元选择的一个或多个NN滤波器模型在视频媒体文件与比特流之间进行转换。还公开了对应的视频编解码装置和非暂时性计算机可读介质。
  • 一种视频亮度滤波方法、装置、设备及存储介质-202210071948.0
  • 崔同兵;黄志杰 - 百果园技术(新加坡)有限公司
  • 2022-01-21 - 2022-06-03 - H04N19/82
  • 本申请实施例公开了一种视频亮度滤波方法、装置、设备及存储介质。本申请实施例提供的技术方案通过根据待处理图像块在同一滤波单元中的多个设定大小的滤波块上边界的边界强度,确定需要进行滤波的多个滤波边界,并根据待处理图像块在滤波边界两侧的亮度变化率确定对滤波边界的滤波有效标识以及滤波方式,基于确定的滤波方式在滤波单元中对滤波边界同步进行滤波操作,得到待处理图像块在各个滤波块处的滤波修正值,并根据滤波有效标识和滤波修正值得到待处理图像块在各个滤波块处的滤波结果,通过将同一滤波单元的多个滤波块作为一个整体,多个滤波块同步进行滤波方式的确定以及滤波操作,有效提高滤波的并行度,有效提升去方块滤波速度。
  • 一种管理解码图像缓存器的方法及装置-202010791294.X
  • 刘杉;许晓中;柳成浩 - 寰发股份有限公司
  • 2016-05-26 - 2022-05-31 - H04N19/82
  • 本发明提供一种用于视频编解码系统的管理解码图像缓存器的方法及装置,用于视频编解码系统,其中所述视频编解码系统使用包含帧间预测模式和帧内块复制模式的编解码模式。该方法包括:判断一个或者多个环路滤波器是否用于当前图像的整体部分;以及若所述一个或者多个环路滤波器中的所有在所述当前图像的所述整体部分均被禁能,则:仅将所述解码图像缓存器中一个图像缓存器分配给所述当前图像的所述帧间预测模式和所述帧内块复制模式;以及仅将未滤波版本的重构当前图像存储到所述一个图像缓存器中用于使用帧间预测模式和帧内块复制模式的系统。
  • 视频编解码中的环路滤波方法、装置、设备及存储介质-202010486518.6
  • 朱晗;许晓中;刘杉 - 腾讯科技(深圳)有限公司
  • 2020-06-01 - 2022-05-13 - H04N19/82
  • 本申请提供了一种视频编解码中的环路滤波方法、装置、设备及存储介质,涉及视频编解码技术领域。所述方法包括:获取视频中当前帧对应的重建帧以及生成该重建帧所使用的量化参数;对量化参数进行变换处理,得到变换后的量化参数;基于目标图像和变换后的量化参数,生成融合量化参数的目标图像;其中,目标图像包括重建帧或者当前帧对应的残差图像;基于重建帧和融合量化参数的目标图像,生成环路滤波模型的输入数据;通过环路滤波模型对输入数据进行滤波处理,得到滤波后的重建帧。本申请能够提升环路滤波模型在量化参数上的泛化能力,且有助于减轻编解码器的存储压力。
专利分类
×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

400-8765-105周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top