[发明专利]一种视频画质增强的方法、装置、设备以及存储介质有效
申请号: | 202110309945.1 | 申请日: | 2021-03-23 |
公开(公告)号: | CN113115075B | 公开(公告)日: | 2023-05-26 |
发明(设计)人: | 朱辉;陀健;章军海;黄浩填;曾招华 | 申请(专利权)人: | 广州虎牙科技有限公司 |
主分类号: | H04N21/2343 | 分类号: | H04N21/2343;H04N21/4402;G06T5/00;G06T3/40 |
代理公司: | 北京博思佳知识产权代理有限公司 11415 | 代理人: | 林祥 |
地址: | 511495 广东省广州市番禺*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 视频 画质 增强 方法 装置 设备 以及 存储 介质 | ||
1.一种视频画质增强的方法,其特征在于,包括:
从视频的解码数据中获取视频帧集合和解码信息,所述视频帧集合包括目标视频帧和至少一帧非目标视频帧,所述目标视频帧与所述非目标视频帧之间的时序差值小于或等于预设值;
针对所述视频帧集合,执行如下处理:
将目标视频帧输入训练好的画质增强模型,利用所述画质增强模型获取画质增强后的目标视频帧以及所述目标视频帧的画质增强数据;
基于所述解码信息和所述目标视频帧的画质增强数据,预测出每个所述非目标视频帧的画质增强数据,并利用所述非目标视频帧的画质增强数据对所述非目标视频帧进行画质增强处理;
其中,所述非目标视频帧包括至少一个帧间块以及至少一个帧内块,所述解码信息包括解码过程中利用所述帧内块的周围图像块来预测所述帧内块的相关参数,所述相关参数包括所述周围图像块的抽样值、抽样值的填充方向以及抽样值的加权系数;
所述非目标视频帧的帧内块的画质增强数据基于以下步骤得到:
基于所述相关参数中的抽样值以及所述非目标视频帧中帧间块的画质增强数据,得到所述非目标视频帧中帧内块的周围图像块的画质增强数据的抽样值;
将所述相关参数中的抽样值的填充方向和加权系数,作为画质增强数据的抽样值的填充方向和加权系数,利用所述画质增强数据的抽样值和加权系数进行加权计算,并按照画质增强数据的抽样值的填充方向进行填充,得到所述帧内块的画质增强数据。
2.根据权利要求1所述的方法,其特征在于,所述利用所述画质增强模型获取画质增强后的目标视频帧以及所述目标视频帧的画质增强数据,包括:
获取所述画质增强模型输出的画质增强后的目标视频帧;
根据所述目标视频帧在画质增强前后的对比,得到目标视频帧的画质增强数据。
3.根据权利要求1所述的方法,其特征在于,所述解码信息包括帧间信息,所述帧间信息包括所述帧间块的运动矢量;
所述非目标视频帧的帧间块的画质增强数据基于以下步骤得到:
基于运动矢量查找所述目标视频帧中与所述非目标视频帧相匹配的帧间块,将所述目标视频帧中帧间块的画质增强数据作为所述非目标视频帧中帧间块的画质增强数据。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述解码信息还包括去块效应滤波的参数;
在得到非目标视频帧的画质增强数据后,还包括:
利用去块效应滤波的参数消除所述非目标视频帧的画质增强数据中的块效应。
5.根据权利要求1所述的方法,其特征在于,所述视频包括直播客户端接收到的直播视频。
6.一种视频画质增强的装置,其特征在于,包括:
获取模块,用于获取编码视频的视频帧集合和解码信息,所述视频帧集合包括目标视频帧和至少一帧非目标视频帧,所述视频帧集合中的视频帧在时序上是连续的;
增强模块,用于针对所述视频帧集合,执行如下处理:
将目标视频帧输入训练好的画质增强模型,利用所述画质增强模型获取画质增强后的目标视频帧以及所述目标视频帧的画质增强数据;
基于所述解码信息和所述目标视频帧的画质增强数据,预测出每个所述非目标视频帧的画质增强数据,并利用所述非目标视频帧的画质增强数据对所述非目标视频帧进行画质增强处理;
其中,所述非目标视频帧包括至少一个帧间块以及至少一个帧内块,所述解码信息包括解码过程中利用所述帧内块的周围图像块来预测所述帧内块的相关参数,所述相关参数包括所述周围图像块的抽样值、抽样值的填充方向以及抽样值的加权系数;
所述非目标视频帧的帧内块的画质增强数据基于以下步骤得到:
基于所述相关参数中的抽样值以及所述非目标视频帧中帧间块的画质增强数据,得到所述非目标视频帧中帧内块的周围图像块的画质增强数据的抽样值;
将所述相关参数中的抽样值的填充方向和加权系数,作为画质增强数据的抽样值的填充方向和加权系数,利用所述画质增强数据的抽样值和加权系数进行加权计算,并按照画质增强数据的抽样值的填充方向进行填充,得到所述帧内块的画质增强数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广州虎牙科技有限公司,未经广州虎牙科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110309945.1/1.html,转载请声明来源钻瓜专利网。