[发明专利]视频处理电路及用于执行SR操作的方法在审
申请号: | 202110247153.6 | 申请日: | 2021-03-05 |
公开(公告)号: | CN113393374A | 公开(公告)日: | 2021-09-14 |
发明(设计)人: | 任正隆;丛培贵;王耀笙;陈志玮;古志文;曾宇晟;石铭恩;罗国强 | 申请(专利权)人: | 联发科技股份有限公司 |
主分类号: | G06T3/40 | 分类号: | G06T3/40;G06T1/60;G06N3/04;G06N3/08 |
代理公司: | 深圳市威世博知识产权代理事务所(普通合伙) 44280 | 代理人: | 黎坚怡 |
地址: | 中国台湾新竹市*** | 国省代码: | 台湾;71 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 视频 处理 电路 用于 执行 sr 操作 方法 | ||
1.一种视频处理电路,其特征在于,该视频处理电路包括输入缓存器、在线适配电路和人工智能AI超分辨率SR电路;
其中,该输入缓存器用于通过网络从视频源接收输入的低分辨率LR帧和输入的高分辨率HR帧;
该在线适配电路用于:形成训练对,每个训练对由该输入的LR帧之一和该输入的HR帧之一组成;以及,利用该训练对计算表征该输入的LR帧的代表性特征的更新;以及,
该AI SR电路用于:从该输入缓存器接收该输入的LR帧以及从该在线适配电路接收该代表性特征;以及,在计算该代表性特征的更新的同时,基于该代表性特征从该输入的LR帧生成用于显示的SR帧,其中,每个SR帧具有比该输入的LR帧中的相应一者更高的分辨率。
2.如权利要求1所述的视频处理电路,其特征在于,该代表性特征包括以下一项或多项:场景类型,劣化类型,劣化级别和色彩状况。
3.如权利要求1所述的视频处理电路,其特征在于,该代表性特征包括用于该AI SR电路的信息,以更新用于生成该SR帧的AI模型的特性。
4.如权利要求1所述的视频处理电路,其特征在于,与该输入的LR帧相比,该输入的HR帧通过该网络被以更低频率地接收。
5.如权利要求1所述的视频处理电路,其特征在于,该训练对中的一个或多个包括具有不同内容和不同分辨率的HR帧和LR帧。
6.如权利要求1所述的视频处理电路,其特征在于,该在线适配电路可操作为:
利用卷积神经网络CNN识别该代表性特征。
7.如权利要求1所述的视频处理电路,其特征在于,该AI SR电路可操作为:
利用卷积神经网络CNN生成该SR帧。
8.如权利要求1所述的视频处理电路,其特征在于,该在线适配电路可操作为:
周期性地接收该输入的HR帧;以及,
将每个输入的HR帧与该输入的LR帧的多个LR帧进行配对,以形成多个训练对。
9.如权利要求1所述的视频处理电路,其特征在于,该在线适配电路可操作为:
当检测到预定事件时,接收一个或多个该输入的HR帧,其中,该预定事件包括场景改变或可用的网络带宽超过阈值。
10.如权利要求1所述的视频处理电路,其特征在于,在检测到预定事件时,该AI SR电路可操作为:更新用于生成该SR帧的AI模型,其中,该预定事件包括以下之一:不稳定的网络带宽,场景改变,固定的时间周期和每帧时长。
11.一种用于执行超分辨率SR操作的方法,其特征在于,包括:
通过网络从视频源接收输入的低分辨率LR帧和输入的高分辨率HR帧;
形成训练对,每个训练对由该输入的LR帧之一和该输入的HR帧之一组成;
利用该训练对计算表征该输入的LR帧的代表性特征的更新;以及,
在计算该代表性特征的更新的同时,基于该代表性特征从该输入的LR帧生成用于显示的SR帧,其中,每个SR帧具有比该输入的LR帧中的相应一者更高的分辨率。
12.如权利要求11所述的方法,其特征在于,该代表性特征包括以下一项或多项:场景类型,劣化类型,劣化级别和色彩状况。
13.如权利要求11所述的方法,其特征在于,该代表性特征包括用于更新被用来生成该SR帧的AI模型的特性的信息。
14.如权利要求11所述的方法,其特征在于,与该输入的LR帧相比,该输入的HR帧通过该网络被以更低频率地接收。
15.如权利要求11所述的方法,其特征在于,该训练对中的一个或多个包括具有不同内容和不同分辨率的HR帧和LR帧。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于联发科技股份有限公司,未经联发科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110247153.6/1.html,转载请声明来源钻瓜专利网。