[发明专利]图像超分方法

说明书

一种图像超分方法，包括以下步骤：S101：将输入YUV图像的Y通道进行Y通道扩展；S102：对所述步骤S101的输出进行超分推理；S103：使用所述步骤S101的输出和所述步骤S102的输出进行残差计算；S104：对所述步骤S103的输出进行像素清洗，输出超分Y通道图像；S105：将输入YUV图像的UV通道进行UV通道扩展；S106：将所述步骤S104的输出与所述步骤S105的输出合并后输出超分YUV图像。本发明的图像超分方法适用于端侧超分，使用本发明的方法，可以达到输出图像分辨率高、计算量小因而速度快、功耗小、发热量小的效果。

技术领域

本发明涉及一种图像处理方法，特别是涉及一种图像超分方法。

背景技术

随着高清显示的普及，用户对于画质的要求越来越高。受制于拍摄设备、传输带宽、下发策略等因素的影响，会导致终端显示的画质分辨率低，显示效果不好。将低分辨率输入恢复为高分辨率输出，解决上述显示质量的问题的技术称为图像超分。目前互联网中常用超分方法为，经过云端渲染的高分辨率图片进行编码压缩后下发，由终端设备侧（即客户端、移动端）进行超分后进行高分辨率图像显示，这种方式称为端侧超分。由于超分算法对运算资源有着较大的需求，超分算法运行在终端设备上对终端设备的硬件配置有着很高的要求。相关技术中，受制于终端设备硬件的局限性，可能导致的问题有：超分效果不佳、超分方法不能灵活兼容不同配置机型、功耗大引起发热等。其中，相关技术中一般是针对540p超分分辨率，帧率要求为30fps，而在目前高清视频和云游戏的显示中需要达到720p超分分辨率，帧率达到60fps，因此需要超分方法的进一步优化。

专利文献CN110223230A公开了一种多前端深度图像超分辨率系统，包括：深度图像超分辨率模块；微信小程序前端模块；网页前端模块；服务器后台模块。在上述相关技术中，没有解决上述超分效果不佳、功耗大引起发热等问题。

发明内容

本发明要解决相关技术中超分效果不佳，实现的分辨率、帧率较低，功耗大发热量高的问题。

针对上述存在的局限性，本发明提出了一种图像超分方法，包括以下步骤：

S101：将输入YUV图像的Y通道进行Y通道扩展；

S102：对所述步骤S101的输出进行超分推理；

S103：使用所述步骤S101的输出和所述步骤S102的输出进行残差计算；

S104：对所述步骤S103的输出进行像素清洗，输出超分Y通道图像；

S105：将所述输入YUV图像的UV通道进行UV通道扩展；

S106：将所述步骤S104的输出与所述步骤S105的输出合并后输出超分YUV图像。

进一步地：所述步骤S101-S104通过第一模型（100）执行，所述第一模型（100）设置在NPU、DSP或GPU上；

所述步骤S105-S106运行在DSP、CPU或GPU上。

进一步地：所述第一模型100包括：

运算层，包括：

卷积运算：进行卷积运算输出运算结果；

激活函数运算：对所述卷积运算的输出的所述运算结果，使用激活函数进行映射计算；

所述运算层为M层；M≥2；

残差计算：

将第1层所述运算层的输出与最后一层所述运算层的输出进行残差运算；

像素清洗：

对所述残差计算的输出进行像素清洗，输出超分Y通道图像。

进一步地：在存储空间上设置第一存储空间、第二存储空间；

所述第一存储空间储存所述输入YUV图像；所述CPU和所述GPU通过指针访问所述第一存储空间；

所述第二存储空间储存所述超分YUV图像；所述CPU和所述GPU通过指针访问所述第二存储空间。