[发明专利]一种图像处理方法、装置、电子设备及存储介质

说明书

本申请提供一种图像处理方法、装置、电子设备及存储介质，该方法包括：接收服务器发送的视频编码图像；将视频编码图像进行解码，获得视频解码图像；将视频解码图像进行超分辨率重建，获得超分辨率图像；根据超分辨率图像生成视频流数据，并将视频流数据存储或播放显示。在上述的实现过程中，对解码后的视频图像进行超分辨率重建，可以使低分辨率视频恢复到超高分辨率视频，呈现出较高质量的视频画面，同时也保证了用户体验，从而在视频清晰度保持基本不变的情况下，有效地增加视频压缩比率，改善了由于过低的视频压缩比率导致视频流在低带宽情况下被播放时，出现的画面卡顿的问题。

技术领域

本申请涉及深度学习、视频和图像处理的技术领域，具体而言，涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

图像处理，是指对图像进行分析、加工和处理，使其满足视觉、心理或其他要求的技术；图像处理是信号处理在图像领域上的一个应用；当前大多数的图像均是以数字形式存储，因而图像处理很多情况下指数字图像处理；图像处理是信号处理的子类，另外与计算机科学、人工智能等领域也有密切的关系。

目前在视频流数据的传输过程中，通常是先对视频流进行降质采样并压缩后，降质采样包括两种方式：降低视频中每帧的图像分辨率和降低视频帧率，再将降质采样并压缩后的视频流传输至接收终端，接收终端再使用视频解码算法对降质采样并压缩后的视频流进行解码后，再使用插值算法对解码后的画面进行还原，获得还原后的视频流。在实践过程中发现，通过这种降采样、压缩、传输、解码和插值的方式对视频流处理后，低带宽用户在播放还原后的视频流时，用户体验不佳，具体例如视频画面会产生卡顿的问题。

发明内容

本申请实施例的目的在于提供一种图像处理方法、装置、电子设备及存储介质，用于改善视频流在低带宽情况下被播放时出现画面卡顿的问题。

本申请实施例提供了一种图像处理方法，应用于终端设备，包括：接收服务器发送的视频编码图像，视频编码图像是对视频流数据中的视频图像进行超分辨率压缩和编码获得的；将视频编码图像进行解码，获得视频解码图像；将视频解码图像进行超分辨率重建，获得超分辨率图像；根据超分辨率图像生成视频流数据，并将视频流数据存储或播放显示。在上述的实现过程中，通过对视频流数据中的图像进行超分辨率压缩、编码、传输、解码和超分辨率重建，使得压缩编码后的视频流数据更快地从网络中传输完成，也就是说，对解码后的视频图像进行超分辨率重建，可以使低分辨率视频恢复到超高分辨率视频，呈现出较高质量的视频画面，同时也保证了用户体验，从而在视频清晰度保持基本不变的情况下，有效地增加视频压缩比率，改善了由于过低的视频压缩比率导致视频流在低带宽情况下被播放时，出现的画面卡顿的问题。

可选地，在本申请实施例中，将视频解码图像进行超分辨率重建，获得超分辨率图像，包括：使用超分辨率重建网络模型中的上采样网络对视频解码图像进行上采样，获得上采样图像；使用超分辨率重建网络模型中的残差学习网络提取上采样图像的细节特征，获得细节特征图；将细节特征图和上采样图像进行融合，获得超分辨率图像。在上述的实现过程中，通过使用超分辨率重建网络模型中的上采样网络对视频解码图像进行上采样获得上采样图像，并使用超分辨率重建网络模型中的残差学习网络提取上采样图像的细节特征图；最后将细节特征图和上采样图像进行融合，获得超分辨率图像；由于结合了上采样图像和上采样图像中的细节特征信息，能够实现高分辨率图像中的空间清晰度和时间的一致性，从而有效地提高了图像的清晰度和细节信息。