[发明专利]图像处理方法及装置

说明书

本公开提供一种图像处理方法及装置，涉及计算机图像领域，所述方法包括：采集桌面图像，获取每一个图像帧；其中，所述每一个图像帧被分割成多个宏块；对所述每一个图像帧进行纯色延拓；对经过纯色延拓后的图像帧进行相应的图像处理。本公开能够解决视频传输过程中当全屏幕播放视频时，无法有效降低传输码流的问题。

本公开是申请号为201910484339.6、申请日为2019年06月05日、发明名称为“图像处理方法及装置”的分案申请。

技术领域

本公开涉及计算机图像领域，尤其涉及图像处理方法及装置。

背景技术

个人PC(Personal Computer)普及率越来越高，当前传统个人办公环境均是基于PC办公模式。PC硬件软件随着使用时间的加长，均有不同程度的损坏、软件更新导致资源不足，似的企业的办公PC固定资产需要更新，带来成本的增加。为了应对以上问题，云桌面技术应运而生。当前很多的公有云和私有云都提供远程的虚拟桌面功能，一些企业内部也进行了私有云桌面的布局，有效缓解了企业更换硬件办公PC的成本压力，同时也提高了企业的信息安全水平。

云桌面的软件架构使用客户端和云端虚拟机，虚拟机运行在远程云服务器上，普通用户使用客户端登录虚拟机云桌面。云桌面技术的核心部分就是将虚拟机桌面以动态图像方式传递到客户端。在这个客户端和虚拟机直接传播动态图像使用Teradici私有的PCoIP协议，该协议主要对桌面图像进行采集、压缩、编码、传输，在客户端进行解码和渲染。以上的图像传输协议对带宽和时延要求很高，如何有效压缩桌面图像，降低码流以节省带宽是该协议的重点和难点。

传统的视频图像压缩均使用X264编码，能够有效的降低视频文件的大小，达到47％的压缩比例。但针对云桌面图像，大部分桌面区域均处于静止状态，使用X264编码并不能更有效降低码流的大小，每隔50个数据包，会强制刷新I(Intra)帧,I帧作为视频的帧内编码，数据量非常大，导致带宽占用很高。

私有的PCoIP协议主要解决了对于云桌面使用场景中，对于用户的操作，只传输桌面变化部分的视频块，有效降低了视频的编码大小，保证在低带宽下也能高效的使用。为了能够获得视频画面中的变换部分，将视频图像进行分割，分割方法可采用8X8 16X16 32X3264X64像素的块，这些块被称为宏块(macro block)。

对于图像变化部分的宏块进行传输，需要提取相关的变化宏块。而变化宏块的提取，需要有参考的不变边界。当前的技术，在采集桌面窗体中视频可变部分时，可以使用视频播放器的外边界作为不变部分，而当全屏幕播放视频时，不变部分的参考边界不存在，这样就会导致需要传递的宏块选择出现问题，变得无法有效降低传输码流的作用。

发明内容

本公开实施例提供一种图像处理方法及装置，能够解决视频传输过程中当全屏幕播放视频时，无法有效降低传输码流的的问题。所述技术方案如下：

根据本公开实施例的第一方面，提供一种图像处理方法，该方法包括：采集桌面图像，获取每一个图像帧；其中，所述每一个图像帧被分割成多个宏块；对所述每一个图像帧进行纯色延拓；对经过纯色延拓后的图像帧进行相应的图像处理。

本实施例中，由于将图像进行了纯色延拓，得到一个不变的参考边界，使得定位变化的宏块的位置更加方便。

在一个实施例中，对所述每一个图像帧进行纯色延拓包括：进行16或32字节宽度的纯色延拓。

在一个实施例中，对所述每一个图像帧进行纯色延拓之前，所述方法还包括：判断是否处于全屏状态，如果是全屏状态，则通知对所述每一个图像帧进行纯色延拓。

在一个实施例中，所述方法还包括：检测桌面图像是否发生变化。