[发明专利]虚拟桌面处理方法、轻量化网络模型的训练方法及其装置

说明书

本申请实施例公开了虚拟桌面处理方法、轻量化网络模型的训练方法及其装置，用于图像处理技术领域，包括：获取待编码的屏幕图像，处理屏幕图像获得多个图像块；将多个图像块输入轻量化网络模型，以确定各个图像块为文字图像块或非文字图像块；轻量化网络模型为对二分类神经网络模型进行模型压缩和目标模型训练得到的；目标模型训练为基于包括文字图像、非文字图像以及对应的图像分类标签的训练样本集进行的模型训练；对确定出的文字图像块和非文字图像块分别执行差异化编码，获得编码码流；将编码码流发送至虚拟桌面的解码端，提高图文分类识别的准确率；使轻量化网络模型能更快地输出对应的图像分类标签，提高图文分类的识别速率。

技术领域

本申请实施例涉及图像处理技术领域，尤其涉及虚拟桌面处理方法、轻量化网络模型的训练方法及其装置。

背景技术

VDI(Virtual Desktop Infrastructure，虚拟云桌面架构)，使用虚拟机器提供和管理虚拟桌面的虚拟化解决方案。VDI将桌面环境托管在一个集中的服务器上，并应要求部署给终端使用者，使用端点装置(如笔记本，平板电脑等)可通过网络进行访问VDI。现有的VDI虚拟桌面中一项关键的核心技术为，将虚拟机的屏幕图像通过网络传输到客户终端。为了增强客户终端的用户使用体验，在有限的网络带宽下，降低码率来传输屏幕图像非常关键。而针对屏幕图像中不同类型的区域，如文本图像区域与非文本图像区域，需要采取不同的压缩算法对其进行编码，以取得码流与图像质量之间的最佳平衡，如对于文本图像区域，用户会对失真比较敏感，须采取高保真的无损压缩算法来编码文本图像区域；而对于一些非文本图像区域，用户可以接受一定程度的人眼感知不到的失真，对于这些类型的图像区域，允许采用质量有所失真的有损压缩算法以降低码率，以满足网络带宽。

对于待编码的屏幕图像预处理操作中，其中重要的一步就是识别出屏幕图像里的文本图像区域。现有的在文本图像区域识别方面，主要有基于直方图、梯度等特征识别的算法和基于深度学习的OCR文字检测算法。在基于直方图、梯度等特征进行识别的算法，需要对图像块提取各种人工设计的特征，根据人工设计特征对得分最高的区域判定为文本图像区域，并对离散的局部区域进行连通合并得到最后输出分类结果。这类算法需要人为地设计特征，人为设计的特征可能存在误差，容易将文字图像区域识别成非文字图像区域，导致识别准确率较差。而基于深度学习的OCR文字检测算法，如YoLo系列、DBNet等。这些算法通过数据训练学习的方式提取训练文本的高层语义特征，在检测图像块时，需要耗费较多时间提取图像块中文本的语义特征，才能根据语义特征确定是否为文本图像区域，带来的大量的计算开销，检测时需要耗费较多的时间。

可见，现有在虚拟桌面中对屏幕图像进行编码时，对屏幕图像的文本图像区域识别方法，存在识别准确率较差以及识别耗费时间较长的不足。

发明内容

本申请实施例提供了虚拟桌面处理方法、轻量化网络模型的训练方法及其装置，能够在虚拟桌面中对屏幕图像进行编码时，有效提高图文分类识别的准确率以及图文分类的识别速率。

本申请实施例提供了一种虚拟桌面处理方法，应用于虚拟桌面的编码端，包括：

获取待编码的屏幕图像，处理所述屏幕图像获得多个图像块；

将所述多个图像块输入轻量化网络模型，以确定各个图像块为文字图像块或非文字图像块；所述轻量化网络模型为对二分类神经网络模型进行模型压缩和目标模型训练得到的；所述目标模型训练为基于包括文字图像、非文字图像以及对应的图像分类标签的训练样本集进行的模型训练，所述图像分类标签包括文字图像标签以及非文字图像标签；

对确定出的文字图像块和非文字图像块分别执行差异化编码，获得编码码流；

将所述编码码流发送至所述虚拟桌面的解码端。

进一步的，所述处理所述屏幕图像获得多个图像块包括：

基于预设图像分割算法根据所述屏幕图像中图像像素的灰度变化信息，确定所述屏幕图像中图像块的切分边界；