[发明专利]一种基于Wayland协议的视频和UI的drm直接显示方法及系统

说明书

本发明公开一种基于Wayland协议的视频和UI的drm直接显示方法，包括：视频端通过标准桌面协议向Weston开源库申请创建视频窗口的第一绘制表面，并生成对应的视频缓冲区；UI端通过窗口管理模块的私有协议向Weston开源库申请创建UI窗口的第二绘制表面，并生成对应的UI缓冲区；Weston开源库在接收到视频端和UI端的显示请求后，根据第一、第二绘制表面的创建顺序，分别将视频缓冲区和UI缓冲区提交至DRM的Plane中，并提交DRM的显示请求；DRM通过固定硬件管线实现视频和UI的混合输出。本发明实现了双屏4K分辨率的场景下视频/UI混合输出，视频可以达到60帧，UI可以达到30帧。

技术领域

本发明涉及视频和UI渲染管理技术领域，尤其涉及一种基于Wayland协议的视频和UI的drm直接显示方法及系统、计算机可读存储介质。

背景技术

在视频系统中比较常见的场景是视频和UI进行叠加混合输出，视频画页又分为单方全屏、1+N、等分等布局，因此需要有视频/UI混合显示模块来实现相应的功能。在Linux系统下，比较常见的显示驱动分为fbdev和drm（Direct Rendering Manager，直接渲染管理器）两种方式，两种显示驱动对应的应用访问方式分别为Framebuffer和libdrm。常见的解决方案如下：

FrameBuffer方案：使用CPU（Central Processing Unit，中央处理器）或GPU（Graphics Processing Unit，图形处理器）来混合好视频和UI，然后将合成的buffer提交给驱动进行显示。本方案的特点是比较好实现，但是对于多屏大分辨率画面，将消耗很大的CPU或GPU性能，很容易造成刷新帧率不足，出现卡顿、掉帧等现象。

gpu+drm方案：使用GPU进行视频和UI混合，然后将合成的buffer提交给驱动显示，这种方案的缺点和FrameBuffer方案一样，对GPU的性能消耗大，容易出现卡顿、掉帧现象。

drm直显方案：视频和UI在同一个进程内，各自的buffer分别按Plane提交进行直接显示。本方案的特点是整体性能会比较好，缺点是整体结构会很复杂，UI/视频不好独立开，另外对于第三方App的接入比较容易受到限制。开源的weston+drm方案：使用开源的weston图形桌面程序，来合成视频和UI画面，并由drm提交显示。该方案的特点是容易实现，在单一视频和单一UI场景下视频能达到正常性能要求。缺点是界面窗口管理复杂以及drm的plane分配不符合视频优先原则，在多层视频场景下很容易出现GPU合成遇到的问题，视频或UI客户端的surface管理也比较麻烦，最重要的是视频和UI的窗口层级无法得到保证，视频很容易就显示到UI上面。

发明内容

本发明目的在于，提供一种基于Wayland协议的视频和UI的drm直接显示方法及系统、计算机可读存储介质，以解决上述视频/UI混合显示时，性能消耗大，视频和UI的窗口层级无法得到保证，视频很容易就显示到UI上面的问题。

为实现上述目的，本发明实施例提供的一种基于Wayland协议的视频和UI的drm直接显示方法，包括：

视频端通过标准桌面协议向Weston开源库申请创建视频窗口的第一绘制表面，并生成与所述第一绘制表面对应的视频缓冲区；其中，所述标准桌面协议包括xdg-shell或wl-shell标准协议；

UI端通过ylvideo-shell-protocol内部协议向所述Weston开源库申请创建UI窗口的第二绘制表面，并生成与所述第二绘制表面对应的UI缓冲区；其中，所述ylvideo-shell-protocol内部协议为基于Wayland标准制定的私有协议；

所述Weston开源库在接收到的所述视频端和所述UI端的显示请求后，根据创建所述第一绘制表面和创建所述第二绘制表面的顺序，分别将所述视频缓冲区和所述UI缓冲区提交至直接渲染管理器的硬件图层单元中，并提交所述直接渲染管理器的显示请求；