[发明专利]一种基于虚拟化技术的Linux视频编码方法

权利要求书

1.一种基于虚拟化技术的Linux视频编码方法，其特征在于，通过Linux虚拟机中的capture mode(桌面抓取模块)、agent mode(代理模块)、server mode(服务模块)和clientmode(客户端模块)实现，具体编码方法如下：

步骤一：Linux虚拟机开机会以服务的形式自动启动agent进程，作为网络服务端，同时agent进程在网络服务初始化完成后，处理监听(listen)状态，等待客户端的网络连接(即capture mode)；当用户在远程客户端(即client mode)输入用户名和密码连接linux虚拟机，如果验证通过后，此时agent进程会产生capture子进程；capture子进程作为客户端与agent进程在linux虚拟机内部进行本地socket进程间通讯，桌面数据由capture子进程到agent进程，在真正桌面数据传输之前，会进行数据流编码参数确认；

步骤二：各个模块之间进行消息交互，具体流程如下：

①VGPU_SEND_ADAPTER_MONITOR：capture mode发送vgpu显卡的相关信息；

②VGPU_SET_PARAM_START_REQUEST：agent mode发送数据流的编码参数信息；

③VGPU_GET_DATA_REQUEST：agent mode发送此信息后，capture子进程开始传输编码后的桌面数据给agent服务进程；

④VGPU_STOP_REQUEST：capture子进程暂停数据的发送；

⑤VGPU_DESTROY_REQUEST：capture子进程结束运行并退出；

步骤三：各个模块的运行原理具体如下：

①capture mode：capture进程产生后，作为客户端与agent服务端进程进行socket连接，连接后，主进程会产生三个子线程进行工作(包括其中的主线程)，main thread,capture thread,send thread，具体分工如下：main thread主要是接收并处理agent服务端发送过来的信息，对capture thread的抓取到的ARGB桌面数据利用ffmpeg库进行nvidiagpu硬编码，或者cpu软编，目前支持h264,h265编码；capture thread主要是抓取linux虚拟机桌面数据，重点是调用xcb库函数xcb_shm_get_image和xcb_shm_get_image_reply这两个函数实现，使用linux共享内存的方式获取原始数据shmget；send thread的功能是实现将main thread编码后的桌面数据通过tcp连接发送到agent进程；

②agent mode：agent进程会在Linux虚拟机开机时以服务的形式自动启动，使用linux模块systemd，当用户在远程客户端连接linux虚拟机时，agent会从远程客户端获取相应的数据流编码参数，产生capture子进程，以消息VGPU_SET_PARAM_START_REQUEST的形式传给capture子进程，然后发送消息VGPU_GET_DATA_REQUEST给capture子进程，源源不断的从capture子进程得到编码后linux虚拟机桌面数据，得到数据后，通过qemu启动linux虚拟机时所创建的virtio字符设备(/dev/virtio-ports/com.redhat.spice.0)转发给servermode，当编码数据比较大时，agent进程需要将数据分包，分包中包括包的数目，每个包的大小，在server mode中组包需要这些信息；

③server mode：linux虚拟机是由qemu以进程的形式创建，一般运行在centos操作系统，它通过调用spice server库，当字符设备有agent mode的编码数据传输过来时，会读取数据并确定是否需要组包，当全部完整的读取整个包数据后，才会通过tcp连接传输到client mode；

④client mode：当用户通过远程客户端连接到linux虚拟机时，会不断读取spiceserver传输过来的编码数据，会产生二个处理线程，decode thread,render thread；decode thread进行ffmpeg解码，具体包括CPU软解和GPU硬解，将解码后的数据转化为rgb格式的数据，render thread利用cairo进行渲染绘制，通过显示器显示出来，两个线程之间的数据通过队列流通；

步骤四：通过capture mode(桌面抓取模块)、agent mode(代理模块)、server mode(服务模块)和client mode(客户端模块)四个模块的相互协助，当用户连接linux虚拟机，该虚拟机就可以充分利用GPU的计算能力和硬编功能，运行大型的3D游戏和3D软件。