[发明专利]基于内容分析的桌面视频编码控制系统

说明书

技术领域

本发明涉及通信和视频处理技术领域，具体地，涉及用于视频会议等场合的基于内容分析的桌面视频编码控制系统。

背景技术

基于互联网的视频通信技术被广泛应用企业或个人进行视频会议等工作和生活应用场合。在这些应用中，经常需要对电脑桌面显示的画面进行抓取，然后使用视频编码技术，比如H.264、H.265等国际标准，对抓屏数据进行编码，然后实时传输。

现有的视频编码传输系统在使用视频编码技术编码电脑桌面屏幕画面的过程中，并不对桌面屏幕画面进行内容分析，而是将画面整体作为输入，交由视频编码器进行处理。

由于人们在操作电脑时，电脑桌面屏幕内容变化多端，不做内容分析，使用单一的参数设置编码器，往往不能得到最优的压缩比率、最优的视频质量和最佳的视频体验。在现有的系统中，视频编码的帧率和分辨率，一般仅根据网络带宽来确定，且某一帧是否为参考帧往往按固定模式设置。另外，各帧码率几乎平均分配，这对于例如幻灯片演示等的典型场景来说并不合理。再者，在现有的系统中，帧内编码帧(参考帧，例如I帧)的选择，要么是丢包发生时选择帧内编码帧，要么是单一周期性的帧内编码，并不对桌面内容进行任何分析。

因此，在桌面视频的传输中，为了进一步优化体验，有针对桌面内容进行分析、然后选择最佳参数对视频编码和传输系统进行控制的需求。

发明内容

本发明的目的是针对现有技术的不足，设计本视频编码和传输控制系统，针对电脑屏幕内容进行分析，然后根据内容分析结果，结合网络传输状况控制编码器的编码参数，比如码率，分辨率，帧内编码帧间隔，参考帧选择，跳帧决策和量化参数等。

根据本发明的实施例，提供了一种用于发送屏幕画面视频的装置，包括：屏幕视频采集模块，其被配置为实时采集所述装置的屏幕画面；屏幕画面内容分析模块，其被配置为对所采集的每一帧屏幕画面进行分析；多路视频编码器，其被配置为并行或按需对所采集的屏幕画面进行视频编码；其中，所述装置被配置为：根据所述分析结果，选择所述多路视频编码器中的一路编码器输出的视频，用于发送。

根据本发明的实施例，其中，所述多路视频编码器包括：第一路视频编码器，其采用静态参考帧编码方案，其具有固定模式的参考帧结构，第二路视频编码器，其采用动态参考帧编码方案，其具有动态变化的参考帧结构。

根据本发明的实施例，其中，所述多路视频编码器还包括：第三路视频编码器，其采用全帧内编码方案。

根据本发明的实施例，所述装置还被配置为：根据当前网络状况，调整所述多路视频编码器的编码参数。

根据本发明的实施例，所述装置还被配置为：根据所述分析结果，选择并指示所述多路视频编码器中的一路编码器对所采集的屏幕画面进行编码，将由该路编码器编码后的视频流直接或经由服务端分发到接收端设备。

根据本发明的实施例，其中，所述屏幕画面内容分析模块还被配置为：通过对所采集的每一帧屏幕画面进行分析，确定对视频质量影响大的帧。

根据本发明的实施例，其中，所述屏幕画面内容分析模块还被配置为：通过比较当前帧与前一帧画面的差异，将差异较大的当前帧视为对视频质量影响大的帧。

根据本发明的实施例，所述装置还被配置为：在所述网络状况良好的情况下，所述装置选择第一路视频编码器。

根据本发明的实施例，所述装置还被配置为：在所述网络状况一般的情况下，所述装置选择第二路视频编码器，其中，将对视频质量影响大的帧编码为参考帧，将其余帧编码为非参考帧。

根据本发明的实施例，所述屏幕画面内容分析模块还被配置为：通过对所采集的每一帧屏幕画面进行分析，确定对视频质量影响大的帧，

根据本发明的实施例，所述装置还被配置为：在所述网络状况不良的情况下，选择第三路视频编码器，其中，仅对视频质量影响大的帧进行帧内编码，而不对其余帧进行编码。

根据本发明的实施例，所述装置还被配置为：通过帧重复方式，使第三路视频编码器的输出帧率与第二和第一路视频编码器相同。

根据本发明的实施例，提供了一种采用所述装置来发送屏幕画面视频的方法，包括以下步骤：实时采集所述装置的屏幕画面；对所采集的每一帧屏幕画面进行分析；并行或按需对所采集的屏幕画面进行视频编码；根据所述分析结果，选择所述多路视频编码器中的一路编码器输出的视频，用于发送。