[发明专利]一种视频处理方法及其系统、MCU视频处理单元

说明书

技术领域

本发明涉及多媒体通讯领域，尤其涉及一种应用于MCU(MultipointControl Unit，多点控制单元)的视频处理方法、一种应用于MCU的视频处理系统以及一种MCU视频处理单元。

背景技术

目前，视频会议系统主要用于召开远程会议、多点会议、实时会议等。在实现多点会议时，需要对视频数据和音频数据进行实时传输和交换；多点会议主要包括终端和MCU；在小型视频会议系统中，该视频会议系统主要由多个终端集中连接到同一个MCU上，以组成星型拓扑结构网络。上述提到的终端为用户端设备，配置有显示器、摄像机、扬声器、麦克风等多媒体部件；提到的MCU为系统端设备，主要用于集中对与其连接的各终端的多媒体信息进行交换和处理。

以一个如图1所示的视频会议系统为例，对现有技术进行视频处理的方法进行描述。

参见图1，为现有技术中一个具体的视频会议系统的视频通信示意图，该视频会议系统由终端1、终端2以及一个MCU视频处理单元MCU3组成，并且该两个终端都连接在该MCU3上，终端1与终端2可通过MCU3进行视频数据交换；终端1包括编码器11、解码器12、摄像机13以及显示器14，终端2包括编码器21、解码器22、摄像机23以及显示器24，MCU3包括第一解码器31、第一编码器32、第二解码器33、第二编码器34。

为更清楚、详细的描述现有技术对视频进行处理的方式，假设终端1为源终端，终端2为目标终端，以终端1向终端2发送视频数据为例进行详细描述。

在终端1向终端2传输视频数据时，包括以下步骤：

步骤一、终端1接收摄像机13发送的视频数据，该视频数据称为基带视频流。

一般情况下，该基带视频流的数据量很大，如高清视频格式1080P30(4:2:0)的基带视频流数据量为752Mbps(兆比特每秒)，若不对该基带视频流进行压缩处理而直接通过网络传输将会占用很大的网络带宽。

步骤二、终端1通过编码器11对接收到的基带视频流进行压缩编码得到压缩视频流，对该基带视频流进行压缩编码所采用的速率、编码格式为终端1所支持的速率与编码格式，并将该压缩视频流发送给MCU3。

经过压缩编码之后得到的压缩视频流的数据量比基带视频流的数据量小很多，如高清视频格式1080P30(4:2:0)的压缩视频流数据量低于8Mbps；压缩视频流主要用于网络传输以减少在传输过程中占用的网络带宽，压缩视频流不能进行视频处理、显示等操作，只有将该压缩视频流进行解压缩之后所得到的基带视频流才能进行视频处理和显示等操作。

步骤三、MCU3通过第一解码器31，采用终端1所支持的速率与编码格式对接收到的压缩视频流进行解压缩编码，得到基带视频流；对该基带视频流进行相应的视频处理；以及，在视频处理结束之后，通过第一编码器32，采用终端2所支持的速率与编码格式对处理后的基带视频流进行压缩编码，得到压缩视频流并发送给终端2。

步骤四、终端2通过解码器22，采用终端2所支持的速率与编码格式对接收到的压缩视频流进行解压缩编码得到基带视频流，并在显示器24中显示该基带视频流。

同理，终端2向终端1传输视频数据的流程，与上述终端1向终端2传输视频数据的流程类似，在此不再赘述。

通过上述终端1与终端2之间的视频数据流程可以看出，网络条件不同各终端使用的传输速率也不同，多媒体部件不同各终端使用的视频格式(包括基带视频格式和压缩视频格式)也不同；因此，采用该视频处理方式，对MCU视频处理需要满足两个基本要求：一、进行速率匹配，以使传输速率不同的终端之间可以实现视频数据的交换；二、进行视频格式匹配，以使视频格式不同的终端之间可以实现视频数据的交换。目前，人们还需要对视频处理功能进行多画面的合成处理，即第三个基本要求，比如某一终端的显示器的显示屏中分成两个画面，分别显示终端1传输过来的视频数据与终端2传输过来的视频数据上显示两个画面，还可以根据需要在终端的显示器上显示多路画面(后续称为多画面视频流)。

目前，由于个性化和大容量的需求，对MCU的视频处理技术提出了两大要求：一、视频处理功能可以灵活实现，如UP(Universal Port，通用端口)功能，即参加视频会议的各终端可以自由选择不同的视频格式和传输速率、多画面数目与形式以及视频内容；二、视频处理容量可以线性扩展，所谓线性扩展通常是指系统结构不变而系统规模和复杂度只随着单元模块的增加而线性增加，这样才可以方便地扩展系统容量。