[发明专利]一种在独立视频流中插入相关媒体的方法

说明书

技术领域

本发明涉及计算机网络视频，尤其处理多路视频流的远程实时传输技术。

背景技术

随着网络技术的发展，远程教学迅速发展成为人们获取教育一种重要方式。远程教学可以实时将教师现场授课场景以视频流的形式传输到上课者面前，也可以将视频流压缩成多媒体文件分发给上课者，这是一种非实时视频。而目前这种视频授课并不能保持现场授课的那种生动性。在目前的视频授课中，大多是在授课老师和授课的讲稿之间切换镜头，而不能把授课老师的本身形体动作和授课讲稿的内容同时展现给听课者，因此也就失去了一定的现场授课的生动性。然而，传统的实时视频流一般是一路视频流与多路音频的混合传输，这种并不适合在远程授课中同时传输多路视频流的需求。

为了更生动地展现实时授课场景，需要在一路主媒体流播放的同时，展现其他几路从属的媒体流。从属的媒体流是对主媒体流的补充和注释，也就是为实时场景增加多个镜头，对多个镜头分别编码；在接收端用多个画面展示从属的媒体流，给人以生动的场景。从属的媒体流可以是压缩过的图片或者文字等信息。

专利《一种模拟真实课堂授课效果的远程授课视频制作方法》，展示了一种模拟真实课堂授课效果的远程授课视频的制作方法，将教师的上课过程，分解为黑板上的板书和教师讲课两个过程，分别制成黑板视频和讲课视频，使得这两路视频完全同步，模拟真实课堂的授课效果。这种方法有一定的局限性，它只能处理两路视频流，而不能处理更多的视频流。

专利《在网络直播缓冲过程中播放广告的方法、系统及客户端》，公开了一种在网络直播缓冲过程中播放广告的方法、系统及客户端，但它处理的对象并不针对远程视频授课的应用，而是主要考虑网络视频的流畅性。

因此，目前单路视频流的远程视频授课形式已经满足不了当今对实时场景更好的效果的需求，针对多路视频流的实时视频传输技术有待开发。

发明内容

本发明的目的为了模拟真实课堂的授课效果，满足当今对实时场景更好的效果的需求，向视频流中插入用户定制的多媒体信息，实现对视频流中的注解、说明、补充等，当应用在远程视频授课中，可以将授课实时场景以多个视频画面展示，提供更加生动的视频。视频流与用户定制的多媒体信息相结合，尽可能使用户定制的多媒体信息全方位展现视频表达的场景，使这些多媒体信息表达更多的细节，以多画面形式向用户呈现视频流。即本发明可以对于多于一路的视频流或者图片流进行编码和传输，针对多路视频流的实时视频传输技术。

本发明的技术方案包括：

一种在原始视频流中插入用户定制的多媒体信息的方法，包括以下步骤：

1、采集主要视频流，以及要与主要视频流协同的从属视频流，包括文体、图片或其他的视频流，并指定这些多媒体信息的插入到原始视频流中的时间戳。

2、对主要的视频流利用一种编码器进行编码，将从属的视频流利用可选的编码器进行单独编码。在编码时用户定制的多媒体信息将被编码成一些特殊帧，与普通的视频帧经过时间戳对比后，按照一定的时序重新安排帧的位置。

3、在接收端，对收到的视频流进行解码，要特别考虑用户的特殊帧的解码。若该特殊帧包含的是文本等字幕数据，则根据需要将文本显示在原始视频流的合适位置上；若该特殊帧包含的是图片或从属视频流，则在一个新画面中展示这些内容。

有益效果

本发明提供的在视频流中插入相关多媒体的方法能够在视频流中方便插入用户的定制多媒体信息，使视频的展示功能得到扩展，在接收端通过多个画面展示场景，或者对细节进行补充，给接收用户以更多的信息、更生动的场景。

附图说明

下面结合附图与实施案例进一步说明本发明。

图1编码过程示意图；

图2二路视频流解码示意图；

图3整系统编码结构图；

图4整体效果图。

具体实施方式

下面将以远程视频授课的案例说明本发明的应用实施步骤及其优点。

在视频授课时，视频流可以有二个镜头：一个对准授课者，一个对准讲稿。授课者的动作作为主要的视频流，我们称其为主媒体；而讲稿以图片形式作为多媒体信息插入到主要的视频流中进行传输，我们称其为从属流。在下面的说明中，以一路从属流为例，说明实施步骤：

将从属流编码为主流中的特殊帧。在一般的视频流中，有三类帧：I帧、P帧和B帧。我们可以自定义一种新的类型帧：U帧，代表用户多媒体帧。这样，可以将从属流也做为帧进行编码，可以采用现有的帧编码技术对从属流进行处理，但U帧与I、P以及B帧没有关系，每一个U帧都进行帧内编码，而且不为其他帧的参考帧。在编码端的过程如图1所示。