[发明专利]利用灵活宏块排序对任意数目的源流进行视频合成

说明书

技术领域

本发明一般地涉及通过数字网络进行视频数据传输的领域。

背景技术

对端用户设备上的多媒体内容的日益增长的需求以及可用于递送该内 容的有限带宽使得开发出了非常高效且高度稳定的视频编码算法。例如， H.264/AVC(高级视频编码)数字视频编码标准因其可在易产生错误的环 境中提供高质量视频而闻名，这种编码标准是由国际电信联盟(ITU)视 频编码专家组(VCEG)与国际标准化组织ISO/国际电工技术委员会 (IEC)IEC运动图像专家组(MPEG)一起编著的。已出现的称为 H.264/SVC(可伸缩视频编码)的、对H.264/AVC的可伸缩扩展定义了包 含不可伸缩的基本层以及一个或多个增强层的可伸缩视频比特流。

H.264标准包含称为灵活宏块排序(FMO)的特征，该特征允许多个 “不同的片段组(slice group)”以如下方式在H.264影像中被创建：任一 宏块(16×16个像素的块)都不被来自同一片段组的任何其它宏块包围。 在片段组内部，所有宏块以光栅扫描顺序被排序。基本上，每个片段组就 像其自身的小型迷你影像。例如，可对一个片段组进行帧内编码，同时可 以根据基准影像中的相同的对应片段组来对相邻组进行预测性编码。比如 说对于视频会议，FMO特征使得能够从多个源中取出独立的贡献流 (contributing stream)并且将这些流组合成为一个流的合成影像。

发明内容

本发明的一个技术方案提供了一种视频合成方法，该方法包括：由合 成器接收多个即N个遵循H.264的源视频流，其中，N是大于1的整数； 利用灵活宏块排序(FMO)将所述N个源视频流中的每个源视频流转换为 源片段组；将垫料片段组添加到所述源片段组以创建遵循H.264/AVC标准 的合成图像；并且将所述源片段组和垫料片段组重新排序为单个合成输出 流，所述方法还包括：由解码器接收所述单个合成输出流；识别所述垫料 片段组；选择所述源图像，并且：分别显示所述源图像中的每个源图像， 或者将所述源图像布置为另一显示格式。

本发明的另一技术方案提供了一种视频合成方法，该方法包括：由合 成器将多个即N个源视频流格式化为片段组，其中，N是大于1的整数； 创建包括伸缩参数的影像参数集(PPS)，所述伸缩参数被附加到所述片 段组中的每个片段组，并且所述伸缩参数包括指示解码器将所述片段组伸 缩为产生矩形合成图像的格式的呈现信息。

本发明的又一技术方案提供了一种视频合成设备，该设备包括：用于 接收多个即N个源视频流的装置，其中，N是大于1的整数，所述源视频 流中的至少两个源视频流具有不同的配置属性；用于利用灵活宏块排序 (FMO)将所述N个源视频流中的每个源视频流转换为源片段组的装置； 用于将垫料片段组添加到所述源片段组以创建合成图像的装置；以及用于 利用任意片段排序(ASO)将所述源片段组和垫料片段组重新排序为单个 合成输出流的装置，所述设备还包括：用于接收所述单个合成输出流的装 置；用于识别所述垫料片段组的装置；用于选择所述源图像的装置，以 及：用于分别显示所述源图像中的每个源图像的装置，或者用于将所述源 图像布置为另一显示格式的装置。

本发明的再一技术方案提供了一种视频合成系统，该系统包括：合成 器，可操作用于接收多个源视频流，并且利用灵活宏块排序(FMO)将所 述源视频流中的每个源视频流转换为源片段组，所述每个源视频流包含源 图像，所述合成器还可操作用于向所述源片段组添加垫料片段组以创建合 成图像，所述合成器将所述源片段组和所述垫料片段组重新排序为单个合 成输出流；以及设备，可操作用于接收所述单个合成输出流，并且将合成 图像显示为具有比任何所述源图像的大小大的大小的矩形影像其中，所述 设备还可操作用于识别所述垫料片段组，选择所述源图像，并且分别显示 所述源图像中的每个源图像或者将所述源图像布置为另一显示格式。

附图说明

将从下面的详细描述和附图更全面地理解本发明，然而，详细描述和 附图不应当被认为是将本发明限制为所示出的具体实施例，而是仅用于说 明和理解。

图1图示出了示例视频通信系统。

图2A图示出了由图1的合成器产生的示例合成影像。

图2B图示出了由图1的合成器产生的另一示例合成影像。

图3A图示出了由图1的合成器产生的示例合成影像。