[发明专利]基于媒体流来形成拼块化视频

说明书

描述了基于拼块流由客户端计算机形成视频拼接的方法。所述方法可以包括包括：从第一组拼块流标识符中确定与第一拼块位置相关联的第一拼块流标识符和从第二组拼块流标识符中确定与第二拼块位置相关联的第二拼块流标识符；所述第一和第二组分别与第一和第二视频内容相关联；拼块流标识符与包括媒体数据和拼块位置信息的拼块流相关联，所述拼块位置信息用于发信号通知与所述客户端计算机相关联的解码器模块以生成包括拼块位置处的拼块的视频帧，所述拼块定义所述视频帧的图像区域中的视觉内容的子区域；基于所确定的第一拼块流标识符请求第一拼块流的一个或多个网络节点传输，并且基于所选择的所确定的第二拼块流标识符请求第二拼块流的传输；以及将第一和第二媒体数据与第一和第二拼块位置信息组合成由所述解码器模块可解码的比特流，所述第一和第二拼块位置信息发信号通知所述解码器模块将所述比特流解码成包括在第一拼块位置处的第一拼块和在第二拼块位置处的第二拼块的视频拼接的视频帧。

技术领域

本发明涉及基于媒体流来形成拼块化（tiled）视频，并且具体地但非排他地涉及用于基于拼块流（tile stream）来形成拼块化视频的方法和系统、用于形成拼块化视频的客户端计算机、用于使得客户端计算机能够形成拼块化视频的数据结构以及用于使用如上面所提及的方法的计算机程序产品。

背景技术

诸如视频拼接（video mosaic）之类的拼块化视频是在一个或多个显示设备上组合呈现视觉上不相关的或相关的视频内容的多个视频流的示例。此类视频拼接的示例包括电视频道拼接，其包括在单个拼接视图中的多个电视频道以用于快速频道选择以及包括在单个拼接中的多个安全视频馈送以用于紧凑概览的安全相机拼接。当不同的人员需要不同的视频拼接时，视频拼接的个性化常常是所期望的，例如：个性化的电视频道拼接，其中每个用户可以具有他自己的优选的电视频道集合，个性化的交互式电子节目指南（EPG），其中每个用户能够组成与由EPG指示的电视节目相关联的视频拼接，或者个性化的安全相机拼接，其中每个安全官员可以具有他自己的一组安全馈送。在视频拼接示出当前最受关注的电视频道时的情况下，在用户电视频道偏好可能改变时或当电视频道收视率波动时个性化可随时间而改变，并且当安全官员改变位置时，其他安全视频馈送可针对该安全官员而变成相关的。另外地和/或替代地，视频拼接可以是交互式的，即被配置成响应于用户输入。例如，当用户从电视频道拼接中选择特定拼块时，电视可以切换到特定频道。

WO2008/088772描述了用于生成视频拼接的传统过程。该过程包括选择处理所选视频的不同视频和服务器应用，使得表示视频拼接的视频流可以被传输到客户端设备。视频处理可以包括对视频进行解码，在解码域中空间地组合和拼连所选视频的视频帧，并将视频帧重新编码成单个视频流。这个过程在解码/编码和缓存方面需要很多资源。此外，双重编码过程首先在视频源处并其次在服务器处导致原始源视频的质量降级。

Sanchez等人的文章“Low Complexity cloud-video-mixing using HEVC”，第十一届每年IEEE CCNC——多媒体联网、服务和应用2014、第214-218页描述了一种用于创建用于视频会议和监视应用的视频拼接的系统。该文章描述了基于符合标准的HEVC视频压缩标准的视频混合器解决方案。通过重写与这些视频流中的NAL单元相关联的元数据，在网络中将与不同视频内容相关联的不同HEVC视频流组合。因此，服务器重写包括视频流的编码视频内容的传入NAL单元，并将那些组合/对接成表示拼块化HEVC视频流的NAL单元的传出流，其中每个HEVC拼块表示视频拼接的图像区域的子区域。视频混合器的输出可以通过对编码器模块放置特殊约束而由符合标准的HEVC解码器模块来进行解码。因此，Sanchez描述了一种用于在编码域中组合视频内容的解决方案，使得消除或至少大大减少对包括解码域中的解码、拼连、以及重新编码的资源密集型过程的需求。