[发明专利]用于视频同步的方法、服务器系统、用户设备和介质

说明书

通过短距离通信信道(40)向用户设备(1、2、3)发送系统时钟参考，并且使用系统时钟参考来计算时钟偏移。时钟偏移与用户标识符一起存储在服务器存储器(15)中，当接收到用户标识符和使用相应的时间戳标记的视频帧(31、32、33)的视频流(21、22、23)时，可以从服务器存储器(15)中获取时钟偏移。使用获取的时钟偏移，将时间戳转换成根据系统时钟(17)的捕获时间。由此，来自多个用户设备(1、2、3)的视频流(21、22、23)具有使用相同的时钟参考加时间戳的视频帧并且可以被时间对准。

技术领域

本实施例大体上涉及视频流同步，具体地，涉及源自记录场景的多个用户设备的视频流的同步。

背景技术

高速移动互联网的进步以及诸如手机、智能手机和平板电脑等用户设备的能力导致了消费移动直播视频流式传输服务的新途径。用户也很需要拍摄社交事件，例如足球比赛或音乐节，以呈现用户自己的故事版本。新兴的应用允许用户以类似于制作专业的直播TV的方式协同使用多个移动相机制作视频。如图1所示，场景包括三个用户角色，即，制作人、导演和消费者。制作人是具有用户设备1、2、3的用户，其将例如在体育场中的视频馈送协作记录和流式传输到应用服务器或服务器系统10。视频馈送的混合查看使导演能够进行视频指导和丰富的内容主张。因此，消费者能够基于导演的选择而不仅仅是传统TV广播提供的少数选项从不同角度观看事件的直播。

在社交多媒体环境中，导演希望监控来自制作人的同步视频流。仅将每个视频流同时发送到其物理输出硬件不一定能确保同步。在专业的直播视频制作中，多个相机馈送之间的同步通过专用硬件完成。然而，当通过无线连接流式传输来自用户设备1、2、3的视频时，这种方法是不实际的。因为延迟是无线网络的固有特征，并且当数据业务上升时，通常会发生网络拥塞。这意味着每个用户设备1、2、3都经历不同的网络延迟，对于给定的用户设备1、2、3，这可能进一步随时间而变化。因此，网络延迟的差异和变化导致每个视频流在服务器系统10处的到达时间不同。到达时间的差异对所感知的视频帧产生了很大的影响，从而导致向导演呈现的直播馈送的异步。这意味着导演将无法同步地对多个视频流进行编辑。如图2所示，图2示出了来自用户设备1、2、3的视频流21、22、23，加标记的视频帧31、32、33由用户设备1、2、3的相机同时拍摄。由于网络延迟，加标记的视频帧31、32、33到达服务器系统10的时间是不同的。因此，社交视频流式传输的最重要的要求之一是足够的同步，使得每个视频流彼此对准。多制作人视频拍摄出现异步的问题，这必须被解决。

在本领域中已经提出了用于实现视频流之间的同步的各种技术。

在解决方案中，使用时钟同步。使用由用户设备1、2、3上的相机的内部时钟生成的时间戳来计算同步偏移。该解决方案是最有效的处理方法之一。然而，一些用户设备1、2、3不具有内部高精度时钟。因此，时钟漂移和偏离可能导致用户设备1、2、3不同步。此外，该解决方案要求所有用户设备1、2、3都与集中式网络时间协议(NTP)服务器同步。每个用户设备1、2、3与服务器系统10之间的传输延迟也将彼此变化，特别是当无线网络高度拥塞时。

在另一个解决方案中，从音频流中提取音频指纹，并将音频指纹进行比较，以在多个相机正记录相同事件时找到所有音频流之间的匹配。通过比较类似的声音匹配的出现，可以计算同步偏移。然而，该解决方案要求所有用户设备1、2、3都足够接近事件，这是因为声音的速度比光速慢得多。当观看大型体育场中的体育比赛时，与另一个用户设备1、2、3记录的声音相比，更靠近声音源的用户设备1、2、3记录的声音可能会提前高达一秒。此外，人群产生的噪音也将降低找到合适的音频指纹的准确性。这意味着音频指纹通常将不太可靠地实现涉及多个用户设备1、2、3的视频流同步。

在进一步的解决方案中，假设外部硬件同步相机或所谓的相机间同步。这样的解决方案需要将用户设备1、2、3的相机物理地连接到外部同步硬件。它经常用于专业的直播视频制作。然而，在社交视频流式传输场景中，在社交事件中同步所有用户的用户设备1、2、3是不实际的，并且几乎是不可能的。