[发明专利]一种分段式混合视频和音频同步的方法和装置

说明书

本发明提供了一种分段式混合视频和音频同步的方法和装置。该方法和装置将数据流解码为通道，将通道分割为控制点(具有相同索引的控制点将在所有通道上进行时间同步)定义的多个分段片段，使用线性或非线性数字信号处理算法以最优混合方式自动、智能地调整每个片段中的媒体数据的长度，同步和混合所有经过处理的片段，并输出经过混合和编码的最终数据流。具体而言，媒体数据之一是视频，另一媒体数据是音频或另一种语言的翻译音频。通过将失真控制在最低程度，可以加快后期处理速度并获得最佳同步质量，从而节省视频语言本地化服务的时间和成本。

本申请要求于2018年10月3日提交的美国临时专利申请号62/740,463的优先权。以上申请公开内容全文以引用方式并入本文

技术领域

本公开属于视频和音频同步、配音和旁白翻译领域。具体而言，本公开涉及一种分段式混合视频和音频同步的方法和装置。

背景技术

旁白翻译和配音是将视频本地化为原始源语言以外的其他语言的常用方法。旁白翻译的方法是在包括原始配音的现有音轨之上添加新配音，并且可在背景声中听到新配音。配音的方法是创建新音轨用于替换已有音轨。新音轨将新配音与原始背景音乐和音效合并。无论使用哪种方式，都需要录制和处理新配音。

在录制之前，需要将源语言中的每个句子翻译成目标语言，并由配音员进行演绎。由于演绎和语言差异，目标语言中每个句子的语音长度(持续时间)通常与原始语言中的不同。这会导致新配音与原始音效、音乐和/或其他视觉内容不同步。例如，新配音可能会在角色嘴巴闭合后继续；或爆炸音效在人们开始尖叫后才出现。音视频(AV)同步指在创作、后期制作(混合)、传输、接收和播放处理期间音频(声音)和视频(画面)组件的相对定时。在电视、视频会议和电影行业中，AV同步可能会是个问题。同步误差表示为音频偏离与视频的完美同步的时间量，其中正数表示音频早于视频，而负数表示音频晚于视频。

现有的使新配音与原始配音和/或视听内容匹配的方法通常需要高昂的成本和冗长的过程。配音中最常用的方法是基于试错法录制新句子来匹配播放的视频。声音演绎中的重复和时间消耗会带来巨额制作成本。另一种方法是手动调整每个新音频来匹配相应的视频内容。这需要人类工作人员对同步进入点和退出点、视频和音频匹配事件做出所有决策，并通过剪辑、重新定时或改变语气来手动调整音频长度。该过程十分繁琐且通常很难完成，甚至有可能无法完成。因此，需要一种更好、更具成本效益的方法，以及一个将两种媒体数据(特别是音频和配音)自动同步到视频的系统。

发明内容

本公开讨论了一种分段式混合视频和音频同步的方法，包括：确定相同数量的阈值，每个通道一个；标识每个通道内除起点外按时间顺序编制索引的多个控制点，其中一个通道内的某个控制点上的内容将基于数据内容与每个其他通道内具有相同索引的控制点上的内容同步；使用每个通道的控制点将其分割为相同数量的分段片段，以便每个片段的起点和终点都在某个控制点，第一个片段除外，该片段始于起点并终于第一个控制点；应用第一种算法来确定相同数量的目标长度，所有通道中具有相同索引的所有片段确定一个目标长度且每个片段确定一组参数；应用第二种算法，以使用片段的一组参数修改每个片段的数据来匹配目标长度；通过按顺序连接经过修改的片段来重新生成每个通道；其中，在媒体播放期间，任何通道内各控制点上的内容都与所有其他通道内各控制点上的内容同时出现；其中所有通道内任意位置的内容在感官上已同步；其中经过修改的通道和输入通道之间的感知质量差异在阈值范围内。