[发明专利]从视频中识别并移除受限信息

说明书

使用基于web的平台向观众提供具有没有受限音频的视频，诸如受版权保护的音轨。为此，接收包括至少两个音频层的视频。音频层可以包括分离且不同的音频层或来自不同源的音频的混合。在第一音频层中识别受限音频元素并且在第二音频层中识别语音元素。通过在两个音频层上执行语音到文本并且移除与第二音频层的受限音频元素相对应的文本，可以生成缝合文本字符串。播放视频时，一部分视频会根据受限音频元素静音。语音合成器用于在静音部分期间使用缝合文本字符串生成可听语音。

技术领域

在高层次上，本文描述的方面涉及提供具有受限音频的视频。

背景技术

许多网站允许第三方上传视频内容。其中一些网站积极寻求识别并移除包括受限信息的视频内容，例如受版权保护的音乐。受版权保护的音乐有时会无意中出现，因为某些第三方将他们无权使用的音乐合并到视频中。在其他情况下，它会无意中出现在视频的背景中。传统技术会在检测到受限信息(如受版权保护的音乐)时标记视频，并可能禁止将视频上传到网站。一些网站要求用户在上传视频之前发布免责声明。

发明内容

一种方法包括识别视频的第一音频层中的受限音频元素和第二音频层中的语音元素。在一个示例中，这可能发生在用户创建的视频内容包括一些受限音频(例如受版权保护的音轨)的情况下。

基于第一音频层包括受限音频元素，包括第一层和第二层的音频在播放视频时被静音。通过这样做，受限音频元素不存在于计算设备的用户界面处的视频回放中。

为了让其他人在没有受限音频元素的情况下仍然能够理解视频的内容，启动语音合成器以生成对应于第二音频层的语音元素的可听语音。语音合成器在已经静音的一部分视频期间提供可听语音。这样，用户可以在不听到受限音频元素的情况下观看视频，但仍然能够理解视频的内容，因为语音合成器提供了来自语音元素的可听语音。

除了启动语音合成器之外或代替启动语音合成器，可以在回放期间提供文本以便在没有受限音频元素的情况下提供语音元素的内容。为此，使用语音到文本模型生成文本字符串，并且生成的文本字符串包括表示第一音频层的第一组文本和表示第二音频层的第二组文本。生成文本字符串使得文本字符串内的第一组文本分散在第二组文本中。当受限音频元素和语音元素同时出现在视频中时，就会出现这种模式。

从文本字符串中生成缝合文本字符串。这是通过缝合表示第二音频层的第二组文本并且从第一音频层排除第一组文本来完成的。这样，缝合文本字符串中包括与语音元素相对应的文本，但不包括受限音频元素。可以在静音一部分视频期间提供缝合文本字符串以在用户界面上显示。

本概述旨在以简化形式介绍概念的选择，这将在本公开的详细描述部分中进一步描述。本发明内容并非旨在识别所要求保护的主题的关键或基本特征，也不旨在用作确定所要求保护的主题范围的帮助。本技术的其他目的、优点和新颖特征将部分地在随后的描述中阐述，并且部分地对于本领域技术人员在检查本公开内容或通过技术实践学习时将变得显而易见。

附图说明

下面结合附图对本技术进行详细描述，其中：

图1是根据本文描述的一个方面的包括示例视频编辑引擎的示例运行环境；

图2是根据这里描述的一个方面的说明性场景，其中创建具有受限音频元素和语音元素的视频文件；

图3是根据本文描述的一个方面的由图2的语音元素形成的缝合文本字符串的示例说明；

图4是根据本文描述的一个方面的在没有图2的受限音频元素的情况下播放视频的计算设备；

图5至图6是示出根据本文描述的方面的用于提供没有受限音频的视频的示例方法的框图；以及

图7是根据本文描述的方面的适用于采用图2的示例视频编辑引擎的方面的示例计算设备。

具体实施方式