[发明专利]基于文本的音频/视频重录方法和系统

说明书

本公开提供了一种基于文本的音频/视频重录方法和系统。所述视频重拍方法包括：对已拍摄的初始视频进行语音识别，并将语音识别结果与视频时间轴上的时间点进行匹配；在需要重拍视频之时，启动控制状态；基于匹配结果，确定需要重拍的视频所对应的开始文本内容和结束文本内容；退出控制状态，根据所选择的开始文本内容和结束文本内容重新拍摄对应的视频；以及将初始视频中的未重拍部分与重新拍摄的视频自动合成为一个视频，或者将初始视频的除重新拍摄的音频部分以外的所有内容与重新拍摄的音频自动合成为一个视频。

技术领域

本文涉及在音频/视频拍摄过程中针对一部分音频/视频进行重录或者重录之后继录的办法与系统。

背景技术

图文内容的视频化是一个最近的技术趋势，视频化影响了众多行业，包括教育、娱乐、媒体等。对于没有表演或者演讲经验的普通用户，因为说错字、忘记台词等原因，常常需要多次录制，然后配合后期剪辑才能合并成一个完整视频；对于没有视频编辑经验的创作者，因为偶尔说错台词，就需要从头录制整个视频，将会是非常令人沮丧的体验。

具体地，当用户发生说错台词或表演不到位的时候，希望可以重新拍摄（即，从头开始重拍，力求一镜到底。这样，一段2分钟视频重拍多遍的情况屡有发生）或者暂停拍摄、快速将进度回退到错误发生之前、然后继续拍摄（当发生错词或表演失误时，用户先结束这一段拍摄；再从错词前某个大致的时间，重新开始一段拍摄；拍摄完成后，通过剪辑软件，把多段视频拼接在一起。这样，对于一段2分钟的成片，需要从多段原始片段中剪辑的情况常常发生）。对于暂停拍摄、快速将进度回退到错误发生之前、然后继续拍摄的情况，存在以下问题：如何快速的回退到精确的时间点，如何让两段拍摄能自动合理拼合，如何让用户方便自然地完成全部操作，而不影响拍摄状态。

在现有技术中，CN106782627B这一专利公布了一个针对音频重录的办法。其核心思想为，在已知音频发生时间点的前提下（如对于一首歌，唱歌词的时间是固定的），获得用户想要重录的时间点，并且通过播放之前的音频作为时间信号，引导用户流畅重新录制音频。但是该专利的前提是有伴奏文件并且歌词内容以及其在伴奏文件中所出现的时间位置是固定的，但对与一般视频或者音频，我们并无法知道文字对应的音频发生的时间点，所以针对一般情况的视频或者音频，该专利是不适用的。

发明内容

基于这些问题，本申请提出了一套方法、系统、与算法，可以让用户在单人录制且无需后期编辑的前提下，可以高效精确地重录自己不满意的部分，并且自动将视频合并起来，降低视频的拍摄难度和制作成本。相比于上述专利，利用本申请中的技术方向，用户可以在不提前提供文本的情况下依然可以重录视频或者音频。并且，相比于上述专利只是针对音频做了连续性的考虑，本申请还进一步考虑了针对视频的合并如何做连续性的衔接。本申请中记载的方案可以实现本说明书中记载的优点中的一个或多个。

本申请将由一系列的技术，包括自动语音识别 (Automatic SpeechRecognition，ASR)、自然语言处理 (Natural Language Processing，NLP)，以及为解决这个问题专门设计的用户交互流程构成。该流程包括以下步骤中的一些或全部：

1. 当用户拍摄发生错词、表演失误、或其他错误时，提供合理的UX控制，令其可以精确地回退到上一句或上几句开始的地方（这里需要合理运用 ASR技术与台词匹配技术）；

2. 通过实时的文字与视觉反馈，提示回退点的上下文，比如前面已经完成的台词、以及当时的拍摄姿态；（这里需要合理运用成像与视频渲染技术）；

3. 当用户准备好续拍的时候，提供合理的UX控制，令其可以精确地从续拍点继续往下拍摄；

4. 不断重复步骤1-3 直到整个拍摄完成，无需额外剪辑，就可以实时输出一段完整的视频；以及

5. 提供多种手段，让续拍点的切换更自然或更有效果。