[发明专利]一种基于端到端的水场景音频的生成方法

说明书

本发明属于音频处理的技术领域，具体涉及一种基于端到端的水场景音频的生成方法，包括如下步骤：步骤一，选取各类水场景视频，并进行预处理；步骤二，根据预处理后的数据，通过训练获得生成器模型；步骤三，将无声视频进行预处理，加载到训练好的生成器模型，输出与无声视频对应的音频；步骤四，根据音频的序列生成包络，并加载到训练好的音色增强器模型，输出音色增强后的音频。本发明能够实现端到端的户外水场景声音的自动生成，解决为场景配音费时和费力的问题，同时，利用训练所得的模型来生成水场景音频，能够提高生成速度和同步度，从而提高工作效率。

技术领域

本发明属于音频处理的技术领域，具体涉及一种基于端到端的水场景音频的生成方法。

背景技术

随着计算机图形学技术的不断发展，人们对视频及动画的声音质量提出了更高的要求。而水场景，尤其是户外水场景存在于影视、游戏之中，所以开发一种能够自动的根据户外水场景视频去生成对应场景声音的方法显得十分必要。目前，人们大多利用基于物理的方法去生成水场景的声音。

基于物理的水场景声音生成方法主要基于一种理论，即气泡的形成和共振是水声音的最主要的来源。Zheng等人在谐波气泡中提出一个基于谐波气泡的水流声音生成方法，通过对声音传播过程的考虑，其生成了包括水龙头流水在内的多种流水声音，但其所生成的结果需要经过繁琐的人为调整，随后，Langlois 等人在基于复杂声学气泡的水模拟中提出一个基于二相不可压缩流体模拟的声音生成方法被提出，用于改进利用气泡生成的流体声音结果，其液体中的气泡不再采用随机的模型，而是根据流体的状态去产生更加真实的气泡，也使得最终的声音效果更加逼真，但这些方法的主要研究对象都局限于小规模的水流，并且，随着声音结果的不断改良，算法复杂度也在不断的提升，这就使得他们无法应用到户外水场景的声音合成中。

深度学习的声音生成方法，基于视频去生成对应的声音。Owens等人在视觉表明声音中提出一个由卷积神经网络(CNN)和长短期记忆单元(LSTM)组合而成的神经网络，其通过输入每一帧视频灰度图及其前后帧灰度图像组成的 spacetime图的图像特征，输出与视频相对应的声音耳蜗电图，再去声音库中寻找与此图最匹配的声音样本拼接生成最终结果，Chen等人在深跨模态视听生成中提出利用GAN网络设计了两种转换模式，分别将输入乐器声的对数振幅梅尔频谱图(LMS)转换为对应的乐器图，以及将乐器图转换为对应的LMS图，再去寻找与LMS匹配的乐器声音，这两个算法的深度网络的输出都是类似于图像的谱图，并没有直接生成原始的声音信号，Zhou等人在视频到声音：室外视频的声音生成中提出利用SampleRNN模型对自然场景视频的声音进行了尝试性地生成，通过提取视频图像或者光流图的特征作为RNN的输入，从而直接生成对应的声音信号，然而其在音视频同步性上仍然存在一些问题。

发明内容

本发明的目的在于：针对现有技术的不足，提供一种基于端到端的水场景音频的生成方法，能够实现端到端的户外水场景声音的自动生成，解决为场景配音费时和费力的问题，同时，利用训练所得的模型来生成水场景音频，能够提高生成速度和同步度，从而提高工作效率。

为了实现上述目的，本发明采用如下技术方案：

一种基于端到端的水场景音频的生成方法，包括如下步骤：

步骤一，选取各类水场景视频，并进行预处理；

步骤二，根据预处理后的数据，通过训练获得生成器模型；

步骤三，将无声视频进行预处理，加载到训练好的所述生成器模型，输出与所述无声视频对应的音频；

步骤四，根据所述音频的序列生成包络，并加载到训练好的音色增强器模型，输出音色增强后的所述音频。