[发明专利]噪声提取方法、装置、设备及可读存储介质

说明书

本申请公开了一种噪声提取方法、装置、设备及可读存储介质，在获取待进行噪声提取的视频；先确定视频中的各个有效音频片段以及与有效音频片段对应的子视频片段；再针对每个有效音频片段，基于有效音频片段对应的子视频片段的字幕信息，从有效音频片段中提取噪声。在本方案中，考虑到实际应用场景下的有效音频片段中往往包含噪声，在确定有效音频片段之后，进一步利用有效片段对应的子视频片段的字幕信息，确定有效音频片段中是否有噪声，进而实现对有效音频片段中的噪声的提取，因此，能够提升噪声的提取效果。

技术领域

本申请涉及语音技术领域，更具体的说，是涉及一种噪声提取方法、装置、设备及可读存储介质。

背景技术

语音技术作为人工智能(Artificial Intelligence，AI)的一个重要分支，在人机交互中扮演非常重要的角色。为了提升语音识别、声纹识别等语音技术在实际语音应用系统中的抗噪性能以及鲁棒性，使用噪声语料对训练语料进行增强是一种最重要、最常用的技术手段。

语音技术在实际使用过程中，大部分使用的都是开源的噪声数据集，和实际使用场景噪声匹配度不高，导致语音识别、声纹识别等语音技术的效果不尽人意。为了进一步提升语音技术在实际场景中的性能，关键是需要利用实际应用场景下的噪声数据进行数据增强，提升训练数据和测试环境的匹配程度。

对于实际应用场景下的视频数据，现有技术中，是先从中提取音频数据，再基于传统的语音活动检测(Voice Activity Detection，VAD)的结果从音频数据中确定有效音频片段，将除有效音频片段之外的其他音频片段识别为噪声，但是这种方法提取出来的有效音频片段中往往包含一些噪声。

因此，如何提供一种噪声提取方法，以实现对视频数据的噪声进行有效提取，成为本领域技术人员亟待解决的技术问题。

发明内容

鉴于上述问题，本申请提出了一种噪声提取方法、装置、设备及可读存储介质。具体方案如下：

一种噪声提取方法，所述方法包括：

获取待进行噪声提取的视频；

确定所述视频中的各个有效音频片段以及与所述有效音频片段对应的子视频片段；

针对每个有效音频片段，基于所述有效音频片段对应的子视频片段的字幕信息，从所述有效音频片段中提取噪声。

可选地，所述确定所述视频中的各个有效音频片段以及与所述有效音频片段对应的子视频片段，包括：

从所述视频中提取音频数据；

采用语音活动检测模型从所述音频数据中提取各个有效音频片段；

针对每个有效音频片段，将所述有效音频片段对应时间段内的视频，确定为与所述有效音频片段对应的子视频片段。

可选地，所述基于所述有效音频片段对应的子视频片段的字幕信息，从所述有效音频片段中提取噪声，包括：

对所述子视频片段中的字幕进行识别，得到所述子视频片段的字幕识别结果；

基于所述子视频片段的字幕识别结果，从所述子视频片段中确定目标视频片段，所述目标视频片段为所述子视频片段中字幕为空的视频片段；

确定目标音频片段是否为噪声，所述目标音频片段为所述有效音频片段中与所述目标视频片段对应的音频片段；

如果确定所述目标音频片段为噪声，则提取所述目标音频片段。

可选地，所述确定目标音频片段是否为噪声，包括：

确定所述目标音频片段对应的第一语音识别结果；

如果所述目标音频片段对应的第一语音识别结果为空，则确定所述目标音频片段为噪声；

如果所述目标音频片段对应的第一语音识别结果不为空，则确定所述目标音频片段对应的第二语音识别结果；

如果所述目标音频片段对应的第二语音识别结果为空，则确定所述目标音频片段为噪声。