[发明专利]虚假音频检测

说明书

一种用于确定合成语音的方法(600)包括接收表征由用户设备(102)获得的流式音频(118)中的语音的音频数据(120)。该方法还包括使用经训练的自监督模型(210)生成多个音频特征向量(212)，每个音频特征向量表示音频数据的一部分的音频特征。该方法还包括使用浅鉴别器模型(222)基于多个音频特征向量中的每个音频特征向量的对应音频特征，生成指示音频数据中合成语音的存在的得分(224)。该方法还包括确定得分是否满足合成语音检测阈值。当得分满足合成语音检测阈值时，该方法包括确定用户设备获得的音频数据中的语音包括合成语音。

技术领域

本公开涉及用于虚假或合成音频检测的自监督语音表示。

背景技术

启用语音的环境(例如，家庭、工作场所、学校、汽车等)允许用户向基于计算机的系统大声说出查询或命令，该系统基于命令输入并回答查询和/或执行功能。例如，启用语音的环境是使用分布在环境的各个房间或区域的连接的麦克风设备的网络来实现的。随着这些环境变得越来越普遍并且随着语音识别设备变得越来越先进，语音越来越多地用于重要功能，重要功能例如包括说话者的识别和认证。这些功能极大地增加了确保语音源自人类而非合成(即通过数字方式创建或更改并通过扬声器播放)的需求。

发明内容

本公开的一个方面提供了一种用于对音频数据是否包括合成语音进行分类的方法。该方法包括在数据处理硬件处接收表征由用户设备获得的音频数据中的语音的音频数据。该方法还包括由数据处理硬件使用经训练的自监督模型生成多个音频特征向量，每个音频特征向量表示音频数据的一部分的音频特征。该方法还包括：由数据处理硬件使用浅鉴别器模型，基于多个音频特征向量中的每个音频特征向量的对应音频特征，来生成指示音频数据中合成语音的存在的得分。该方法还包括由数据处理硬件确定得分是否满足合成语音检测阈值。该方法还包括当得分满足合成语音检测阈值时，数据处理硬件确定用户设备获得的音频数据中的语音可能包括合成语音。

本公开的实施方式可以包括以下可选特征中的一个或多个。在一些实施方式中，浅鉴别器模型包括智能池化层。在一些示例中，该方法还包括：由数据处理硬件使用浅鉴别器模型的智能池化层，基于多个音频特征向量中的每个音频特征向量，来生成单个最终音频特征向量。生成指示音频数据中合成语音的存在的得分可以基于单个最终音频特征向量。

可选地，单个最终音频特征向量包括多个音频特征向量的每个音频特征向量的平均。或者，单个最终音频特征向量包括多个音频特征向量中的每个音频特征向量的聚合。浅鉴别器模型包括全连接层，该全连接层被配置为接收单个最终音频特征向量作为输入并生成得分作为输出。

在一些实施方式中，浅鉴别器模型包括逻辑回归模型、线性鉴别分析模型或随机森林模型中的一个。在一些示例中，在仅包括源于人类语音的训练样本的第一训练数据集上训练经训练的自监督模型。可以在包括合成语音的训练样本的第二训练数据集上训练浅鉴别器模型。第二训练数据集可能小于第一训练数据集。可选地，数据处理硬件驻留在用户设备上。经训练的自监督模型可以包括从更大的经训练的自监督模型导出的表示模型。

本公开的另一方面提供了用于对音频数据是否包括合成语音进行分类的系统。该系统包括数据处理硬件和与数据处理硬件通信的存储器硬件。存储器硬件存储指令，该指令当在数据处理硬件上执行时使数据处理硬件执行操作。这些操作包括接收表征由用户设备获得的音频数据中的语音的音频数据。这些操作还包括使用经训练的自监督模型生成多个音频特征向量，每个音频特征向量表示音频数据的一部分的音频特征。这些操作还包括使用浅鉴别器模型基于多个音频特征向量中的每个音频特征向量的对应音频特征来生成指示音频数据中合成语音的存在的得分。这些操作还包括确定得分是否满足合成语音检测阈值。这些操作还包括当得分满足合成语音检测阈值时，确定用户设备获得的音频数据中的语音可能包括合成语音。