[发明专利]生成针对用户的语音模型

说明书

本文公开了一种生成针对用户的语音模型的系统、方法和设备。一种设备可以包括编码器和解码器，以生成用于将文本转换为音频输出的语音模型，该音频输出类似于发送相应文本的人的语音。编码器可以包括神经网络，并且可以从用户接收多个音频样本。编码器可以生成值序列并将该值序列提供给解码器。解码器可以使用值序列以及用户的一个或多个说话者嵌入来建立对应于用户的多个音频样本的语音模型。

技术领域

本公开总体涉及消息收发系统和方法，包括但不限于用于生成语音模型以将文本输入转换为对应于用户语音的合成音频输出的系统和方法。

背景技术

在消息收发技术中，对于很大一部分人来说，异步文本消息收发可能是一种不可或缺的通信方法。然而，在免提或免视设置下的消息收发对于接收消息的用户来说可能是受限的、危险的或干扰的。接收消息的用户与消息收发系统之间的交互可以包括多轮交互以标识消息发送者。例如，一经接收到消息，用户就可能需要多次与消息收发系统(例如，移动设备、手持设备)交互，以标识发送相应消息的发送者或人。在诸如群聊的情况下，由于接收消息的用户与消息收发系统来回执行以标识或区分群聊中的不同潜在发送者，这会产生时间延迟和认知延迟。因此，当用户的注意力从当前活动(例如，驾驶汽车)转移到与消息收发系统交互时，这样的交互可能干扰用户参与的当前活动或造成危险的情况。

发明内容

这里提供了用于生成针对用户的语音模型(例如，语音化身)的设备、系统和方法。语音模型可用于将文本输入(例如，文本消息)转换为与发送相应文本输入的人的语音相对应(例如，类似、听起来像)的合成音频输出。语音模型可以创建一个或多个用户语音的文本到语音数字克隆，以在回读相应消息受限或不可能的情况或环境中回读和朗读消息，从而在接收消息的人和发送消息的人之间提供个人化和熟悉的交互。例如，可以使用由相应的用户提供的音频样本来生成并进一步训练语音模型，以获得语音特征并训练神经网络模型，使得由语音模型生成的音频输出类似于相应的用户的语音。语音模型可以由具有编码器-解码器架构的设备来生成。编码器-解码器架构可以允许设备接收和处理来自用户的音频样本，将一个或多个说话者嵌入应用于音频样本，并生成类似于相应的针对用户的语音模型。语音模型可以生成针对用户的唯一语音化身，以部分地基于用户的语音化身的声音来标识相应的用户，以向从用户接收消息的人呈现对应于消息的音频输出，从而减少用于标识消息的发送者的通信数量，和/或消除用于标识消息的发送者的前导。

本发明的各方面包括根据本文所附的独立权利要求的方法、设备和非瞬态计算机可读介质。有利的实施例可以包括从属权利要求的特征。

在至少一个方面，提供了一种方法。该方法可以包括由包括神经网络的编码器接收来自用户的多个音频样本。该方法可以包括由解码器从编码器接收值序列。该方法可以包括由解码器使用值序列以及用户的一个或多个说话者嵌入来建立对应于用户的多个音频样本的语音模型。

在一些实施例中，该方法可以包括将语音模型建立为机器学习模型，并且使用语音模型和来自用户的输入文本生成针对用户的合成音频输出。该方法可以包括：从用户接收输入文本；标识针对用户的语音模型和用户的一个或多个说话者嵌入中的至少一个说话者嵌入；以及使用语音模型和一个或多个说话者嵌入中的至少一个说话者嵌入，将输入文本转换为合成音频输出以对用户的语音建模。该方法可以包括由解码器使用一个或多个说话者嵌入和来自用户的一个或多个后续的音频样本来训练针对用户的语音模型。该方法可以包括由解码器将用户的一个或多个说话者嵌入应用于值序列以生成调节信号，以及由解码器将调节信号提供给多个残差层以建立语音模型。