[发明专利]带有两阶段解码器的用于语言理解和生成的预训练框架

说明书

本发明实施例提供一种带有两阶段解码器的用于语言理解和生成的预训练框架，包括：编码器，用于接收条件生成任务中的加噪文本，编码得到加噪文本序列，其中，加噪文本包括：片段遮盖和/或句子打乱的文本；解码器，用于接收编码器输出的加噪文本序列，在第一解码阶段，重构加噪文本序列，得到重构文本，生成对应加噪文本序列的意义表示；在第二解码阶段，基于重构文本和意义表示，生成后续文本。本发明实施例还提供一种二阶段解码器。本发明实施例在第一解码阶段进行重构加理解，在第二解码阶段中既保障了文本的理解，又可以生成后续文本，使得预训练质量更好。显式的理解可以应用于下游任务，方便获取上下文信息，适用任务更广。

技术领域

本发明涉及智能语音领域，尤其涉及一种带有两阶段解码器的用于语言理解和生成的预训练框架。

背景技术

自我监督预训练提高了自然语言生成(NLG)任务的技术水平，各种语言生成(条件生成)任务的目的是根据给定的文档(条件)生成自然语言句子，如面向任务的对话中的上下文到响应(Context-to-Response)、会话响应生成等。

为了实现预训练，有各种类型的用于条件文本生成任务的预训练模型。大多数这些模型分为两类。第一类模型，例如MASS(Masked Sequence to Sequence，遮盖式的序列到序列)和BART(Bidirectional and Auto-Regressive Transformers，双向自回归Transformer)，在给定损坏的文本的情况下解码出遮盖的部分或回复原始文本。第二种类型的模型，例如PALM(Pre-training AutoencodingAutoregressive Language Model，预训练自编码和自回归语言模型)，根据上下文生成后续文本。前者具有很好的上下文理解能力，而后者则擅长预测未来的文本。

在实现本发明过程中，发明人发现相关技术中至少存在如下问题：

MASS和BART只是重建原文本或者原文本中的遮盖部分，没有对后续文本的生成做相关预训练，导致后续生成能力不足，自然语言生成较差。PALM只是对后续文本的生成做相关预训练，没有显式生成相关理解，由于理解能力不足，后续生成的文本会出现与上下文不通顺，或者错误的情况。

发明内容

为了至少解决现有技术中没有对后续文本的生成做相关预训练，导致后续生成能力不足，没有显式生成相关理解，致使后续生成文本能力不足、不通顺的问题

第一方面，本发明实施例提供一种二阶段解码器，包括：

在第一解码阶段，重构编码器的输出，得到重构文本，生成对应所述输出的意义表示；

在第二解码阶段，基于所述重构文本和意义表示，生成后续文本。

第二方面，本发明实施例提供一种带有两阶段解码器的用于语言理解和生成的预训练框架，包括：

编码器，用于接收条件生成任务中的加噪文本，编码得到加噪文本序列，其中，所述加噪文本包括：片段遮盖和/或句子打乱的文本；

解码器，用于接收所述编码器输出的加噪文本序列，

在第一解码阶段，重构所述加噪文本序列，得到重构文本，生成对应所述加噪文本序列的意义表示；

在第二解码阶段，基于所述重构文本和意义表示，生成后续文本。

第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的带有两阶段解码器的用于语言理解和生成的预训练框架中二阶段解码器的步骤。