[发明专利]带有两阶段解码器的用于语言理解和生成的预训练框架

权利要求书

1.一种二阶段解码器，包括：

在第一解码阶段，重构编码器的输出，得到重构文本，生成对应所述输出的意义表示；

在第二解码阶段，基于所述重构文本和意义表示，生成后续文本。

2.根据权利要求1所述的二阶段解码器，其中，所述意义表示是显式的，以用于处理下游的摘要或问答类任务。

3.根据权利要求1所述的二阶段解码器，其中，所述重构编码器的输出，得到重构文本，生成对应所述输出的意义表示包括：

在第一解码阶段，接收条件生成任务中编码器输出的加噪文本序列，得到重构文本，生成对应所述条件生成任务中编码器输出的意义表示，其中，所述加噪包括：片段遮盖和/或句子打乱。

4.一种带有两阶段解码器的用于语言理解和生成的预训练框架，包括：

编码器，用于接收条件生成任务中的加噪文本，编码得到加噪文本序列，其中，所述加噪文本包括：片段遮盖和/或句子打乱的文本；

解码器，用于接收所述编码器输出的加噪文本序列，

在第一解码阶段，重构所述加噪文本序列，得到重构文本，生成对应所述加噪文本序列的意义表示；

在第二解码阶段，基于所述重构文本和意义表示，生成后续文本。

5.根据权利要求4所述的预训练框架，其中，所述条件生成任务包括：文本摘要任务；

编码器，用于接收文本摘要任务的文本，编码得到文本序列；

解码器，用于接收所述编码器输出的文本序列，

在第一解码阶段，重构所述文本序列，得到重构后可理解的连贯文本序列，并生成所述文本序列的意义表示；

在第二解码阶段，基于所述连贯文本序列和意义表示，生成文本摘要。

6.根据权利要求4所述的预训练框架，其中，所述条件生成任务包括：问答任务；

编码器，用于接收问答任务的文本，编码得到文本序列，其中所述文本序列包括：题目文本序列以及与题目文本相关的问题序列；

解码器，用于接收所述编码器输出的文本序列，

在第一解码阶段，重构所述问题序列，得到重构后可理解的问题序列，并生成所述问题序列的意义表示；

在第二解码阶段，基于所述题目文本序列、重构后可理解的问题序列以及意义表示，生成回复答案。

7.一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求4-6中任一项所述预训练框架中二阶段解码器的步骤。

8.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求4-6中任一项所述预训练框架中二阶段解码器的步骤。