[发明专利]结合元数据的基于变换器的编码

说明书

本公开涉及结合元数据的基于变换器的编码。从自然语言文本文档的语料库的元数据构造相关性矩阵，所述相关性矩阵中的行列交叉点对应一种类型的元数据的两个实例之间的关系。一种编码器模型被训练，生成经训练的编码器模型，以计算对应于所述语料库内的自然语言文本文档的令牌和所述相关性矩阵内的嵌入，所述编码器模型包括第一编码器层，所述第一编码器层包括令牌嵌入部分、相关性嵌入部分、令牌自关注部分、元数据自关注部分以及融合部分，所述训练包括调整所述编码器模型的参数集。

技术领域

本发明总体上涉及用于自动编码自然语言文本或非文本数据的方法、系统和计算机程序产品。更具体地，本发明涉及用于结合元数据的基于变换器的编码的方法、系统和计算机程序产品。

背景技术

基于变换器的自动编码器，也称为基于变换器的自动编码网络，或简称为变换器，具有编码器-解码器架构。变换器的编码器部分包括一层接一层地迭代地处理输入序列的一组编码层。每个编码器层生成编码(多维数，也称为向量)，其包含关于输入的哪些部分彼此相关的信息。变换器的解码器部分包括一层接一层地迭代地处理编码器的输出的一组解码层。每个解码器层使用编码的结合的上下文信息来生成与输入序列相对应的输出序列。为了结合上下文，编码器和解码器层包括关注机制，对于每个输入，该关注机制包括序列中的用其他输入的相关性加权的其他输入。解码器层还具有附加的关注机制，其从先前解码器层的输出以及从编码汲取信息。

如本文所使用的变换器指具有编码器-解码器架构的基于变换器的自动编码网络、包含所述组编码层但不包含该组解码器层的编码器、以及包含该组解码器层但不包含该组编码器层的解码器。例如，典型的文本分类实施例仅包含编码器层，随后是分类器层，且不包含解码器层。变换器可用于处理自然语言文本或非文本数据序列。

说明性实施例认识到，为了使用上下文对文本进行编码，关注机制通常将对应于令牌的嵌入(令牌嵌入)与位置嵌入(对文本的一部分或片段内的令牌的位置进行编码)和分段嵌入(对令牌位于文本的哪个片段中进行编码)组合。然而，位置嵌入和分段嵌入都仅基于文档内的文本。结果，元数据、关于文档内的文本的信息(诸如对话中的轮次(turn)和说话者信息)、讨论论坛的转录本中的线程信息、电影字幕、分割层级信息和结构化文本的其他元素，即使可用，在编码自然语言文本时也经常不被使用。

说明性实施例还认识到，即使在文本处理中使用元数据时，模型架构也不明确地考虑由元数据供应的令牌之间的关注或通过变换器的层对元数据的效果进行建模。相反，元数据的部分被编码为嵌入并且与现有关注机制中的令牌嵌入组合。例如，在会话转录本中，元数据可指示一些部分由参与者1口述或文本化，而一些部分由参与者2口述或文本化。因此，所有参与者1部分可被视为一个文本片段，并且所有参与者2部分可被视为第二文本片段，并且相应的分段嵌入被确定并合并到文本编码中。可替代地，系统可以计算对哪个说话者与令牌相关联进行编码的附加嵌入，并且该附加嵌入与现有关注机制中的令牌、位置、以及分段嵌入组合。然而，将特定部分或类型的元数据编码成特定嵌入不容易普遍适用于可在许多类型的文本和元数据上训练的模型，当在没有元数据的情况下处理文本时与现有模型同等地起作用，并且可用于各种下游任务。进一步地，用于处理非文本数据的模型架构未明确地解释由元数据供应的令牌之间的关注或通过变换器的层对元数据的效果进行建模。

因此，说明性实施例还认识到，对于基于变换器的自动编码器架构存在未满足的需要，该自动编码器架构包括专用于对归因于元数据的关注进行建模的参数，并且能够使用不需要将特定部分或类型的元数据编码成特定嵌入的元数据编码方案。

发明内容