[发明专利]使用多语言神经机器翻译的跨语言分类

说明书

训练和/或使用多语言分类神经网络模型来执行自然语言处理分类任务，其中，该模型重复使用多语言神经机器翻译模型的编码器部分。在各种实施方式中，客户端设备可以从来自用户的口头输入来生成自然语言数据流。可以将自然语言数据流用作对多语言分类模型的编码器部分的输入。编码器部分生成的输出可以用作对多语言分类模型的分类器部分的输入。分类器部分可以生成自然语言数据流的预测分类标签。在许多实施方式中，可以基于预测分类标签来生成输出，并且客户端设备可以呈现该输出。

背景技术

机器翻译(“MT”)可以使用一个或多个计算设备将文本、语音等从第一语言翻译成第二语言。例如，MT处理可以将第一语言的单词用第二语言的对应单词替换。但是，单词的简单替换可能生成不准确的翻译，因为短语可能具有不同于短语内每个单词的直译的特定含义。例如，英语短语“leap year”具有特定含义(例如，包括2月28日的年份)，但是进行单词替换的单词可能将“leap year”翻译成第二语言作为指示跳跃的年(a year thatleaps)的单词。

神经机器翻译(“NMT”)模型可以使用人工神经网络来预测单词序列的可能性。在许多实施方式中，NMT模型可以一次翻译整个短语和/或句子。翻译整个句子和/或短语，而不是翻译单独的标记(即，单独的字符、单词等)，可以利用文本和/或语音输入的整体上下文。NMT模型可以利用各种神经网络学习技术来执行翻译，包括：特征学习技术、深度学习技术等。

发明内容

本文描述了使多语言分类神经网络模型能够通过重复使用多语言NMT模型的编码器部分来利用由编码器部分通过通过训练NMT模型生成的编码器部分的学习的权重而参数化的语言不可知表示来执行自然语言处理(“NLP”)分类任务的技术。NLP任务通常关注计算设备如何能够理解人类语言(例如，文本、语音、手部运动等)并以有用的方式从人类语言中得出含义。

在各种实施方式中，多语言分类网络模型可以包含编码器部分和分类器部分。多语言分类模型的编码器部分可以是经训练的多语言NMT模型的重复使用的编码器部分。

根据各种实施方式，可以训练多语言NMT模型以在多种语言之间进行翻译。例如，多语言NMT神经网络模型可以包括编码器部分、一个或多个解码器部分以及一个或多个注意力机制(即，每种语言一个解码器部分和一个对应的注意力机制)。例如，当训练NMT模型在四种语言之间进行翻译时，NMT模型可以在所有四种语言之间共享一个编码器部分，并针对四种语言中的每一种具有单独的解码器部分和对应的注意力机制(即，四个单独的解码器部分以及四个对应的注意力机制)。

经训练的多语言NMT模型的编码器部分可以被重复使用，而(一个或多个)解码器部分和(一个或多个)注意力机制可以被丢弃。重复使用经训练的多语言NMT网络模型的编码器部分可以使其他网络模型(诸如根据许多实施方式的多语言分类模型)能够利用编码器部分通过编码器部分的学习的权重而参数化的语言不可知表示，其中，该学习的权重通过训练NMT模型来翻译各种语言而生成。

在许多实施方式中，多语言分类模型的编码器部分可以包括一个或多个循环网络层。作为说明性示例，编码器部分可以包括双向循环网络层和单向循环网络层(例如，三个单向循环网络层)的堆叠。最后一个循环网络层内的记忆单元的隐藏状态可以形成多语言分类模型编码器输出。循环网络层可以各自包括一个或多个记忆单元，可以依次向其应用输入，并且在应用的输入的每次迭代中，可以利用(一个或多个)记忆单元基于该迭代的输入并基于当前隐藏状态(其可以基于(一个或多个)先前迭代的(一个或多个)输入)来计算新的隐藏状态。在一些实施方式中，记忆单元可以是长短期记忆(“LSTM”)单元。在一些实施方式中，可以利用附加的或替代的(一个或多个)记忆单元，诸如门控循环单元(“GRU”)。