[发明专利]使用多语言神经机器翻译的跨语言分类

权利要求书

1.一种由一个或多个处理器实现的方法，包括：

接收第一语言的自然语言数据流，所述自然语言数据流基于用户经由客户端设备的用户接口输入而生成；

生成所述第一语言的自然语言数据流的分类标签预测，其中，生成所述分类标签预测包括：

使用多语言分类模型的编码器部分处理所述自然语言数据流以生成编码器输出，以及

使用所述多语言分类模型的分类器部分处理所述编码器输出，以生成所述第一语言的自然语言数据流的分类标签预测；

其中，所述多语言分类模型是经训练的神经网络模型，其中，所述编码器部分是使用包括所述第一语言和至少第二语言的多种语言而训练的重复使用的多语言神经机器翻译编码器，并且其中，使用至少第二语言的监督训练示例针对分类任务训练所述多语言分类模型，所述第二语言的监督训练示例各自具有所述第二语言的相应的第二语言训练示例输入；

使用所述分类标签预测生成针对所述第一语言的自然语言数据流的输出；以及

使所述客户端设备渲染所述输出以呈现给用户。

2.根据权利要求1所述的方法，其中，在不使用具有所述第一语言的第一语言训练示例输入的任何第一语言的监督训练示例的情况下，针对所述分类任务训练所述多语言分类模型。

3.根据权利要求1所述的方法，

其中，使用第一数量的第二语言的监督训练示例针对所述分类任务训练所述多语言分类模型，所述第一数量的第二语言的监督训练示例各自具有所述第二语言的相应的第二语言训练示例输入；

其中，使用第二数量的第一语言的监督训练示例针对所述分类任务训练所述多语言分类模型，所述第二数量的第一语言的监督训练示例各自具有所述第一语言的相应的第一语言训练示例输入；以及

其中，所述第二数量小于所述第一数量的百分之五十。

4.根据权利要求3所述的方法，其中，所述第二数量小于所述第一数量的百分之十，或者小于所述第一数量的百分之五。

5.根据前述权利要求中的任一项所述的方法，其中，所述多语言神经机器翻译编码器被训练为从至少所述第一语言翻译为至少所述第二语言和/或从至少所述第二语言翻译为至少所述第一语言。

6.根据前述权利要求中的任一项所述的方法，其中，使用所述第二语言的监督训练示例训练所述多语言分类模型包括：使用所述编码器部分和所述分类器部分处理第二语言训练示例输入以生成预测输出，以及基于误差更新所述分类器部分的权重而不更新重复使用的编码器部分的任何权重，其中，所述误差基于所述预测输出并基于所述第二语言的监督训练示例的标签来确定。

7.根据前述权利要求中的任一项所述的方法，其中，使用所述编码器部分处理所述自然语言数据流以生成所述编码器输出包括：

使用所述编码器部分的双向循环网络层处理所述自然语言数据流，以生成双向循环输出；以及

使用所述编码器部分的一个或多个单向循环网络层处理所述双向循环输出，其中，所述编码器输出包括所述一个或多个单向循环网络层中的最后一个单向循环网络层的一个或多个隐藏状态。

8.根据前述权利要求中的任一项所述的方法，其中，使用所述分类器部分处理所述编码器输出以生成所述分类标签预测包括：

使用所述分类器部分的池化层处理所述编码器输出，以生成池化输出；以及

使用所述分类器部分的一个或多个软性最大值层处理所述池化输出，以生成所述分类标签预测。

9.根据权利要求8所述的方法，其中，使用所述池化层处理所述编码器输出以生成所述分类标签预测包括：

使用所述池化层中的预池化前馈层处理所述编码器输出，以生成预池化输出；

使用所述池化层中的池化层处理所述预池化输出，以生成池化输出；

使用所述池化层中的后池化前馈层处理所述池化输出，以生成后池化输出；以及

使用所述一个或多个软性最大值层处理所述后池化输出，以生成所述第一语言的自然语言数据流的所述分类标签预测。