[发明专利]具有任务特定路径的多任务神经网络

说明书

用于使用多任务神经网络的方法、系统和装置，包括在计算机存储介质上编码的计算机程序。一种方法包括接收第一网络输入以及识别要在第一网络输入上执行的第一机器学习任务的数据；选择特定于第一机器学习任务的通过超神经网络中多个层的路径，所述路径针对每一层指定层中的在执行第一机器学习任务时被指派为活动的模块化神经网络的真子集；并且使超神经网络使用(i)对于每一层，层中的被所选择的路径指派为活动的模块化神经网络，以及(ii)对应于所识别的第一机器学习任务的一个或多个输出层的集合来处理第一网络输入。

背景技术

本说明书涉及神经网络。

神经网络是使用一个或多个非线性单元层来预测对于接收到的输入的输出的机器学习模型。除了输出层之外，一些神经网络还包括一个或多个隐藏层。每一个隐藏层的输出被用作对网络中下一层——即下一个隐藏层或输出层——的输入。网络中的每一层根据相应的参数集合的当前值从接收到的输入生成输出。

一些神经网络是循环神经网络。循环神经网络是接收输入序列并且根据输入序列生成输出序列的神经网络。特别地，循环神经网络可以将来自先前时间步骤的网络的一些或全部内部状态用于在当前时间步骤处计算输出。循环神经网络的示例是包括一个或多个LSTM存储器块的长短期(LSTM)神经网络。每一个LSTM存储器块可以包括一个或多个单元，其中每一个单元包括允许单元存储单元的先前状态的输入门、忘记门和输出门，例如，用于生成当前的激活或被提供到LSTM神经网络的其他部件。

发明内容

本说明书描述了在一个或多个位置中的一个或多个计算机上实现为计算机程序的允许相同的神经网络用于执行多个机器学习任务的系统。

因此在一个方面，系统包括一个或多个计算机以及存储指令的一个或多个存储设备，所述指令在由一个或多个计算机执行时使得一个或多个计算机实现超神经网络。超神经网络包括一个接一个地布置在堆栈中的多个层。每一层包括相应的多个模块化神经网络并且每一层中的模块化神经网络均被配置为接收用于该层的层输入并生成相应的模块化输出。超神经网络还包括多个一个或多个输出层的集合，其中每一个输出层的集合对应于来自多个机器学习任务的不同机器学习任务并且其中每个一个或多个输出层的集合(共同地)被配置为接收堆栈输出并且生成特定于相应的机器学习任务的神经网络输出。系统还包括被配置为执行操作的子系统，所述操作包括：接收第一网络输入以及从多个机器学习任务中识别要在第一网络输入上执行的第一机器学习任务的数据；选择特定于第一机器学习任务的通过多个层的路径，路径对每一层指定层中的在执行第一机器学习任务时被指派为活动的模块化神经网络的真子集；并且使超神经网络使用(i)对每一层，层中的被所选择的路径指派为活动的模块化神经网络，以及(ii)对应于所识别的第一机器学习任务的一个或多个输出层的集合来处理第一网络输入。

如稍后更详细地描述的，所描述的系统的示例能够有效地学习和执行多个任务。

在一些实施方式中，超神经网络进一步包括：堆栈中多个层中的每一层之后的相应的组合层。每一个组合层可以被配置为接收由组合层之前的层中的当前活动的模块化神经网络生成的模块化输出；并组合由当前活动的模块化神经网络生成的模块化输出以生成组合输出。在一些实施方式中，除了在堆栈中的最后一层之后的组合层之外的每一个组合层的组合输出是用于该组合层之后的层的层输入。堆栈中的最后一层之后的组合层的组合输出可以是堆栈输出。

每一个模块化神经网络可以包括被传递函数层跟随的一个或多个神经网络层，所述传递函数层将传递函数应用于神经网络层的输出。传递函数可以是逐元素激活函数，例如整流线性单元函数。

模块化神经网络中的至少一个可包括一个或多个循环神经网络层。循环神经网络层中的一些或全部可以是长短期记忆(LSTM)层。

模块化神经网络中的至少一个可以包括卷积神经网络层。模块化神经网络中的至少一个可以包括完全连接的神经网络层。