[发明专利]具有任务特定路径的多任务神经网络

权利要求书

1.一种系统，包括一个或多个计算机以及存储指令的一个或多个存储设备，所述指令在由所述一个或多个计算机执行时使得所述一个或多个计算机实现：

超神经网络，包括：

一个接一个地布置在堆栈中的多个层，其中，每一层包括相应的多个模块化神经网络，并且其中，每一层中的所述模块化神经网络均被配置为接收用于该层的层输入并且生成相应的模块化输出；以及

一个或多个输出层的多个集合，其中，输出层的每个集合对应于来自多个机器学习任务的不同机器学习任务，并且其中，一个或多个输出层的每个集合被配置为接收堆栈输出并且生成特定于对应的机器学习任务的神经网络输出；以及

子系统，所述子系统被配置为执行操作，所述操作包括：

接收第一网络输入以及从所述多个机器学习任务识别要在所述第一网络输入上执行的第一机器学习任务的数据；

选择特定于所述第一机器学习任务的通过所述多个层的路径，所述路径针对所述层中的每一个指定该层中的在执行所述第一机器学习任务时被指派为活动的所述模块化神经网络的真子集；以及

使所述超神经网络使用(i)对每一层，该层中的被所选择的路径指派为活动的所述模块化神经网络，以及(ii)对应于所识别的第一机器学习任务的一个或多个输出层的集合，来处理所述第一网络输入。

2.根据权利要求1所述的系统，

其中，所述超神经网络进一步包括：

在所述堆栈中所述多个层中的每一个之后的相应组合层，其中每一个组合层被配置为：

接收由该组合层之前的层中的当前活动的模块化神经网络生成的所述模块化输出；以及

组合由当前活动的模块化神经网络生成的所述模块化输出以生成组合输出，以及

其中，除了在所述堆栈中的最后一层之后的组合层之外的每一个组合层的组合输出是用于在该组合层之后的层的所述层输入，并且其中，在所述堆栈中的所述最后一层之后的所述组合层的所述组合输出是所述堆栈输出。

3.根据权利要求1或权利要求2中的任一项所述的系统，其中，每一个模块化神经网络包括被传递函数层跟随的一个或多个神经网络层，所述传递函数层将传递函数应用于所述神经网络层的输出。

4.根据权利要求3所述的系统，其中，所述传递函数是逐元素激活函数。

5.根据权利要求4所述的系统，其中，所述传递函数是整流线性单元函数。

6.根据权利要求1-5中的任一项所述的系统，其中，所述模块化神经网络中的至少一个包括一个或多个循环神经网络层。

7.根据权利要求6所述的系统，其中，所述循环神经网络层中的一些或全部是长短期记忆(LSTM)层。

8.根据权利要求1-7中的任一项所述的系统，其中，所述模块化神经网络中的至少一个包括卷积神经网络层。

9.根据权利要求1-8中的任一项所述的系统，其中，所述模块化神经网络中的至少一个包括完全连接的神经网络层。

10.根据权利要求1-9中的任一项所述的系统，其中，至少两个层在所述真子集中具有不同数量的活动的模块化神经网络。

11.根据权利要求1-10中的任一项所述的系统，其中，每一层在所述真子集中具有至少一个并且不超过预定数量的活动的模块化神经网络。