[发明专利]高效卷积神经网络

权利要求书

1.一种由一个或多个计算机实现的神经网络系统，其中，所述神经网络系统被配置为接收输入图像并生成对于所述输入图像的输出，并且其中，所述神经网络系统包括：

卷积子网络，包括：

线性瓶颈层；和

一个或多个卷积层。

2.根据权利要求1所述的神经网络系统，其中，所述卷积子网络包括反向残差子网络，所述反向残差子网络包括残差快捷连接，所述残差快捷连接在所述线性瓶颈层和下述各项中的一个或多个之间：下一反向残差子网络的下一线性瓶颈层或上一反向残差子网络的上一线性瓶颈层。

3.根据权利要求1或2所述的神经网络系统，其中：

所述线性瓶颈层被配置为在第一维空间中执行线性变换；以及

所述一个或多个卷积层包括一个或多个扩展卷积层，所述一个或多个扩展卷积层被配置为在第二维空间中执行一个或多个非线性变换，所述第二维空间包括比所述第一维空间更多数量的维度。

4.根据前述任一权利要求所述的计算系统，其中，所述一个或多个卷积层包括一个或多个可分离卷积层。

5.根据权利要求4所述的计算系统，其中，所述一个或多个可分离卷积层中的每一个可分离卷积层被配置为在处理输入期间分别将深度卷积和逐点卷积两者应用于所述可分离卷积层以生成层输出。

6.一种计算系统，包括：

一个或多个处理器；和

一个或多个非暂时性计算机可读介质，其存储由所述一个或多个处理器实现的卷积神经网络，所述卷积神经网络包括：

一个或多个卷积块，所述一个或多个卷积块中的每一个卷积块包括：

线性瓶颈层；和

一个或多个卷积层。

7.根据权利要求6所述的计算系统，其中：

所述线性瓶颈层被配置为在第一维空间中执行线性变换；以及

所述一个或多个卷积层包括一个或多个扩展卷积层，所述一个或多个扩展卷积层被配置为在第二维空间中执行一个或多个非线性变换，所述第二维空间包括比所述第一维空间更多数量的维度。

8.根据权利要求6或7所述的计算系统，其中，所述一个或多个卷积层包括一个或多个可分离卷积层。

9.根据权利要求8所述的计算系统，其中，所述一个或多个可分离卷积层中的每一个可分离卷积层被配置为在处理输入期间分别将深度卷积和逐点卷积两者应用于所述可分离卷积层以生成层输出。

10.根据权利要求6至9中任一项所述的计算系统，其中，所述一个或多个卷积块包括一个接一个地堆叠布置的多个卷积块。

11.根据权利要求6-10中任一项所述的计算系统，其中，所述一个或多个卷积块中的至少一个卷积块包括在其线性瓶颈层和后续卷积块的后续线性瓶颈层之间的残差快捷连接。

12.根据权利要求6-11中任一项所述的计算系统，其中，所述一个或多个卷积块中的至少一个卷积块包括在其线性瓶颈层和下一顺序卷积块的下一顺序线性瓶颈层之间的残差快捷连接。

13.根据权利要求6至12中任一项所述的计算系统，其中，对于所述一个或多个卷积块中的每一个卷积块，所述线性瓶颈层在结构上在所述一个或多个卷积层之前。

14.根据权利要求6至12中任一项所述的计算系统，其中，对于所述一个或多个卷积块中的每一个卷积块，所述线性瓶颈层在结构上在所述一个或多个卷积层之后。