[发明专利]基于残差的深度学习方法及神经网络模型

权利要求书

1.一种基于残差的深度学习方法，其中，待学习的神经网络模型包括多个网络层，每个网络层包括卷积层、动态残差模块和样本表征调整模块，所述动态残差模块包括相似度子模块；

所述深度学习方法包括：

获取训练样本的初始表征；

所述神经网络模型中的各个网络层按照以下方式执行，直至针对所述神经网络模型的学习完成：

将所述初始表征以及当前网络层中待处理的第一样本表征输入至所述当前网络层中的相似度子模块，输出用于表示所述初始表征与所述第一样本表征之间的相似度的相似度表征，其中，所述第一样本表征是与所述当前网络层相邻的上一网络层输出的所述训练样本的样本表征或者所述初始表征；

将所述第一样本表征输入所述当前网络层中的卷积层，输出第二样本表征；以及

将所述第二样本表征、动态残差以及所述初始表征输入所述样本表征调整模块，输出第三样本表征，其中，所述动态残差根据所述相似度表征确定，所述第三样本表征作为输入给与所述当前网络层相邻的下一网络层的第一样本表征或者所述神经网络模型的输出。

2.如权利要求1所述的深度学习方法，其中，所述动态残差模块还包括动态残差生成子模块，所述动态残差生成子模块包括具有多层网络结构的层级网络模型中的其中一层网络结构，所述层级网络模型中的各层网络结构与所述神经网络模型中的各个网络层一一对应，

所述深度学习方法还包括：

利用所述当前网络层中的动态残差生成子模块根据所述相似度表征生成所述当前网络层的动态残差。

3.如权利要求2所述的深度学习方法，其中，利用所述当前网络层中的动态残差生成子模块根据所述相似度表征生成所述当前网络层的动态残差包括：

将所述相似度表征以及上一隐层表征输入给所述当前网络层中的动态残差生成子模块，输出所述当前网络层的动态残差以及当前动态残差生成子模块包括的网络结构的隐层表征，其中，所述上一隐层表征是与当前动态残差生成子模块包括的网络结构相邻的上一动态残差生成子模块包括的网络结构输出的隐层表征，所得到的隐层表征作为与当前网络层相邻的下一网络层中的动态残差生成子模块的输入。

4.如权利要求1所述的深度学习方法，其中，当所述相似度表征是针对所述卷积层包括的各个节点的节点相似度表征时，所确定的动态残差包括针对所述各个节点的动态残差；

当所述相似度表征是针对所述卷积层的层间相似度表征时，所确定的动态残差是针对所述卷积层的动态残差。

5.如权利要求1所述的深度学习方法，其中，所述相似度子模块包括相似度计算单元和相似度表征单元，

将所述初始表征以及当前网络层中待处理的第一样本表征输入至所述当前网络层中的相似度子模块，输出用于表示所述初始表征与所述第一样本表征之间的相似度的相似度表征包括：

将所述初始表征以及当前网络层中待处理的第一样本表征输入至所述相似度计算单元，以输出所述初始表征与所述第一样本表征之间的相似度；以及

利用所述相似度表征单元将所述相似度转换成对应的相似度表征。

6.如权利要求5所述的深度学习方法，其中，将所述初始表征以及当前网络层中待处理的第一样本表征输入至所述相似度计算单元，输出所述初始表征与所述第一样本表征之间的相似度包括：

将所述初始表征以及当前网络层中待处理的第一样本表征输入至所述相似度计算单元；

利用所述相似度计算单元计算所述初始表征与所述第一样本表征之间的向量距离；以及

将所述向量距离确定为所述初始表征与所述第一样本表征之间的相似度。

7.如权利要求6所述的深度学习方法，其中，利用所述相似度计算单元计算所述初始表征与所述第一样本表征之间的向量距离包括：

利用所述相似度计算单元，以哈达玛积的方式计算所述初始表征与所述第一样本表征之间的针对所述卷积层中的各个节点的向量距离；或者，

利用所述相似度计算单元，计算所述初始表征与所述第一样本表征之间的针对所述卷积层的向量距离。