[发明专利]在线批次归一化、在线学习及持续学习的方法和装置

说明书

本发明提供了一种在线批次归一化、在线学习及持续学习的方法和装置。所述方法包括以下步骤：(a)计算装置指示卷积层获取第k批次，并对包含在所述第k批次中的所述输入图像分别进行卷积运算，生成用于第k批次的特征图；(b)计算装置指示批次归一化层，在k为1的情况下，参照所述用于第k批次的特征图，当k为2到m的整数的情况下，参照先前生成的先前特征图及所述用于第k批次的特征图，生成所述用于第k批次的特征图的一个以上的调整均值以及一个以上的调整方差，其中，所述先前特征图及所述用于第k批次的特征图是从所述第1至第(k‑1)批次中选择的，且至少被包含于一部分先前批次中。

技术领域

本发明涉及一种用于军事目的、无人机或机器人的通过额外参照一个以上的先前批次(Batch)，进而适用于移动装置或物联网(IOT)装置的在线批次归一化(Normalization)、在线学习(On-device)及持续学习(continual learning)的方法和装置，更具体地，涉及一种使用包含各输入图像的各批次的特征值进行批次归一化的方法及计算装置，以及利用该方法及装置的测试方法、测试装置，其中，所述批次包括第1至第m批次，所述批次归一化的方法包括如下步骤：(a)指示CNN的卷积层进行以下步骤：(i)获取第k批次，其中k是从1到m的整数，(ii)对包含在所述第k批次中的所述输入图像分别进行卷积运算，生成用于第k批次的特征图；以及(b)所述计算装置指示所述CNN的批次归一化层进行以下步骤：(I)(i)当k为1的情况下，参照所述用于第k批次的特征图，(ii)当k为2到m的整数的情况下，参照先前生成的先前特征图及所述用于第k批次的特征图，生成所述用于第k批次的特征图的一个以上的调整均值以及一个以上的调整方差，其中，所述先前特征图及所述用于第k批次的特征图是从所述第1至第(k-1)批次中选择的，且被包含在先前批次中的至少一部分当中，(II)参照所述调整均值及所述调整方差，对所述用于第k批次的特征图进行卷积运算后，生成调整特征图。

背景技术

深度卷积神经网络(Deep Convolutional Neural Network；Deep CNN)是深度学习领域显著发展的核心。尽管CNN在90年代被用来解决字符识别问题，但直到最近，CNN才在机器学习中得到广泛应用。在2012年，CNN在一年一度的软件竞赛ImageNet大规模视觉识别挑战赛中战胜了其他竞争对手，并获得了冠军。之后，CNN便成为了机器学习(MachineLearning)领域中非常有用的工具。

一方面，批次归一化是一种使用包括训练图像的每个小型批次的每个通道的每个平均值和方差来归一化特征图的方法。批次归一化用于防止内部协变量移位(InternalCovariate Shift)这种不希望出现的现象，即，输入分布在神经网络中逐层更改。批次归一化的优点包括(i)加快学习速度，(ii)在神经网络中均匀学习整个权重，以及(iii)增强功能。

参照图4说明传统的批次归一化。

参照图4，可以看出，如果有包含输入图像的m个批次，则通过(i)指示每个卷积块的卷积层，对第k批次中的输入图像进行卷积运算，生成用于第k批次的特征图，其中，k是从1到m的整数，(ii)指示每个卷积块的批次归一化层，生成第k批次特征图的至少一个均值和至少一个方差，(iii)指示每个卷积块的批次归一化层对用于第k批次的特征图进行归一化，以使均值和方差分别变为特定的第一值和特定的第二值。即，仅通过使用用于特定批次的特征图的均值和方差来执行特定批次的批次归一化。

如果每个批次的大小设置的太小，则不能假定每个批次的特征图的值都遵循正态分布。因此，传统的批次归一化的性能不高，这是传统的批次归一化的关键缺陷。

发明内容

本发明以解决上述技术问题为目的。

本发明的另一目的为，提供一种即使第k批次的大小很小，也可以通过参照至少包含在第1批次至第(k-1)批次中一部分批次的先前特征图，更有效地形成第k批次的批次归一化的方法。本发明还有一个目的为，提供一种通过参照各批次的信息，在先前批次中选择特定先前批次的方法，以利用于批次归一化。