[发明专利]基于条件批归一化的连续学习方法和装置

说明书

本发明提出一种基于条件批归一化的连续学习方法和装置，包括以下步骤：获取当前任务的原特征向量，通过神经网络的条件批归一化变换将原特征向量转化为任务自适应特征向量；通过类别分类器对任务自适应特征向量进行类别分类，根据类别分类结果建立类别分类损失函数；获取任务分类器对条件批归一化的变换参数进行任务分类，根据任务分类结果建立任务分类损失函数；根据类别分类损失函数和任务分类损失函数对当前新任务对应的样本进行训练。由此，为每个分类任务创造其特殊的特征空间，使得不同任务之间的干扰减少，从而在学习新任务的时候减少旧任务灾难性遗忘的现象。

技术领域

本发明涉及人工智能技术领域与深度学习技术领域，尤其涉及一种基于条件批归一化的连续学习方法和装置。

背景技术

随着深度学习技术和神经网络技术的快速发展，深度学习技术被广泛应用于许多生活应用中，如目标识别、目标检测、人脸识别等。而目前使用深度学习算法训练神经网络往往具有单一任务性，即神经网络在训练完成之后，其能完成的任务就确定下来而难以在使用过程中进一步改变。

例如我们使用一个目标识别算法训练的一个能够识别猫和狗的神经网络，在训练结束后，神经网络只能够完成猫和狗的识别任务，而难以识别其他动物或其他物体。而随着人类对神经网络要求的提高，神经网络的再学习能力也成为一个研究热点。

为了让神经网络能够不断扩展网络结构并完成新的学习任务，往往需要首先向网络添加随机初始化的网络参数，并使用新任务的数据集对神经网络进行训练，从而使得神经网络能够学习新任务。在这个过程中，神经网络往往会出现“灾难性遗忘”的现象，即神经网络在新的任务及数据集上训练之后，在旧的任务上的性能会急剧下降。

而近年来，许多持续学习的算法也不断被提出，用来解决神经网络的“灾难性遗忘”的问题。在主流持续学习的算法中，主要可以分为模型约束方法、网络扩展方法和数据重演方法。

其中模型约束方法主要通过约束神经网络在新任务训练的过程中，模型参数的变化量，从而保证对于旧任务的神经元不会在新任务的训练中被改变太多。其中较为经典的方法有EWC(Elastic Weight Consolidation，弹性权重巩固算法)和LwF(Learningwithout Forgetting，非遗忘学习)。前者通过计算每个神经元的Fisher信息矩阵来作为神经元的重要性权重，并根据其为每个神经元的偏移量进行加权，最终作为损失函数的一部分进行约束。后者通过记录原网络在新任务数据上的预测分数，并将其作为标签，使用知识蒸馏损失函数对新任务的训练过程中的网络输出进行约束。

网络扩展方法主要通过对网络的各个部分进行动态扩展，从而达到新任务和旧任务同时能够胜任的目的。例如在学习了每个任务之后对当前神经网络进行剪枝，并将被剪枝的网络参数重新初始化用于学习后续任务。而这种方法往往会受限于网络容量或网络参数量，在任务较多的连续学习场景下难以胜任。数据重演方法主要通过用一个大小固定的集合保留旧任务数据集中的一些代表性样本，并在新任务的学习过程中将旧任务的代表性样本加入训练集联合训练从而减少灾难性遗忘的难题。这类代表方法有iCaRL(Incremental Classifier and Representation Learning，增量分类表征学习)，该方法在LwF的知识蒸馏的基础上进行改进，通过保存一个固定大小的旧任务数据集合，并将其在新任务训练过程中进行“重演”，通过知识蒸馏损失函数约束新任务上训练的网络在旧任务数据上的预测不会偏离太远，最终达到持续学习的目的。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的目的在于提出一种基于条件批归一化的连续学习方法和装置，其目的是为每个分类任务创造其特殊的特征空间，使得不同任务之间的干扰减少，从而在学习新任务的时候减少旧任务灾难性遗忘的现象。