[发明专利]一种使用选择性深度生成重放模块对深度神经网络模型执行可调连续学习的方法和装置

说明书

公开一种使用选择性深度生成重放模块对深度神经网络模型进行可调连续学习的方法包括：(a)(i)将来自整个数据库和子数据库的第1学习用数据和第2学习用数据输入所述选择性深度生成重放模块生成第1低维分布特征和第2低维分布特征，(ii)将二进制、随机参数和第2维分布特征输入到数据生成器生成第3学习用数据，(iii)将所述第1学习用数据输入到求解器生成学习用标注数据；(b)将所述第1学习用数据、所述第2学习用数据、所述第1低维分布特征、所述第2低维分布特征、所述第3学习用数据和所述二进制输入到判别器生成第1学习用数据分数、第2学习用数据分数、第1分布特征分数、第2分布特征分数和第3学习用数据分数；(c)训练所述判别器、所述数据生成器、分布分析器和所述求解器。

技术领域

本发明要求于2020年5月22日提交的美国专利申请第63/028779号和2020年12月29日提交的美国专利申请第17/136847号的优先权和权益，其全部内容通过引用合并于此。

本发明涉及一种对深度神经网络模型进行连续学习(continual learning)的方法和装置，更具体地涉及一种通过选择性深度生成重放模块(Selective Deep GenerativeReplay Module)对深度神经网络模型进行可调连续学习(adjustable continuallearning)的方法和学习装置，所述选择性深度生成重放模块为使用生成对抗网络(Generative Adversarial Network，GAN)的数据库重放模块(Database Replay Module)。

背景技术

在应用深度学习的神经网络模型中，应用各种连续学习(Continual Learning)技术对反映现有数据库和新数据库的神经网络模型进行连续学习。

其中，为了进行有效的持续学习，在针对特定领域的问题不断积累数据库的情况下，需要一种高效学习神经网络模型的机制。

图1为常规的现有连续学习方法的配置示意图。

参见图1，在常规的可调连续学习方法中，当存在使用现有数据库对现有任务进行训练的现有模型，并给出新任务和与之对应的新数据库时，通过同时使用现有数据库和新数据库训练现有模型，生成一个既可以执行新任务又可以执行现有任务的新模型。

然而，在现有的可调连续学习方法中，当针对特定任务进行渐进式学习时，数据库不可避免地会不断增加，因此存在存储数据所需的存储容量也随之增加的问题。

另外，在现有的可调连续学习方法中，当进行渐进式学习时，随着数据库的不断增加，针对该数据库进行神经网络模型的学习所需的时间也随之增加，导致学习效率下降的问题。

此外，如图1所示，当神经网络模型所需的任务随着新数据库的输入而发生变化时，也需要一种能够针对给定的新任务调整学习的方法，但现有的可调连续学习方法无法灵活调整学习方法。例如，如果将神经网络模型用于车辆中的图像分类(imageclassification)，则可以训练现有的神经网络模型以相应地提高在通用道路图(generalroad map)上的车道检测(lane detection)精度。此后，可以在其持续学习过程中给出新任务，例如高速公路上的快速车道检测，在这种情况下，现有的可调连续学习方法缺乏可以有效调整学习方式的替代方案，例如根据新任务调整现有数据和新数据的学习参与率等。

因此，需要一种能够解决所述问题的改进方案。

发明内容

技术问题

本发明的目的在于解决所有上述问题。

另外，本发明的目的在于，不再存储用于训练神经网络模型(neural networkmodel)的整个现有数据库(existing database)，而是仅存储选择性深度生成重放模块(Selective Deep Generative Replay Module)，从而减少存储现有数据库所需的存储空间。