[发明专利]一种使用选择性深度生成重放模块对深度神经网络模型执行可调连续学习的方法和装置

权利要求书

1.一种使用选择性深度生成重放模块对深度神经网络模型进行可调连续学习的方法，所述方法包括：

(a)当从整个数据库获得第1学习用数据且从作为所述整个数据库的子集的子数据库获得第2学习用数据时，学习装置执行或支持执行如下处理：将所述第1学习用数据和所述第2学习用数据输入到选择性深度生成重放模块使得所述选择性深度生成重放模块(i)通过位于所述选择性深度生成重放模块的分布分析器生成与所述第1学习用数据对应的第1学习用低维分布特征和与所述第2学习用数据对应的第2学习用低维分布特征，其中所述第1学习用低维分布特征的维度低于所述第1学习用数据的维度，所述第2学习用低维分布特征的维度低于所述第2学习用数据的维度，(ii)将从位于所述选择性深度生成重放模块的动态二进制生成器中生成的学习用二进制、从位于所述选择性深度生成重放模块的随机参数生成器中生成的学习用随机参数、和所述第2学习用低维分布特征输入到位于所述选择性深度生成重放模块的数据生成器，通过所述数据生成器根据所述学习用二进制和所述学习用随机参数生成与所述第2学习用低维分布特征对应的第3学习用数据，(iii)将所述第1学习用数据输入到位于所述选择性深度生成重放模块的求解器，通过所述求解器输出基于深度学习对所述第1学习用数据进行标注的学习用标注数据；

(b)所述学习装置执行或支持执行如下处理：将所述第1学习用数据、所述第2学习用数据、所述第1学习用低维分布特征、所述第2学习用低维分布特征、所述第3学习用数据和所述学习用二进制输入到判别器，使得所述判别器对应于所述学习用二进制输出第1学习用数据分数、第2学习用数据分数、第1分布特征分数、第2分布特征分数和第3学习用数据分数；以及

(c)所述学习装置执行或支持执行如下处理：(i)生成参考所述第2学习用数据分数、所述第2分布特征分数和所述第3学习用数据分数的第1判别损失、参考所述第1学习用数据分数、所述第1分布特征分数和所述第3学习用数据分数的第2判别损失、参考所述第2分布特征分数和所述第3学习用数据分数的第1生成损失、和参考所述第1分布特征分数、所述第2分布特征分数和所述第3学习用数据分数的第2生成损失以训练所述判别器、所述数据生成器和所述分布分析器，以使所述数据生成器生成在所述学习用二进制为第1二进制值时包括具有在基于所述第2学习用低维分布特征的均值和方差确定的各学习用数据阈值范围内的均值和方差中的至少一个的分布的特征的所述第3学习用数据，生成在所述学习用二进制为第2二进制值时包括具有在基于所述第2学习用低维分布特征的所述均值和所述方差确定的所述各学习用数据阈值范围之外的均值和方差中的至少一个的分布的特征的所述第3学习用数据，(ii)参考所述学习用标注数据和与之对应的真实数据进一步生成求解器损失，并使用所述求解器损失进一步训练所述求解器。

2.根据权利要求1所述的方法，其特征在于：

在所述(c)步骤中，所述学习装置执行或支持执行如下处理：参考所述学习用二进制值，(i)当所述学习用二进制为第1二进制值时，使用所述第1判别损失训练所述判别器和所述分布分析器，使用所述第1生成损失训练所述数据生成器和所述分布分析器，(ii)当所述学习用二进制为第2二进制值时，使用所述第2判别损失训练所述判别器和所述分布分析器，并使用第2生成损失训练所述数据生成器和所述分布分析器。

3.根据权利要求2所述的方法，其特征在于：

所述学习装置执行或支持执行如下处理：(i)当分别使用所述第1判别损失和所述第2判别损失来训练所述判别器和所述分布分析器时，在固定所述数据生成器的第1参数的状态下进行训练，(ii)当分别使用所述第1生成损失和所述第2生成损失来训练所述数据生成器和所述分布分析器时，在固定所述判别器的第2参数的状态下进行训练。

4.根据权利要求1所述的方法，其特征在于：

所述数据生成器包括至少一个编码层和至少一个解码层。