[发明专利]一种大数据跨领域分析的深度迁移学习方法

说明书

技术领域

本发明涉及计算机数据分析技术领域，更具体地，涉及一种大数据跨领域分析的深度迁移学习方法。

背景技术

机器学习在大量标记的数据上进行监督式训练可以获得很好的性能和效果，然而大型的标记数据集在数量和应用领域方面均有限，且手动标记足量的训练数据往往需要高昂的代价。因此当面对标记数据稀缺的目标任务时，如何利用与目标域相关但服从不同概率分布的源域中已有的标记数据，来构建一个有效的学习器，就具有很强的现实需求。

在源域数据和目标域数据之间存在分布偏移时学习判别式模型的范式称为迁移学习。迁移学习试图构建能够在服从不同概率分布的领域间泛化的学习器，使得在目标域缺少标记数据的情况下仍然可以结合源域的标记数据进行学习以完成对目标域数据的处理，在计算机视觉和自然语言处理等领域有着广泛的应用。

数据满足独立同分布是统计数据分析的基础，而在迁移学习问题中，源域数据与目标域数据的特征分布存在偏差，在实际应用中，数据特征和标签的联合概率分布也将会在领域间显著偏移，这使迁移学习问题更加具有挑战性；迁移学习的主要技术难点在于如何学习到在领域间迁移能力较好的特征与结构，降低领域间的概率分布差异。利用深度神经网络学习的抽象特征具有较好的可迁移性，能够泛化到新任务上以提升迁移学习的效果。但对于深度网络的上层，其迁移能力会随着领域间差异的扩大而显著下降，而深度网络的上层往往是用于拟合样本特性的任务相关层，任务相关层的迁移能力的下降，会影响深度网络在不同领域间迁移学习的效果。

发明内容

为了克服上述问题或者至少部分地解决上述问题，本发明提供一种大数据跨领域分析的深度迁移学习方法。

根据本发明的一个方面，提供一种大数据跨领域分析的深度迁移学习方法，包括：确定第一联合概率分布与第二联合概率分布之间的联合分布差异，第一联合概率分布为源域的样本在深度网络的所有任务相关层中的特征以及标签之间的联合概率分布，第二联合概率分布为目标域的样本在深度网络的所有任务相关层中的特征以及标签之间的联合概率分布，任务相关层为深度网络的上层；确定对源域的样本的分类错误率；根据联合分布差异和分类错误率，确定深度网络的损失函数的值；基于损失函数的值，更新深度网络的参数，以使深度网络适配目标域。

其中，确定第一联合概率分布与第二联合概率分布之间的联合分布差异，包括：确定第一联合概率分布，确定第二联合概率分布；通过计算第一联合概率分布和第二联合概率分布在可再生核希尔伯特空间中的核嵌入之间的欧式距离的平方，获取联合分布差异；其中，联合概率分布在可再生核希尔伯特空间中的核嵌入的表达式如下：

上式中，x表示样本在任务相关层中的特征，φ(x)表示样本在任务相关层中的特征在可再生核希尔伯特空间的映射函数，Ω_X表示样本在任务相关层中的特征的定义域，y表示标签，ψ(y)表示标签在可再生核希尔伯特空间的映射函数，Ω_Y表示标签的定义域，P(x，y)表示样本在任务相关层中的特征以及标签之间的联合概率分布。

其中，确定第一联合概率分布，包括：将源域的样本输入到深度网络作正向传播，获取源域的样本在深度网络的每一任务相关层中的特征；将源域的样本在深度网络的所有任务相关层中的特征和源域的标签作为第一数据集，将第一数据集满足的概率分布作为第一联合概率分布。

其中，确定第二联合概率分布，包括：将目标域的样本输入到深度网络作正向传播，获取目标域的样本在深度网络的每一任务相关层中的特征，输出对目标域中缺少标签的样本的预测标签；将目标域的样本在深度网络的所有任务相关层中的特征、目标域的标签和预测标签作为第二数据集，将第二数据集满足的概率分布作为第二联合概率分布。

其中，确定对源域的样本的分类错误率，包括：将源域的样本输入到深度网络，输出对源域的样本的预测结果；根据深度网络对源域的样本的预测结果的条件概率确定分类错误率。

其中，基于损失函数的值，更新深度网络的参数，包括：判断损失函数的值是否收敛至满意值；若确定损失函数的值未收敛至满意值，则利用反向传播算法更新深度网络的参数；基于更新参数后的深度网络，重新确定损失函数的值，并重新判断损失函数的值是否收敛至满意值，若确定损失函数的值未收敛至满意值，利用反向传播算法重新更新深度网络的参数，直至确定损失函数的值收敛至满意值或者更新深度网络的参数的次数达到预设值。