[发明专利]自监督学习方法和自监督学习装置

说明书

本公开提出一种自监督学习方法和自监督学习装置，涉及计算机领域。本公开通过每个原始图片的每个增广图片的特征到所述每个原始图片的所有增广图片的特征均值的距离度量信息，能够有效监测到语义出现偏差的增广图片样本，通过减小相应的权重，语义出现偏差的增广图片样本带来的训练噪声能够被有效地抑制，很好地平衡了数据增广分布的方差与偏差，提升了学习模型在下游的计算机视觉任务上的性能。

技术领域

本公开涉及计算机领域，特别涉及一种自监督学习方法和自监督学习装置。

背景技术

自监督学习是一种非常有效的特征学习方法。自监督学习假设训练数据的类别标签未知，在此前提下通过训练数据本身的结构性假设对训练数据的特征进行学习。利用自监督学习方法对深度网络进行无监督预训练后，深度网络往往能够在下游的分类、监测、分割等计算机视觉任务上取得非常好的效果。

有一种自监督学习方法，人为地通过翻转、平移、加噪、切割等方式创造原始图片的各种增广图片，并假设同一原始图片的这些增广图片在特征空间内具有语义特征的一致性，利用这些增广图片进行自监督学习。

然而，这些随机生成的增广图片可能已经偏离了特征空间层面上的语义不变性的假设，并不具备语义不变性的特点。比如，对一张原始图片进行强度过大的数据增强，可能会使产生的增广图片在语义上产生偏差。如果忽略这样的偏差，强迫深度网络对增广图片中隐含的语义按照语义不变性进行学习，将会对下游的计算机视觉任务的性能产生负面的性能影响。

发明内容

经研究发现，自监督学习需要数据分布具有足够大的分布方差，使得增广数据具备足够的多样性，从而学习到有用的语义信息，但同时数据增广的强度也不能太大，否则会使产生的增广数据在语义上产生偏差，数据增广分布的方差与偏差的平衡非常重要性，因此，不能简单地减小数据增广的强度，损失增广数据的多样性，来解决数据增广的偏差问题。

本公开实施例通过每个原始图片的每个增广图片的特征到所述每个原始图片的所有增广图片的特征均值的距离度量信息，能够有效监测到语义出现偏差的增广图片样本，通过减小相应的权重，语义出现偏差的增广图片样本带来的训练噪声能够被有效地抑制，很好地平衡了数据增广分布的方差与偏差，提升了学习模型在下游的计算机视觉任务上的性能。

本公开一些实施例提出一种自监督学习方法，包括：

根据每个原始图片的每个增广图片的特征到所述每个原始图片的所有增广图片的特征均值的距离度量信息，确定权重，其中，所述距离度量信息越大，所述权重越小；

利用所述权重对第一代价函数进行加权，得到第二代价函数，其中，所述第一代价函数用于拉近同一原始图片的不同增广图片的特征的距离；

利用所述第二代价函数，根据输入的各个原始图片的各个增广图片进行自监督学习。

在一些实施例中，所述确定权重包括：

利用基于所有原始图片的所有增广图片的特征的协方差构成的协方差矩阵，对每个原始图片的每个增广图片的特征到所述每个原始图片的所有增广图片的特征均值的距离度量信息进行第一归一化处理；

根据第一归一化处理结果，确定权重。

在一些实施例中，所述进行第一归一化处理包括：每个原始图片的每个增广图片的特征到所述每个原始图片的所有增广图片的特征均值的距离度量信息的转置，与基于所有原始图片的所有增广图片的特征的协方差构成的协方差矩阵的逆矩阵相乘，然后再与所述每个原始图片的每个增广图片的特征到所述每个原始图片的所有增广图片的特征均值的距离度量信息相乘，作为第一归一化处理结果。

在一些实施例中，所述确定权重包括：

对第一归一化处理结果进行取反运算；

以预设值为底数，以第一归一化处理结果的取反运算结果为指数，进行指数运算；