[发明专利]一种通过小批量采样改进对比学习的方法及装置

说明书

本发明公开了一种通过小批量采样改进对比学习的方法及装置，其中，该方法包括：获取实例数据集，利用实例数据集构建邻近图；在邻近图上对所述实例数据集中的实例进行预设数量采样，得到预设数量的训练数据；其中，训练数据用于学习实例的嵌入表示；将训练数据输入多种网络模型进行特征提取，得到训练实例特征；利用训练实例特征和损失函数对多种网络模型进行训练，并使用优化器更新模型参数得到训练好的多种网络模型。本发明通过连接在整个数据集上的相似实例，在邻近图上采样可以更好地探索全局hard负样本。在三个模态上呈现出显著的性能提升，证明了本采样方法的有效性和普遍性，还可以和其他的模型结合以提升模型性能。

技术领域

本发明涉机器学习技术领域，特别是涉及一种通过小批量采样改进对比学习的方法及装置。

背景技术

批量对比学习已成为最先进的自监督学习解决方案，其核心是使语义相似的实例更接近，同时在小批量中将不同的实例分开。但是，mini-batch负采样策略受batch size限制，不能在全局范围内优先考虑信息丰富的负样本(即hard负样本)。

对比学习一直是当前自监督表示学习的主要方法，在许多领域都有应用，例如计算机视觉中的MoCo和SimCLR，图表示学习中的GCC和GraphCL以及自然语言处理中的SimCSE。对比学习中的这些重要工作通常遵循或稍微修改批量对比学习的框架，如下所示：

其中{x1,...,xB}通常是从数据集D中随机加载的小批量样本，是通过数据增强产生的x_i的正样本。编码器f(·)通过将同一实例(正样本对)的不同数据增强版本映射到相似的嵌入表示，并将小批量(负样本对)中的不同实例映射到不同的嵌入表示。批量对比学习是高效的，其区分小批量中的所有B(B-1)对实例，并只需对每个实例编码一次。其简单和高效的优势使其比pairwise或triple-based的方法更受欢迎，逐渐成为对比学习的主导框架。然而，批量对比学习的性能与批大小密切相关。在有限的计算和内存预算下获得大的(等效的)批大小是许多重要对比学习方法的目标。例如，Memory Bank将来自先前小批量的编码嵌入存储为额外的负样本，而MoCo通过动量编码器提高存储的负样本的一致性。SimCLR表明，简单地将批内对比学习的批大小增加到8,192比以前精心设计的方法要好。尽管这些工作强调了批大小的重要性，但另一个问题出现了——小批量中的哪些实例贡献最大？

hard负实例贡献最大——在一些非常相似的场景中，许多工作都很好地支持了这个问题的明确答案，尤其是在(基于图的)推荐系统。一个直观的解释是，易于区分的负样本对的在早期训练后会变得非常小，因此hard负样本贡献了大部分的损失和梯度。hard负采样已经在许多实际应用中取得了巨大成功，例如Facebook搜索召回率提高8％。对比学习和推荐系统之间唯一明显的区别是正样本对是同一实例的不同增强版本还是共同购买的商品。

近年来，对比学习中的负采样技术也取了一些进展。以往的关于对比学习中负采样的研究主要集中在给定小批量中创建或加强负样本对，大致分为两类：(1)重新加权对比损失，它修改了原始InfoNCE损失中的负样本的权重。例如，DCL和HCL应用可调权重分布来缓解假阴性问题或放大hard负样本的影响。(2)创建新的负样本，其详细说明了从候选中生成hard负样本的策略。例如，MoCHI建议在特征级别混合候选的hard负样本以生成更具挑战性的负样本。

已有的方法直接用随机采样一个批大小的数据进行训练，即RandSampler。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明提出一种新颖的小批量采样ProSampler。因此，本发明的目的是在每个mini-batch中隐式地添加更多hard负样本以显着改进对比学习。为此，本发明提出了一种通过小批量采样改进对比学习的方法。