[发明专利]一种通过小批量采样改进对比学习的方法及装置

权利要求书

1.一种通过小批量采样改进对比学习的方法，其特征在于，包括以下步骤：

获取实例数据集，利用所述实例数据集构建邻近图；

在所述邻近图上对所述实例数据集中的实例进行预设数量采样，得到预设数量的训练数据；其中，所述训练数据用于学习实例的嵌入表示；

将所述训练数据输入多种网络模型进行特征提取，得到训练实例特征；

利用所述训练实例特征和损失函数对所述多种网络模型进行训练，并使用优化器更新模型参数得到训练好的多种网络模型。

2.根据权利要求1所述的方法，其特征在于，所述利用所述实例数据集构建邻近图，包括：

利用随机采样的方式从所述实例数据集中采样多个实例得到实例候选集合；

在所述实例候选集合中查询实例在嵌入空间中的多个最临近的实例样本，基于所述多个最临近的实例样本构建邻近图。

3.根据权利要求1所述的方法，其特征在于，所述在邻近图上对所述实例数据集中的实例进行预设数量采样，得到预设数量的训练数据，包括：

从所述邻近图上的一个实例节点开始，利用采样器以预设概率迭代地返回起点，或者以与边缘权重成比例的概率移动到当前位置的邻居节点；

直到收集到满足预设数量的实例节点的批数据，以获取预设数量的训练数据。

4.根据权利要求2所述的方法，其特征在于，所述邻近图的表现形式为∶

其中，V＝{v1，...，vn}代表的是数据集中的实例，是通过相似度度量产生的节点对，即邻近图中的边。

5.根据权利要求4所述的方法，其特征在于，所述基于所述多个最临近的实例样本构建邻近图的表达式为：

其中，K为实例样本，e_m为实例候选集合，N_vi表示邻近图中实例v_i的邻居，·是内积运算。

6.根据权利要求1所述的方法，其特征在于，所述损失函数的表达式为：

其中，z_i和z_j是一对正样本对，z_k是负样本，B是批大小，Sim(·)是余弦相似度，τ是温度系数。

7.一种通过小批量采样改进对比学习的装置，其特征在于，包括：

邻近图构建模块，用于获取实例数据集，利用所述实例数据集构建邻近图；

训练数据获取模块，用于在所述邻近图上对所述实例数据集中的实例进行预设数量采样，得到预设数量的训练数据；其中，所述训练数据用于学习实例的嵌入表示；

特征提取模块，用于将所述训练数据输入多种网络模型进行特征提取，得到训练实例特征；

模块优化模块，用于利用所述训练实例特征和损失函数对所述多种网络模型进行训练，并使用优化器更新模型参数得到训练好的多种网络模型。

8.根据权利要求7所述的装置，其特征在于，所述邻近图构建模块，还用于：

利用随机采样的方式从所述实例数据集中采样多个实例得到实例候选集合；

在所述实例候选集合中查询实例在嵌入空间中的多个最临近的实例样本，基于所述多个最临近的实例样本构建邻近图。

9.根据权利要求7所述的装置，其特征在于，所述训练数据获取模块，还用于：

从所述邻近图上的一个实例节点开始，利用采样器以预设概率迭代地返回起点，或者以与边缘权重成比例的概率移动到当前位置的邻居节点；

直到收集到满足预设数量的实例节点的批数据，以获取预设数量的训练数据。

10.根据权利要求8所述的装置，其特征在于，所述邻近图的表现形式为：

其中，V＝{vl，...，vn}代表的是数据集中的实例，是通过相似度度量产生的节点对，即邻近图中的边。