[发明专利]样本数据的处理方法、装置、电子设备及存储介质

说明书

本申请提出一种样本数据的处理方法，该方法包括服务器获取分布式训练任务的训练样本集；所述服务器在每次进行模型训练之前从多个候选样本数据划分策略中，选取一个目标样本数据划分策略；所述服务器基于所述目标样本数据划分策略，对所述训练样本集进行划分，生成多个训练样本子集；所述服务器将所述多个训练样本子集分发给多个工作节点进行当次模型训练。本申请中，在每次模型训练开始前，服务器从多个候选的样本数据划分策略中随机选取一个作为目标样本数据划分策略，实现了对于训练样本集的高效动态划分，使得不同样本数据划分策略的优点被充分利用，保障了分布式训练的模型效果和收敛速率。

技术领域

本申请涉及机器学习技术领域，尤其涉及样本数据的处理方法、装置、电子设备及存储介质。

背景技术

随着大数据技术的快速发展，可以更高效的利用大数据训练更准确的大模型，从而有效的逼近很多困难问题的决策边界，由于资源的限制，大数据模型的训练需要用到分布式训练技术，其中，数据并行模式下的模型分布式训练中，如何对样本数据进行划分成为了需要解决的问题。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请第一方面提出一种样本数据的处理方法。

本申请第二方面还提出一种样本数据的处理装置。

本申请第三方面提出一种电子设备。

本申请第四方面提出一种计算机可读存储介质。

本申请第五方面提出一种计算机程序产品。

本申请第一方面提出一种样本数据的处理方法，包括服务器获取分布式训练任务的训练样本集；所述服务器在每次进行模型训练之前从多个候选样本数据划分策略中，选取一个目标样本数据划分策略；所述服务器基于所述目标样本数据划分策略，对所述训练样本集进行划分，生成多个训练样本子集，所述服务器将多个所述训练样本子集分发给多个工作节点进行当次模型训练。

另外，本申请第一方面提出的样本数据的处理方法还可以具有如下附加的技术特征：

根据本申请的一个实施例，所述服务器在每次进行模型训练之前从多个候选样本数据划分策略中，选取一个目标样本数据划分策略，包括：所述服务器获取所述候选样本数据划分策略对应的概率区间，其中，每个所述候选样本数据划分策略概率区间拼接形成全概率；所述服务器针对每次模型训练，生成随机数，并确定所述随机数所处的目标概率区间；所述服务器将所述目标概率区间对应的候选样本数据划分策略，确定所述目标样本数据划分策略。

根据本申请的一个实施例，所述服务器获取所述候选样本数据划分策略对应的概率区间，包括：所述服务器获取所述候选样本数据划分策略的被选中概率；所述服务器基于所述被选中概率和预设的划分策略顺序，确定所述候选样本数据划分策略对应的概率区间端点值；所述服务器基于所述概率区间端点值，生成所述候选样本数据划分策略对应的概率区间。

根据本申请的一个实施例，所述服务器获取所述候选样本数据划分策略的被选中概率，包括：所述服务器基于所述候选样本数据划分策略的数量，等概率配置所述候选样本数据划分策略的被选中概率。

根据本申请的一个实施例，所述服务器获取所述候选样本数据划分策略的被选中概率，包括：所述服务器获取所述候选样本数据划分策略的权重值，基于所述权重值，生成所述候选样本数据划分策略的被选中概率。

根据本申请的一个实施例，所述服务器获取所述候选样本数据划分策略的被选中概率，包括：所述服务器获取所述分布式训练任务的配置信息；所述服务器基于所述配置信息，获取所述候选样本数据划分策略的被选中概率。