[发明专利]数据获取方法、装置、电子设备及存储介质

说明书

本申请公开了一种数据获取方法、装置、电子设备及存储介质，涉及数据处理技术领域，该方法包括：获取候选数据集，所述候选数据集包括多个第一候选子数据；将每个所述第一候选子数据输入至初级网络模型，得到每个所述第一候选子数据对应的第一标签、类别置信度和数据置信度；确定每个所述第一候选子数据对应的所述类别置信度和所述数据置信度是否满足预设条件；若所述第一候选子数据对应的类别置信度和所述数据置信度满足预设条件，则将所述第一标签和所述第一标签对应的第一候选子数据存储至所述预训练数据集，得到目标数据。本申请通过确定类别置信度与数据置信度是否满足预设条件可以更加快速有效的获取到目标数据。

技术领域

本申请涉及数据处理技术领域，更具体地，涉及一种数据获取方法、装置、电子设备及存储介质。

背景技术

随着计算机技术的发展，机器学习算法的应用越来越广泛，人工智能正走入人们的生活，如平时线上购物中智能客服机器人就是基于用户的问答训练数据获取的，然而由于用户的不断增加，用户数据正飞速累计，对海量的数据进行标记也成为目前急需解决的问题之一。

发明内容

鉴于上述问题，本申请提出了一种数据获取方法、装置、电子设备及存储介质。

第一方面，本申请实施例提供了一种数据获取方法，该方法包括：获取候选数据集，候选数据集包括多个第一候选子数据，将每个第一候选子数据输入至初级网络模型，得到每个第一候选子数据对应的第一标签、类别置信度和数据置信度，第一标签为第一候选子数据对应的标签数据，初级网络模型由预训练数据集训练而成，预训练数据集包括多个训练数据和多个标签数据，每个训练数据对应一个标签数据，数据置信度用于表示初级网络模型在第一候选子数据上的训练效果，确定每个第一候选子数据对应的类别置信度和数据置信度是否满足预设条件，若第一候选子数据对应的类别置信度和数据置信度满足预设条件，则将第一标签和第一标签对应的第一候选子数据存储至预训练数据集，得到目标数据。

进一步地，确定每个第一候选子数据对应的类别置信度和数据置信度是否满足预设条件，包括：确定每个第一候选子数据的类别置信度是否大于第一置信阈值，第一置信阈值用于判断第一候选子数据的类别置信度是否属于高类别置信度；如果类别置信度大于第一置信阈值，则确定每个第一候选子数据的数据置信度是否大于第二置信阈值，第二置信阈值用于确定第一候选子数据的数据置信度的高低；若数据置信度大于第二置信阈值，则确定类别置信度和数据置信度满足预设条件。

进一步地，如果类别置信度小于第一置信阈值，则确定类别置信度是否大于第三置信阈值，第三置信阈值小于第一置信阈值，第三置信阈值用于判断第一候选子数据的类别置信度是否属于中类别置信度或者低类别置信度，若类别置信度大于第三置信阈值，则接收用户输入的第二标签，第二标签与第一候选子数据对应，将第二标签和第一候选子数据存储至预训练数据集，得到目标数据。

进一步地，如果类别置信度小于第三置信阈值，则确定数据置信度是否大于第二置信阈值，若数据置信度大于第二置信阈值，则接收用户输入的第二标签，第二标签与第一候选子数据对应，将第二标签和第一候选子数据存储至预训练数据集，得到目标数据。

进一步地，当类别置信度小于第三置信阈值，且数据置信度小于第二置信阈值时，接收用户输入的第二候选子数据，第二候选子数据与第一标签对应，将第二候选子数据和第一标签存储至预训练数据集，得到目标数据。

进一步地，将每个第一候选子数据输入至初级网络模型，得到每个第一候选子数据对应的第一标签、类别置信度和数据置信度之前，还包括：获取验证数据集，验证数据集包括多个标准候选数据和标准候选数据数据对应的标准标签；将验证数据集输入至初级网络模型，得到每个标准候选数据对应的预测标签和预测概率；根据标准标签和预测标签对标准候选数据进行分类，得到多个类别的验证子数据集；获取每个类别下验证子数据集对应的预测概率平均值，并将预测概率平均值作为该类别对应的类别置信度。