[发明专利]基于模型训练的数据标注方法、装置、电子设备及存储介质

说明书

本发明涉及数据处理技术领域，揭露了一种基于模型训练的数据标注方法，包括：获取样本数据，并识别样本数据中每个字段是否具有标注信息；若样本数据中每个字段都具有标注信息，则获取每个字段对应的标注信息；若样本数据中存在不具有标注信息的字段，则将不具有标注信息的字段进行打标，得到字段的标注信息；利用至少两个预构建的信息测试模型对所述标注信息进行测试，根据测试结果，更新标注信息的信任度，得到标注信息的更新信任度；选取更新信任度大于预设阈值的标注信息，得到目标标注信息。此外，本发明还涉及区块链技术，所述目标标注信息可存储于区块链中。另外，本发明还提供了一种基于模型训练的数据标注装置、电子设备及存储介质。本发明可以提高基于模型训练的数据标注的质量。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于模型训练的数据标注方法、装置、电子设备及计算机可读存储介质。

背景技术

在训练机器学习和深度学习模型过程中需要大量经过仔细标注的数据，以便将其应用于部署、训练和调整模型，因此，可以理解的是基于模型训练的数据标注是多数人工智能模型训练应用的基础，它决定了机器学习和深度学习模型的质量。目前，通常采用众包标注的方法实现基于模型训练的数据标注，但在面对像身份证等敏感数据的标注，采用众包标注的方法容易缺失或遗漏标注信息，使得基于模型训练的数据标注的监控力度不高，从而导致标注的信息可信度不高，进而影响基于模型训练的数据标注的质量。

发明内容

本发明提供一种基于模型训练的数据标注方法、装置、电子设备及计算机可读存储介质，其主要目的在于提高基于模型训练的数据标注的质量。

为实现上述目的，本发明提供的一种基于模型训练的数据标注方法，包括：

获取样本数据，并识别所述样本数据中每个字段是否具有标注信息；

若所述样本数据中每个字段都具有标注信息，则获取每个所述字段对应的标注信息；

若样本数据中存在不具有标注信息的字段，则将所述不具有标注信息的字段进行打标，得到所述字段的标注信息；

利用至少两个预构建的信息测试模型对所述标注信息进行测试，根据测试结果，更新所述标注信息的信任度，得到所述标注信息的更新信任度；

选取所述更新信任度大于预设阈值的标注信息，得到目标标注信息。

可选地，所述识别所述样本数据中每个字段是否具有标注信息，包括：

通过遍历操作获取所述样本数据中的所有字段，利用查询语句查询所述字段是否存在标注记录；

若存在标注记录，则识别所述字段具有标注信息；

若不存在标注记录，则识别所述字段不具有标注信息。

可选地，所述将不具有标注信息的字段进行打标，得到所述字段的标注信息，包括：

获取所述不具有标注信息的字段的位置序列；

根据所述位置序列，对所述不具有标注信息的字段构造信息配置文件；

在所述信息配置文件中加载所述不具有标注信息的字段的字段信息，得到所述字段的标注信息。

可选地，所述根据所述位置序列，对所述不具有标注信息的字段构造信息配置文件包括：

根据所述位置序列，标记所述不具有标注信息的字段的信息插桩点；

将所述信息插桩点进行封装，形成所述信息配置文件。

可选地，所述利用至少两个预构建的信息测试模型对所述标注信息进行测试之前，还包括：

响应于信息测试请求，获取信息测试类别；根据所述信息测试类别，创建至少两个信息测试界面；