[发明专利]数据标注方法、装置、电子设备及计算机可读存储介质

说明书

本申请提供了一种数据标注方法、装置、电子设备及计算机可读存储介质，该方法包括：获取包含有至少一个文本数据及文本数据对应的第一标注结果的第一数据集；当第一标注结果的准确率大于第一阈值时，对第一数据集中的文本数据进行数据扩充得到第二数据集；针对第二数据集中的每个文本数据，从该文本数据中提取出与预设的维护词表中的关键词相同的目标词语，确定第二标注结果；当第二标注结果的准确率大于第二阈值时，将每个文本数据对应的第一标注结果和第二标注结果的树状关系确定为该文本数据的目标标注结果。本申请通过对文本数据标注第一标注结果和第二标注结果，并根据第一标注结果与第二标注结之间的树状关系，提高文本数据的区分度。

技术领域

本申请涉及计算机技术领域，尤其是涉及一种数据标注方法、装置、电子设备及计算机可读存储介质。

背景技术

近年来，随着人工智能(AI，Artificial Intelligence)等技术的应用和逐步落地，对于数据的需求量呈爆发式增长，相应的数据标注需求也日渐增多。数据标注指的是对文本、图像、语音、视频等待标注数据进行归类、整理、编辑、纠错、标记和批注等操作，为待标注数据增加标签，生成满足机器学习训练要求的机器可读数据编码。

现有技术中在进行数据标注时，通常使用人工标注法直接对采集到的原始数据进行数据标注，由于标注人员的标注水平不同，所以使用人工标注法对数据进行标注时，数据标注的质量无法得到有效保证。并且现有技术中由于直接对原始数据进行数据标注，这样使得标注后的数据区分度不高，特征不明显。因此，现有技术中急需一种能够提高数据标注质量，以及提高数据区分度的方法。

发明内容

有鉴于此，本申请的目的在于提供一种数据标注方法、装置、电子设备及计算机可读存储介质，以提高数据的区分度以及数据标注质量。

第一方面，本申请实施例提供了一种数据标注方法，包括：

获取第一数据集；其中，所述第一数据集中包括至少一个文本数据，所述文本数据是使用预设标签进行标注后的数据；每个所述文本数据对应的所述预设标签作为该文本数据的第一标注结果；

判断所述第一标注结果的准确率是否大于第一阈值；

当所述第一标注结果的准确率大于第一阈值时，基于所述第一数据集中每个文本数据对应的所述第一标注结果，对所述第一数据集中的文本数据进行数据扩充，得到第二数据集；其中在所述第二数据集中，针对每个所述第一标注结果，该第一标注结果对应的文本数据的数量与其他所述第一标注结果对应的文本数据的数量之间的差值小于预设差值；

针对所述第二数据集中的每个文本数据，从该文本数据中提取出与预设的维护词表中的关键词相同的目标词语，将所述目标词语确定为该文本数据的第二标注结果；

判断所述第二标注结果的准确率是否大于第二阈值；

当所述第二标注结果的准确率大于第二阈值时，针对所述第二数据集中的每个文本数据，将该文本数据对应的所述第一标注结果和所述第二标注结果的树状关系确定为该文本数据的目标标注结果。

结合第一方面，本申请实施例提供了第一方面的第一种可能的实施方式，其中，所述获取第一数据集之前，还包括：

获取至少一个待标注文本数据；

对所述待标注文本数据进行预处理；其中，所述预处理包括数据清洗、数据去重、数据标准化和缺失值补充中的至少一种。

结合第一方面或第一方面的第一种可能的实施方式，本申请实施例提供了第一方面的第二种可能的实施方式，其中，所述获取第一数据集之前，还包括：