[发明专利]数据标注方法、装置和系统及存储介质

说明书

本发明实施例提供一种数据标注方法、装置和系统以及存储介质。数据标注方法包括：获取第一数目的未标注数据及其预标注信息，预标注信息是利用标注模型对第一数目的未标注数据进行预标注得到的，预标注信息包括预标注结果；在显示界面上显示第一数目的未标注数据及其预标注结果；接收用户对第一数目的未标注数据的第一反馈信息；以及根据第一反馈信息确定第一数目的未标注数据的最终标注结果。根据本发明实施例的数据标注方法、装置和系统以及存储介质，先由数据标注系统对未标注数据进行预标注，并且可以在显示界面上显示这些未标注数据及其预标注结果，用户只需更改错误的预标注结果，这样做可以极大地提升标注效率，减小标注成本。

技术领域

本发明涉及计算机技术领域，更具体地涉及一种数据标注方法、装置和系统以及存储介质。

背景技术

人工智能发展到今天，数据的作用被越来越凸显出来。训练好一个神经网络模型，通常需要上百万甚至上亿量级的数据。数据的标注周期和成本直接影响了一个人工智能公司的行业竞争力。

当前数据标注平台的数据标注流程均为人工逐一标注，基于此标注流程的标注界面也为单数据点逐一标注。当前的数据标注平台存在以下不足：数据标注模式均为对数据进行人工逐一标注；其标注成本一般与数据集规模呈正比，在标注超大数据集时通常需要较大的人力投入和较长的标注周期。

发明内容

考虑到上述问题而提出了本发明。本发明提供了一种数据标注方法、装置和系统以及存储介质。

根据本发明一方面，提供了一种数据标注方法。数据标注方法包括：获取第一数目的未标注数据及其预标注信息，预标注信息是利用标注模型对第一数目的未标注数据进行预标注得到的，预标注信息包括预标注结果；在显示界面上显示第一数目的未标注数据及其预标注结果；接收用户对第一数目的未标注数据的第一反馈信息；以及根据第一反馈信息确定第一数目的未标注数据的最终标注结果。

示例性地，显示界面包括标注区域和菜单栏区域，第一数目的未标注数据显示在标注区域内，菜单栏区域包括用于指示标注区域内数据的标注模式的模式控件，标注模式为高概率模式、高相似模式和边界模式中的一项或多项，获取第一数目的未标注数据及其预标注信息包括：确定用户通过模式控件选择的标注模式；根据选择的标注模式，利用标注模型对第二数目的未标注数据进行预标注，以获得第二数目的未标注数据的预标注信息，第一数目的预标注数据为第二数目的未标注数据中的至少部分未标注数据。

示例性地，模式控件包括分别布置在不同位置的高概率控件、高相似控件和边界控件中的一项或多项，高概率控件、高相似控件和边界控件分别用于指示高概率模式、高相似模式和边界模式。

示例性地，高相似控件、高概率控件和边界控件中的一项或多项中的每一项包括正例控件和负例控件，正例控件用于控制对应标注模式下的属于正例的未标注数据的显示，负例控件用于控制对应标注模式下的属于负例的未标注数据的显示。

示例性地，模式控件为下拉列表控件，下拉列表控件提供与高概率模式、高相似模式和边界模式中的一项或多项分别对应的下拉列表项。

示例性地，预标注信息还包括数据得分，获取第一数目的未标注数据及其预标注信息还包括：从第二数目的未标注数据中选择数据得分大于第一得分阈值或者小于第二得分阈值的未标注数据作为第一数目的未标注数据，或者从第二数目的未标注数据中选择数据得分最高的预设数目的未标注数据作为第一数目的未标注数据。

示例性地，预标注信息还包括数据得分，在显示界面上，第一数目的未标注数据是按照第一数目的未标注数据的数据得分排列的。

示例性地，显示界面包括菜单栏区域，菜单栏区域包括随机控件；方法还包括：当接收到针对随机控件的选择信息时，从未标注数据集中随机选择第三数目的未标注数据；在显示界面上显示第三数目的未标注数据；接收用户对第三数目的未标注数据的第二反馈信息；以及根据第二反馈信息确定第三数目的未标注数据的最终标注结果。