[发明专利]一种数据标注方法、装置、系统以及存储介质

说明书

本发明提供一种数据标注方法、装置、系统以及存储介质，属于数据标注领域，方法包括：S1：导入原始训练数据以及已标注数据；S2：构建原始标注模型，根据原始训练数据以及已标注数据对原始标注模型进行训练得到第一标注模型；S3：导入未标注训练数据，根据第一标注模型对未标注训练数据进行预测得到预测数据；S4：根据未标注训练数据以及预测数据对第一标注模型进行分析得到第二标注模型。本发明能够在不需要大量的人工标注文本样本的前提下，实现了目标领域的预标注模型的训练，大大降低了人工标注的工作量，节省了数据标注工作的成本，也提高了模型的准确性。

技术领域

本发明主要涉及数据标注技术领域，具体涉及一种数据标注方法、装置、系统以及存储介质。

背景技术

近年来，人工智能产业在政策与技术双重驱动下呈现高速增长态势，数据流量持续快速增长，催生了大量的高精度、场景化数据的需求，促进了数据标注行业的蓬勃发展。其中文本数据标注广泛应用于新零售、医疗行业、客服行业、广告营销、社会调查与统计分析、居民生活娱乐等方面。

随着人工智能往细分领域的进一步发展，算法研究需要各个领域的大量的标注数据用于模型的训练，这在数据采集和人工标注上产生了大量的时间成本和人工成本。因此，降低数据标注的成本是促进人工智能在各行业快速落地的重要措施。降低数据标注成本的一种有效方法就是对数据进行预标注，实现数据标注的半自动化，大大减少人工标注工作量。

近年来，很多研究关注到基于深度学习的实体抽取(Named Entity Recognition，简称NER)方向，在文本预标注方面也有了不少研究。但是，目前的研究往往较多是基于通用的场景，这些研究成果中的预测模型存在以下不足：因为面向的场景范围广，预测模型训练需要的未标注数据样本和已标注数据样本的数量大，人力成本高；应用于细分领域时，模型的准确性不够高，预标注的效果不理想；受限于人工标注的数据样本数量，预标注模型的训练效果不理想。

发明内容

本发明所要解决的技术问题是针对现有技术的不足，提供一种数据标注方法、装置、系统以及存储介质。

本发明解决上述技术问题的技术方案如下：一种数据标注方法，包括如下步骤：

S1：导入多个原始训练数据以及与各个所述原始训练数据一一对应的已标注数据；

S2：构建原始标注模型，根据多个所述原始训练数据以及多个所述原始训练数据所对应的已标注数据对所述原始标注模型进行训练，得到第一标注模型；

S3：导入多个未标注训练数据，根据所述第一标注模型对各个所述未标注训练数据进行预测，得到各个所述未标注训练数据的预测数据；

S4：根据多个所述未标注训练数据以及多个所述未标注训练数据的预测数据对所述第一标注模型进行分析，得到第二标注模型；

S5：根据多个所述原始训练数据以及多个所述原始训练数据所对应的已标注数据对所述第二标注模型进行模型分析，得到第三标注模型；

S6：导入待测数据，根据所述第三标注模型对所述待测数据进行标注，得到数据标注结果。

本发明解决上述技术问题的另一技术方案如下：一种数据标注装置，包括：

数据导入模块，用于导入多个原始训练数据以及与各个所述原始训练数据一一对应的已标注数据；

模型训练模块，用于构建原始标注模型，根据多个所述原始训练数据以及多个所述原始训练数据所对应的已标注数据对所述原始标注模型进行训练，得到第一标注模型；

预测模块，用于导入多个未标注训练数据，根据所述第一标注模型对各个所述未标注训练数据进行预测，得到各个所述未标注训练数据的预测数据；