[发明专利]一种数据标注方法及装置

说明书

一种数据标注方法及装置，包括：服务器获取待标注的M条数据；所述M为大于1的整数；所述服务器在所述M条数据中抽取N条数据，并针对所述N条数据进行统计分析得到至少一个模板；每个所述模板中包括至少一个槽位，每一个槽位用于填写至少一个关键信息；所述N为大于1的整数，且NM；所述服务器将存储的多个关键信息，分别代入所述至少一个模板，得到P条数据；所述服务器利用所述P条数据中的部分数据进行训练，得到数据标注模型；所述服务器利用所述数据标注模型对所述M条数据除所述N条数据之外的数据进行标注。通过本申请的方法，可以减少人工参与数据标注的过程，提高数据标注效率和准确率。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据标注方法及装置。

背景技术

近年来，随着互联网技术和计算机科学技术的不断发展，人工智能愈演愈烈，而对于数据的标注需求也变得越来越迫切。

目前，对于数据的标注完全是通过人工的方法来进行。即标注人员需要对上万条甚至更多的数据进行人工标注，由于数据量的增大，这种人工标注的方法需要的人力成本比较高，并且在数据量比较大的情况下，人工标注的准确度也难以保证。

发明内容

本申请提供一种数据标注方法及装置，用以提高数据标注的准确度。

第一方面，本申请提供一种数据标注方法，该方法包括：服务器获取待标注的M条数据；所述M为大于1的整数；所述服务器在所述M条数据中抽取N条数据，并针对所述N条数据进行统计分析得到至少一个模板；每个所述模板中包括至少一个槽位，每一个槽位用于填写至少一个关键信息；所述N为大于1的整数，且NM；所述服务器将存储的多个关键信息，分别代入所述至少一个模板，得到P条数据；所述服务器利用所述P条数据中的部分数据进行训练，得到数据标注模型；所述服务器利用所述数据标注模型对所述M条数据除所述N条数据之外的数据进行标注。

在上述技术方案中，利用一部分数据进行训练得到数据标注模型，再利用训练得到的数据标注模型对未标注的数据进行标注，这样可减少人工参与，提高数据标注的准确度和效率。并且，该方法中对抽取出的数据进行统计分析，在槽位填充关键词，得到P条数据，可以理解为对抽取除的数据进行扩充，得到更多的数据，然后利用扩充后的数据进行训练，得到数据标注模型，这样可提高数据标注模型的标注准确度。

在一种可能的设计中，在所述M条数据中抽取N条数据包括：对所述M条数据进行分类，得到Q类数据；所述Q为正整数；从所述Q类数据中分别抽取部分数据，得到所述N条数据。

在上述技术方案中，可对待标注的数据进行分类，然后从分类后的每一类数据中分别抽取部分数据，作为样本数据，这样抽取出的数据能够包括更多类别的数据，便于后续进行数据标注模型的训练，能够提高数据标注模型训练的准确度。

在一种可能的设计中，对所述M条数据进行分类，包括：将所述M条数据分别转换为各自对应的特征向量，得到M个特征向量；将所述M个特征向量中，特征向量相同或相近的特征向量对应的数据作为一类数据。

在一种可能的设计中，所述服务器利用所述P条数据中的部分数据进行训练，得到数据标注模型，包括：所述服务器利用所述P条数据中的部分数据对预设的初始模型进行训练，得到数据标注模型。

在一种可能的设计中，所述服务器得到数据标注模型之后，所述方法还包括所述服务器利用所述P条数据中除所述部分数据之外的剩余数据，对所述数据标注模型进行校验，这样能够验证数据标注模型的标注准确度，提高数据标注的准确度以及数据标注效率，在后续人工校验标注结果时能够减少人工修改的过程。

第二方面，提供一种装置，该装置可以为服务器，该装置具有实现第一方面或第一方面任一种可能实现方式中的数据标注方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块或单元。