[发明专利]一种语料预处理方法、语料预标注方法及电子设备

说明书

本发明涉及自然语言处理技术，提供了一种语料预处理的方法，所述方法包含步骤：分别对各语料进行向量化处理，获得所述语料的文本向量；基于所述语料的文本向量进行聚类，从所述语料中确定出专用语料；对所述专用语料进行命名实体识别，确定出所述专用语料中包含的命名实体；基于目标命名实体对所述专用语料进行分类；分别从各所述分类的所述专用语料中抽取第一预设数量的所述专用语料，作为所述预处理结果。基于本实施例所提供的方法，可通过对原始语料数据进行预处理，以剔除大量重复的目标语料，供后续人工标注或其他处理，从而可大幅度的减少重复的人工处理工作。

技术领域

本发明涉及自然语言处理技术，尤其涉及一种语料预处理方法、语料预标注方法及电子设备。

背景技术

语料库是语料库语言学研究的基础资源，也是经验主义语言研究方法的主要资源。传统的语料库主要应用于词典编纂，语言教学，传统语言研究，自然语言处理中基于统计或实例的研究等方面。随着互联网大数据及人工智能技术的发展，语料库也被广泛的应用。

语料库有三点特征，语料库中存放的是在语言的实际使用中真实出现过的语言材料，例如直接从网页上获取的用户留言、客服对话等；语料库是承载语言知识的基础资源，但并不等于语言知识；真实语料需要经过加工，才能成为有用的资源，对真实语料的加工可包含除脏数据、语义标注、词性标记等，而在对语料进行标注时，往往需要主要靠人工对各个语料数据进行标注，由于语料数据中往往会包含大量的重复的语料数据，导致需要耗费大量人工在重复的语料标注上。

以意图识别分类器的训练语料为例，通常在使用监督学习算法训练一个医美行业意图识别分类器时，需要大量标注好的语料。其中标注工作多数以人工标记为主，大多数情况下，语料事先没有做一些处理，会存在大量的重复数据，如果没有对这些重复数据进行过滤，一是影响标注效率，二是浪费人力。

发明内容

为了解决上述问题，本发明的实施例，提供了一种语料预处理的方法，所述方法包含步骤：分别对各语料进行向量化处理，获得所述语料的文本向量；基于所述语料的文本向量进行聚类，从所述语料中确定出专用语料；对所述专用语料进行命名实体识别，确定出所述专用语料中包含的命名实体；基于目标命名实体对所述专用语料进行分类；分别从各所述分类的所述专用语料中抽取第一预设数量的所述专用语料，作为所述预处理结果。

在一实施中，所述对所述专用语料进行命名实体识别，确定出所述专用语料中包含的命名实体，具体包含：基于预设命名实体识别模型对所述专用语料进行命名实体识别。

在一实施中，所述专用语料为包含目标意图的所述语料。

在一实施中，在基于所述目标命名实体对所述专用语料进行分类之后，为各所述分类的所述专用语料进行标签设置，其中，所述标签内容包含所述目标命名实体。

在一实施中，在所述基于所述语料的文本向量进行聚类后，从所述语料中确定出通用语料和长尾语料。

在一实施中，所述方法更包含步骤：分别对所述通用语料和所述长尾语料进行聚类；分别从各分类的所述通用语料和所述长尾语料中抽取第二预设数量的所述通用语料和所述长尾语料，作为所述预处理结果。

在一实施中，在分别对所述通用语料和所述长尾语料进行聚类之后，为各分类的所述通用语料和所述长尾语料设置标签。

基于本实施例所提供的方法，可通过对原始语料数据进行预处理，以剔除大量重复的目标语料，供后续人工标注或其他处理，从而可大幅度的减少重复的人工处理工作。

此外，本发明还提供一种语料预标注方法，所述方法包含步骤：收集原始语料；基于上述的语料预处理方法，对所述原始语料进行预处理，获得所述预处理结果；基于所述预处理结果进行预标注。