[发明专利]一种语料标注方法及装置

说明书

本发明公开了一种语料标注方法及装置，其通过对待处理的语料进行向量化处理，得到所述语料的文本向量；根据所述语料的文本向量，利用DBSCAN聚类算法对所述语料进行聚类处理，得到长尾类语料和待标注类语料；对于所述长尾类语料，返回再次聚类处理；对于所述待标注类语料，则进行设置标签，得到标注语料；最后将所有的标注语料进行合并，得到最终标注好的语料，无需多次调整聚类数量，算法更简单，标注效率更高，可靠性更好。

技术领域

本发明涉及自然语言处理技术领域，特别是一种语料标注方法及其应用该方法的装置。

背景技术

语料库是语料库语言学研究的基础资源，也是经验主义语言研究方法的主要资源。传统的语料库主要应用于词典编纂，语言教学，传统语言研究，自然语言处理中基于统计或实例的研究等方面。随着互联网大数据及人工智能技术的发展，语料库也被广泛的应用。

语料库中存放的是在语言的实际使用中真实出现过的语言材料，例如直接从网页上获取的用户留言、客服对话等；语料库是承载语言知识的基础资源，但并不等于语言知识；真实语料需要经过加工，才能成为有用的资源，对真实语料的加工可包含除脏数据、语义标注、词性标记等，而在对语料进行标注时，往往需要靠人工或机器学习对各个语料数据进行标注。

利用机器学习对语料进行预标注通常有两种标注方法：

一是利用监督学习算法对语料中每条待标注数据直接预测；该方法需要依赖事先标注好的语料，同时数据标注的质量和算法的选择直接影响到预标注的精度。

二是利用无监督算法(聚类算法)对标注数据进行聚类，后对每一类进行标记；该方法无需依赖过多的先验信息可直接对语料进行标注，但后续需参入部分人工干预。

对于第二种标注方法，最常见的是以k-means算法为核心算法对语料进行预标注，但缺点是由于k-means要实现给定聚类数目，这样可能造成的结果是，先靠经验指定一个聚类数量，然后根据聚类效果再不停地调整聚类数量的值，直到调整到合适的值为止，整个过程过于冗余。

发明内容

本发明为解决上述问题，提供了一种语料标注方法及装置，其采用DBSCAN密度聚类算法对语料进行聚类和迭代标注，再对标注结果进行合并，无需多次调整聚类数量，算法更简单，标注效率更高。

为实现上述目的，本发明采用的技术方案为：

一种语料标注方法，其包括以下步骤：

a.对待处理的语料进行向量化处理，得到所述语料的文本向量；

b.根据所述语料的文本向量，利用DBSCAN聚类算法对所述语料进行聚类处理，得到长尾类语料和待标注类语料；

c.对于所述长尾类语料，返回步骤b；对于所述待标注类语料，则进行设置标签，得到标注语料；

d.将所有的标注语料进行合并，得到最终标注好的语料。

优选的，所述的步骤a中进一步包括：

a1.对待处理的语料进行分词处理，得到分词结果；

a2.利用预训练好的词向量模型将所述分词结果转化为词向量，得到所述语料的文本向量；其中，所述词向量模型采用word2vec模型。

优选的，所述的步骤b中，所述聚类处理是指对所述语料C_i执行DBSCAN聚类算法，得到k_i组待标注类语料和1组长尾类语料；其中，i表示第i轮聚类处理，且k_i0。

优选的，所述的步骤c中，所述待标注类语料之间的标签可重复。

优选的，所述的步骤c中，当所述长尾类语料的数量或比例小于预设阈值时，自动停止所述聚类处理；或者，采用人工手动停止所述聚类处理。