[发明专利]一种语料标注方法及装置

权利要求书

1.一种语料标注方法，其特征在于，包括以下步骤：

a .对待处理的语料进行向量化处理，得到所述语料的文本向量；

b .根据所述语料的文本向量，利用DBSCAN聚类算法对所述语料进行聚类处理，得到长尾类语料和待标注类语料；

所述的步骤b中，所述聚类处理是指对所述语料Ci执行DBSCAN聚类算法，得到ki组待标注类语料和1组长尾类语料；其中，i表示第i轮聚类处理，且ki0；

c .对于所述长尾类语料，返回步骤b；对于所述待标注类语料，则进行设置标签，得到标注语料；

对所述待标注类语料进行设置标签，是通过对所述待标注类语料进行命名实体识别，以确定出所述待标注类语料中包含的命名实体，再根据所述命名实体对所述待标注类语料进行分类以及根据所属类别进行设置标签；

所述的步骤c中，所述待标注类语料之间的标签能够重复；

d .将所有的标注语料进行合并，得到最终标注好的语料。

2.根据权利要求1所述的一种语料标注方法，其特征在于：所述的步骤a中进一步包括：

a1 .对待处理的语料进行分词处理，得到分词结果；

a2 .利用预训练好的词向量模型将所述分词结果转化为词向量，得到所述语料的文本向量；其中，所述词向量模型采用word2vec模型。

3.根据权利要求1所述的一种语料标注方法，其特征在于：所述的步骤c中，当所述长尾类语料的数量或比例小于预设阈值时，自动停止所述聚类处理；或者，采用人工手动停止所述聚类处理。

4.根据权利要求1至3任一项所述的一种语料标注方法，其特征在于：所述待标注语料包括行业专用语料和通用语料；所述长尾类语料是指除了所述专用语料和所述通用语料之外的其他语料。

5.执行权利要求1至4任一项一种语料标注方法的一种语料标注装置，其特征在于，包括：

文本向量化模块，用于对待处理的语料进行向量化处理，得到所述语料的文本向量；

聚类处理模块，其根据所述语料的文本向量，利用DBSCAN聚类算法对所述语料进行聚类处理，得到长尾类语料和待标注类语料；

其中，所述聚类处理是指对所述语料Ci执行DBSCAN聚类算法，得到ki组待标注类语料和1组长尾类语料；其中，i表示第i轮聚类处理，且ki0；

语料标注模块，对于所述长尾类语料，返回聚类处理模块；对于所述待标注类语料，则进行设置标签，得到标注语料；

其中，对所述待标注类语料进行设置标签，是通过对所述待标注类语料进行命名实体识别，以确定出所述待标注类语料中包含的命名实体，再根据所述命名实体对所述待标注类语料进行分类以及根据所属类别进行设置标签；

所述待标注类语料之间的标签能够重复；

语料合并模块，用于将所有的标注语料进行合并，得到最终标注好的语料。