[发明专利]文本数据标注方法、装置、电子设备及可读存储介质

权利要求书

1.一种文本数据标注方法，其特征在于，包括：

对待标注文本数据进行分词及词嵌入处理，获取待标注数据词嵌入向量，并对种子数据进行分词及词嵌入处理，获取种子数据词嵌入向量，所述种子数据为已经进行预设标注的数据；

基于所述待标注数据词嵌入向量和所述种子数据词嵌入向量，计算所述待标注文本数据与所述种子数据之间的第一相似度；

若所述第一相似度大于预设阈值，则根据所述种子数据的标签，标注所述待标注文本数据。

2.根据权利要求1所述的文本数据标注方法，其特征在于，所述对待标注文本数据进行分词及词嵌入处理，包括：

基于目标垂类词典，对所述待标注文本数据进行分词并过滤，获取有效分词；

基于所述有效分词，利用目标词嵌入生成模型，生成所述待标注数据词嵌入向量。

3.根据权利要求2所述的文本数据标注方法，其特征在于，在所述基于目标垂类词典，对所述待标注文本数据进行分词并过滤之前，还包括构建所述目标垂类词典的步骤，包括：

获取设定数量的垂类文本数据，并对所述垂类文本数据进行分词处理，获取文本分词和所述文本分词对应的词频；

基于所述词频和所述词频对应的文本分词，以及预设停用词和对所述垂类文本数据识别出的人名、数字及非中文词中的至少一个，构建停用词表；

基于所述停用词表，过滤所述文本分词，获取所述目标垂类词典。

4.根据权利要求1-3中任一项所述的文本数据标注方法，其特征在于，在所述根据所述种子数据的标签，标注所述待标注文本数据之后，还包括：

根据所述标注的结果，将标注后的文本数据归类到所述种子数据不同的标签下；

标注出各所述标签下的同类数据和异类数据，并基于标注的所述同类数据和所述异类数据，构建种子数据集。

5.根据权利要求4所述的文本数据标注方法，其特征在于，所述基于标注的所述同类数据和所述异类数据，构建种子数据集，包括：

针对每个所述种子数据，对标注到所述种子数据的标签下的多个同类数据，计算所述多个同类数据相互之间的第二相似度，并基于所述第二相似度，剔除冗余的同类数据，且保留所述异类数据构建所述种子数据集。

6.根据权利要求3所述的文本数据标注方法，其特征在于，所述对所述垂类文本数据进行分词处理，包括：

采用计算引擎spark，对所述垂类文本数据进行并行分词处理并进行停用词过滤，获取所述文本分词和所述词频。

7.根据权利要求1所述的文本数据标注方法，其特征在于，所述计算所述待标注文本数据与所述种子数据之间的第一相似度，包括：

基于所述待标注数据词嵌入向量，通过加权平均运算，获取所述待标注文本数据的第一句向量；

基于所述种子数据词嵌入向量，通过加权平均运算，获取所述种子数据的第二句向量；

通过计算所述第一句向量与所述第二句向量之间的相似度，确定所述待标注文本数据与所述种子数据之间的第一相似度。

8.一种文本数据标注装置，其特征在于，包括：

词嵌入模块，用于对待标注文本数据进行分词及词嵌入处理，获取待标注数据词嵌入向量，并对种子数据进行分词及词嵌入处理，获取种子数据词嵌入向量，所述种子数据为已经进行预设标注的数据；

计算模块，用于基于所述待标注数据词嵌入向量和所述种子数据词嵌入向量，计算所述待标注文本数据与所述种子数据之间的第一相似度；

预标注模块，用于若所述第一相似度大于预设阈值，则根据所述种子数据的标签，标注所述待标注文本数据。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序或指令，其特征在于，所述处理器执行所述程序或指令时，实现如权利要求1至7中任一项所述的文本数据标注方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有程序或指令，其特征在于，所述程序或指令被计算机执行时，实现如权利要求1至7中任一项所述的文本数据标注方法的步骤。