[发明专利]文本数据标注方法、装置、电子设备及可读存储介质

说明书

本发明提供一种文本数据标注方法、装置、电子设备及可读存储介质，其中方法包括：对待标注文本数据进行分词及词嵌入处理，获取待标注数据词嵌入向量，并对种子数据进行分词及词嵌入处理，获取种子数据词嵌入向量，所述种子数据为已经进行准确标注的数据；基于所述待标注数据词嵌入向量和所述种子数据词嵌入向量，计算所述待标注文本数据与所述种子数据之间的第一相似度；若所述第一相似度大于预设阈值，则根据所述种子数据的标签，预标注所述待标注文本数据。本发明在具有少量有标签的种子数据的情况下，通过采用弱监督结合词嵌入运算的方式，进行待标注文本数据的预标注，能够有效降低人工成本，并能有效提高标注效率和准确性，且可控性更强。

技术领域

本发明涉及数据挖掘技术领域，尤其涉及一种文本数据标注方法、装置、电子设备及可读存储介质。

背景技术

随着互联网技术的快速发展，人工智能作为互联网技术的重要组成部分，使人类生活变得智能化和便捷化。人工智能的发展离不开大量线上数据的积累，而高质量且快速的数据标注又决定了更高程度的智能化水平。

目前，标注数据的产生主要依赖于人工标注或无监督的聚类算法。其中，人工标注主要包括对标注人员进行标注需求的简单培训、对待标注文本数据的理解以及进行人工标注的过程。无监督聚类过程主要包括：将待标注数据聚类成N类，N为人工设定的超参数；人工确认聚类结果中每个簇内的样本；根据簇内多数样本所属的标签，确定该簇内样本的标签。

但是，上述标注方法均需要人工参与，会消耗大量的人工成本且效率较低。

发明内容

本发明提供一种文本数据标注方法、装置、电子设备及可读存储介质，用以解决现有技术消耗人工成本较高且效率不高等问题的缺陷，实现有效降低人工成本并提高效率的目标。

本发明提供一种文本数据标注方法，包括：

对待标注文本数据进行分词及词嵌入处理，获取待标注数据词嵌入向量，并对种子数据进行分词及词嵌入处理，获取种子数据词嵌入向量，所述种子数据为已经进行预设标注的数据；

基于所述待标注数据词嵌入向量和所述种子数据词嵌入向量，计算所述待标注文本数据与所述种子数据之间的第一相似度；

若所述第一相似度大于预设阈值，则根据所述种子数据的标签，标注所述待标注文本数据。

根据本发明提供的一种文本数据标注方法，所述对待标注文本数据进行分词及词嵌入处理，包括：

基于目标垂类词典，对所述待标注文本数据进行分词并过滤，获取有效分词；

基于所述有效分词，利用目标词嵌入生成模型，生成所述待标注数据词嵌入向量。

根据本发明提供的一种文本数据标注方法，在所述基于目标垂类词典，对所述待标注文本数据进行分词并过滤之前，还包括构建所述目标垂类词典的步骤，包括：

获取设定数量的垂类文本数据，并对所述垂类文本数据进行分词处理，获取文本分词和所述文本分词对应的词频；

基于所述词频和所述词频对应的文本分词，以及预设停用词和识别出的人名、数字及非中文词中的至少一个，构建停用词表；

基于所述停用词表，过滤所述文本分词，获取所述目标垂类词典。

根据本发明提供的一种文本数据标注方法，在所述根据所述种子数据的标签，标注所述待标注文本数据之后，还包括：

根据所述标注的结果，将标注后的文本数据归类到所述种子数据不同的标签下；

标注出各所述标签下的同类数据和异类数据，并基于标注的所述同类数据和所述异类数据，构建种子数据集。

根据本发明提供的一种文本数据标注方法，所述基于标注的所述同类数据和所述异类数据，构建种子数据集，包括：