[发明专利]一种短文本标签标注方法及装置

权利要求书

1.一种短文本标签标注方法，其特征在于，所述方法包括：

通过计算样本间的相似度将所述样本分为M个聚类；

在第i轮打标过程中，对第j个聚类进行打标时，从所述第j个聚类中选择所述相似度低于标注阈值的未标注样本作为待标注样本；其中，在所述第j个聚类中，已标注样本具有相同的标签，j≤M；

使用标签库中的标签对所述待标注样本进行打标，并根据所述待标注样本的打标结果更新所述第j个聚类中的所述已标注样本；其中，所述标签库是根据所述样本中的词语生成的；

当在所述第j个聚类中的已标注样本包含L个不同标签时，根据所述第j个聚类中所述未标注样本与所述L个标签之间的相似度，将所述第j个聚类按照所述L个标签进行聚类更新，其中L≥2；

根据所述第i轮打标结束后的聚类数量更新所述M值，并判断所述第i轮打标结束后的M值与第i-1轮打标结束后的M值是否相同；

如果是，输出所述已标注样本；

如果否，进入第i+1轮打标。

2.根据权利要求1所述的方法，其特征在于，在所述当在所述第j个聚类中的已标注样本包含L个不同标签时，根据所述第j个聚类中所述未标注样本与所述L个标签之间的相似度，将所述第j个聚类按照所述L个标签进行聚类更新之后，所述根据所述第i轮打标结束后的聚类数量更新所述M值，并判断所述第i轮打标结束后的M值与第i-1轮打标结束后的M值是否相同之前，进一步包括：

在所述第i轮打标结束后得到的聚类中，当存在Q个聚类中所述已标注样本的标签相同时，对所述Q个聚类进行聚合，其中，Q≥2。

3.根据权利要求1所述的方法，其特征在于，在所述在第i轮打标过程中，对第j个聚类进行打标时，从所述第j个聚类中选择所述相似度低于标注阈值的未标注样本作为待标注样本之前进一步包括：

根据第j个标签优先级，从所述第j个聚类中选择K个未标注样本；其中，在所述第j个聚类中，所述已标注样本的标签为所述第j个标签优先级对应的第j个标签，所述K值与所述第j个标签优先级正相关；

所述在第i轮打标过程中，对第j个聚类进行打标时，从所述第j个聚类中选择所述相似度低于标注阈值的未标注样本作为待标注样本包括：

在第i轮打标过程中，对第j个聚类进行打标时，根据所述第j个标签优先级，从所述第j个聚类中选择K个所述相似度低于标注阈值的未标注样本作为待标注样本。

4.根据权利要求3所述的方法，其特征在于，所述第j个标签优先级是通过如下公式计算的：

其中，所述P_j为第i轮打标时的第j个标签优先级；所述N_j为所述第j个聚类中的样本数量；所述N为所有聚类中的样本数量；所述n为所有聚类中已标注样本的数量；所述n_j为所述第j个聚类中已标注样本的数量；所述Min为第j个聚类中样本间相似度的最小值。

5.根据权利要求1所述的方法，其特征在于，所述标签库是通过如下方式生成的：

根据金融分词词典对所述样本进行分词，获得第一分词样本；

根据停用词词典，去除所述第一分词样本中的停用词，获得所述第二分词样本；

通过滑动窗口切分所述第二分词样本中的语句，并进行词语组合，获得潜在词库集；

根据词频、词长和词语出现的位置计算所述潜在词库集中所有词语的分数，并将所述分数达到标签分数阈值的词语组成所述标签库。

6.根据权利要求5所述的方法，其特征在于，所述词语的分数是通过如下方式计算的：

其中，所述Score_t为第t个词语的分数，所述a_t为所述第t个词语在所有样本中出现的次数，所述a_all为所有样本中的总词数；所述C_d为样本总数，所述为包含所述第t个词语的样本总数；所述len_t为所述第t个词语的长度，所述max_len为所有词语的最大词长；所述表示所有样本总词数的平均值，所述Mean_t为所述第t个词语在样本X中位置的平均值。