[发明专利]一种引入负例相似度信息的短文本分类方法和系统

说明书

本发明提供一种引入负例相似度信息的短文本分类方法，包括：将训练数据中的各条短文本数据进行预处理和分词后，输入Word2vec模型得到训练好分词词向量，再将每条短文本的分词词向量相加求平均，得到各个短文本的向量表征；输入批次训练数据，随机取出n个负例文本，分别计算当前短文本向量表征x_i与各负例文本向量表征x_j的平均余弦相似度；计算整个批次的平均负例相似度；计算该批次的相似度损失；根据该批次的相似度损失，更新损失函数，得到新的损失函数，并更新分类模型的权重；循环迭代所有批次训练数据并更新损失函数的步骤，得到训练好的分类模型；本发明方法，让模型学习到相似正样本和负例的差异性，提升模型对相似短句这类难样本的分类准确率。

技术领域

本发明涉及人工智能、自然语言处理、文本分类领域，特别是指一种引入负例相似度信息的短文本分类方法和系统。

背景技术

文本分类作为自然语言处理中一个基础任务，已经有不少表现较好的模型和词嵌入方式，比如BERT，Word2vec，GloVe等，但仍有许多疑难问题还没有较为普适有效的方法，近似标签的分类便是其中是一个难点。当两个句子的表达相似，而其所属的类别(即标签)不一致时，模型便很难从这两句话中学习到这两个标签各自独有的特征，这两个句子也可能变成数据中的噪声，从而影响模型训练效果。

发明内容

本发明的主要目的在于克服现有技术中的上述缺陷，提出一种引入负例相似度信息的短文本分类方法，将负例句子的相似度信息引入模型训练损失计算过程的短文本分类方法，让模型学习到相似正样本和负例的差异性，提升模型对相似短句这类难样本的分类准确率。

本发明采用如下技术方案：

一种引入负例相似度信息的短文本分类方法，包括：

将训练数据中的各条短文本数据进行预处理和分词后，输入Word2vec模型得到训练好分词词向量，再将每条短文本的分词词向量相加求平均，得到各个短文本的向量表征；

输入批次训练数据，同一批次中包含的k条短文本，随机取出n个负例文本，分别计算当前短文本向量表征x_i与各负例文本向量表征x_j的余弦相似度，并将这n个余弦相似度相加后求平均得到S_i，i＝1,2,3...k，j＝1,2,3...n，k,n为整数；

将同批次k条短文本的S_i相加求平均得到整个批次的平均负例相似度S_batch；

根据整个批次的平均负例相似度S_batch，计算该批次的相似度损失L_S；

根据该批次的相似度损失L_S，更新损失函数，得到新的损失函数L_new，并更新分类模型的权重；

循环迭代所有批次训练数据并更新损失函数的步骤，得到训练好的分类模型。

具体地，所述分别计算当前短文本向量表征x_i与各负例文本向量表征x_j的余弦相似度，并将这n个余弦相似度相加后求平均得到S_i，具体为：

其中，i＝1,2,3...k，j＝1,2,3...n，k,n为整数。

具体地，所述输入批次训练数据，同一批次中包含的k条短文本，随机取出n个负例文本，分别计算当前短文本向量表征x_i与各负例文本向量表征x_j的余弦相似度，并将这n个余弦相似度相加后求平均得到S_i，还包括：

当短文本向量表征x_i与负例文本向量表征x_j的余弦相似度为1时，重新随机选取n个负例进行计算。