[发明专利]一种引入负例相似度信息的短文本分类方法和系统

摘要

本发明提供一种引入负例相似度信息的短文本分类方法，包括：将训练数据中的各条短文本数据进行预处理和分词后，输入Word2vec模型得到训练好分词词向量，再将每条短文本的分词词向量相加求平均，得到各个短文本的向量表征；输入批次训练数据，随机取出n个负例文本，分别计算当前短文本向量表征xi与各负例文本向量表征xj的平均余弦相似度；计算整个批次的平均负例相似度；计算该批次的相似度损失；根据该批次的相似度损失，更新损失函数，得到新的损失函数，并更新分类模型的权重；循环迭代所有批次训练数据并更新损失函数的步骤，得到训练好的分类模型；本发明方法，让模型学习到相似正样本和负例的差异性，提升模型对相似短句这类难样本的分类准确率。