[发明专利]文本词向量模型的训练方法、电子设备及计算机存储介质

说明书

本申请涉及计算机处理技术领域，公开了一种文本词向量模型的训练方法、电子设备及计算机可读存储介质，其中，文本词向量模型的训练方法包括：根据各个训练语句中包括的语句标签，确定各个训练语句分别对应的子模型，语句标签用于指示训练语句对应的子模型；接着通过各个训练语句对相应的语义词向量子模型和文本分类子模型分别进行训练，来更新文本词向量模型的第一词向量矩阵，以使得通过更新第一词向矩阵来训练文本词向量模型。本申请实施例的方法，通过语义词向量子模型与文本分类子模型的结合，实现了词向量训练方法与文本分类方法之间的紧密衔接与融合，增强了词向量的表征能力。

技术领域

本申请涉及计算机处理技术领域，具体而言，本申请涉及一种文本词向量模型的训练方法、电子设备及计算机存储介质。

背景技术

近年来，词向量在自然语言处理领域中有着越来越广泛的应用，例如，词性标注、情感分类、文本分类、关键词提取和语义相似度等等。词向量是指将一个字或者词转化为一个一维向量的表示，普通的词向量训练方法有word2vec(词向量)、FastText(快速文本)等。

文本分类是对文本按照不同的类别(例如体育、娱乐等)进行分类，现有文本分类的常用方法，比如Bi-LSTM(双向长短期记忆循环神经网络)、Text-CNN(文本卷积神经网络)等深度学习算法，一般适合用于小数据量的有标注数据，而且在一定程度上依赖于词向量的预训练，但是现有的词向量训练方法，例如word2vec、FastText等，虽然适合大规模语料数据，但是并不能直接用于文本分类，因为其对于电影、电视剧、导演、演员等语境相近的词的区分性较低，即这些词经过词向量训练后较为接近，导致使用普通的词向量训练方法训练词向量之后，再用深度学习的方法进行文本分类学习时，两者之前存在衔接不紧密的问题。

发明内容

本申请的目的旨在至少能解决上述的技术缺陷之一，特提出以下技术方案：

第一方面，提供了一种文本词向量模型的训练方法，文本词向量模型包括语义词向量子模型与文本分类子模型，该方法包括：

根据各个训练语句中包括的语句标签，确定各个训练语句分别对应的子模型，语句标签用于指示训练语句对应的子模型；

通过各个训练语句对相应的语义词向量子模型和文本分类子模型分别进行训练，来更新文本词向量模型的第一词向量矩阵，以使得通过更新第一词向量矩阵来训练所述文本词向量模型。

在一种实现方式中，通过各个训练语句对相应的语义词向量子模型和文本分类子模型分别进行训练，包括：

通过包括与语义词向量子模型对应的语句标签以及分词后的第一语句文本的任一训练语句，对语义词向量子模型进行训练；以及，

通过包括与文本分类子模型对应的语句标签、文本分类子模型的子模型类型标签、训练语句的文本类别以及分词后的第二语句文本的任一训练语句，对文本分类子模型进行训练。

在另一种实现方式中，通过各个训练语句对相应的语义词向量子模型进行训练，来更新文本词向量模型的第一词向量矩阵，包括：

根据各个训练语句中分词后的第一语句文本，分别生成相应的训练样本；

基于训练样本，确定语义词向量子模型的第一梯度向量；

根据第一梯度向量更新第一词向量矩阵与第二词向量矩阵，语义词向量子模型包括第一词向量矩阵与第二词向量矩阵。

在另一种实现方式中，根据各个训练语句中分词后的第一语句文本，分别生成相应的训练样本，包括：

对任一训练语句中分词后的第一语句文本中的任一分词，通过遍历任一分词在分词后的第一语句文本中前后预设个数的分词，生成任一分词对应的正样本；

对任一训练语句中分词后的第一语句文本中的任一分词，通过负采样的方式生成任一分词对应的负样本；