[发明专利]一种未登录词进行向量化的方法和装置

说明书

本发明公开了一种未登录词进行向量化的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：将待向量化的未登录词进行拆分，得到未登录词的待向量化字符；根据每个待向量化字符在未登录词中的位置，确定每个待向量化字符相对于未登录词的位置标记；根据所述位置标记，确定每个待向量化字符所在参与成词的词向量；根据确定的参与成词的词向量，确定未登录词的词向量。该方法考虑构成未登录词中每个字符的位置信息，根据该待向量化字符所在参与成词的词向量，得到了未登录词更合理的向量化表示。

技术领域

本发明涉及计算机技术领域，尤其涉及一种未登录词进行向量化的方法和装置。

背景技术

对文本进行向量化是当前自然语言领域文本预处理最常用、也是最有效的一种方法。具体的，通过将文本表示成低维、稠密的实数向量，以及利用机器学习、深度学习相关算法模型对向量化后的文本进行高级特征抽取，可实现各种文本挖掘任务，如：情感分类、话题聚类、文本相似度判定。

现有技术在实现过程中，存在的问题包括：将简单的字符向量累加得到词向量，或者将包括该未登录词的字符的所有成词都查找出，根据查找出的成词的向量表示确定未登录词的词向量，所以无法得到准确合理的未登录词的词向量，导致无法真实、合理地刻画该词的语义信息。

发明内容

有鉴于此，本发明实施例提供一种未登录词进行向量化的方法和装置，能够考虑构成未登录词中每个字符的位置信息，根据该待向量化字符所在参与成词的词向量，得到了未登录词更合理的向量化表示。

为实现上述目的，根据本发明实施例的一个方面，提供了一种未登录词进行向量化的方法。

本发明实施例的未登录词进行向量化的方法包括：将待向量化的未登录词进行拆分，得到所述未登录词的待向量化字符；根据每个待向量化字符在所述未登录词中的位置，确定每个待向量化字符相对于所述未登录词的位置标记；根据所诉位置标记，确定每个待向量化字符所在参与成词的词向量；根据确定的参与成词的词向量，确定所述未登录词的词向量。

可选地，所述根据确定的参与成词的词向量，确定所述未登录词的词向量包括：确定每个待向量化字符在其所在参与成词中的语义贡献度，以及根据所述语义贡献度确定该待向量化字符的加权向量表示；根据每个待向量化字符的加权向量表示，确定所述未登录词的词向量。

可选地，确定每个待向量化字符在其所在参与成词中的语义贡献度包括：确定每个待向量化字符的初始向量表示；对于每个待向量化字符，计算其初始向量表示与其所在参与成词的词向量的余弦相似度值；所述余弦相似度值为该待向量化字符在其所在参与成词中的语义贡献度。

可选地，根据每个待向量化字符在所述未登录词中的位置，确定每个待向量化字符相对于所述未登录词的位置标记包括：确定预设的位置标记分类；所述位置标记分类中包括左字符、中字符和右字符；根据所述位置标记分类以及每个待向量化字符在所述未登录词中的位置，确定每个待向量化字符相对于所述未登录词的位置标记。

可选地，根据所述位置标记，确定每个待向量化字符所在参与成词的词向量包括：

获取词库，所述词库中包括至少一个成词和成词的词向量，所述词向量通过Word2vec训练得到；对于每个待向量化字符，根据其相对于所述未登录词的位置标记，在所述词库中查找出该待向量化字符所在参与成词，以及所述参与成词的词向量；

在根据确定的参与成词的词向量，确定所述未登录词的词向量之后，还包括：将所述未登录词和其词向量添加至所述词库。

可选地，所述待向量化字符相对于其所在参与成词的位置标记，与所述待向量化字符相对于所述未登录词的位置标记相同。

为实现上述目的，根据本发明实施例的另一个方面，提供了一种未登录词进行向量化的装置。

本发明实施例的未登录词进行向量化的装置包括：