[发明专利]一种计算句子语义向量的方法

说明书

本发明提供了一种计算句子语义向量的方法，包括以下步骤：A、将语料库中的各句子样本进行分词得到词集合，采用词向量生成工具训练得到每个词的词向量，构成词向量集合；B、通过所述词向量集合对待计算句子进行词向量均值计算，得到待计算句子的句子向量；C、在所述词集合中找出与待计算句子的各构成词相似度最高的若干个词，分别组成候选集；D、计算候选集中每个词与所述句子向量的距离，以该距离为权重，乘以候选集的词向量，得到待计算句子的语义向量。本方法通过结合句子中每个构成词的临近词的词向量，进行句子语义向量的计算，充分使用了所有词的语义信息，使表达更为合理。

技术领域

本发明涉及文本信息处理技术领域，具体涉及一种计算句子语义向量的方法。

背景技术

互联网逐渐成为记录人们生活和工作的信息载体，给人们的生活和工作带来了获取信息的便利，同时在被使用的过程中产生了大量的文本数据，从复杂的文本数据中及时有效的提取出重要信息，需要依赖人工智能对自然语言(Natural Language)的有效处理，而在自然语言处理(Natural Language Processing，NLP)领域中，句子语义的计算是一种基础语义表达，合理的句子语义表达方式能够对下游应用效果提供有利支持。传统的句子语义生成通常是对词向量的再计算，最常用的方式是对句子中的词向量求均值，或者将神经网络训练中生成中间结果作为句子向量，然而由于句子的构成词有时会出现用词不准确或者表达方式有误的情况，此时，现有的句子语义表达方式也会出现不准确的结果，无法为下游应用提供有利的支持。

发明内容

有鉴于此，本发明的主要目的在于提供一种计算句子语义向量的方法，本方法通过结合句子中每个构成词的临近词的词向量，进行句子语义向量的计算，充分使用了所有词的语义信息，具有实现方式简单，表达更为合理等优点，可解决因句子构成词或表达方式有误而造成的句子语义表达有误的情况，为下游的应用效果提供有利支持。

本发明采用的技术方案为，一种计算句子语义向量的方法，包括以下步骤：

A、将语料库中的各句子样本进行分词得到词集合，采用词向量生成工具训练得到每个词的词向量，构成词向量集合；

B、通过所述词向量集合对待计算句子进行词向量均值计算，得到待计算句子的句子向量；

C、在所述词集合中找出与待计算句子的各构成词相似度最高的若干个词，分别组成候选集；

D、计算候选集中每个词与所述句子向量的距离，以该距离为权重，乘以候选集的词向量，得到待计算句子的语义向量。

由上，通过将现有语料库中的各句子样本进行分词，得到词集合，并利用词向量生成工具得到每个词的词向量，将词向量代入句子样本中，进行向量均值，从而可得到句子向量。然而由于句子的词构成有时候会存在错误或者表达方式不固定，因此，可选取与句子的每个构成词最邻近的若干个词组成候选集，并以候选集中的这些词与该句子向量的距离为权重，与候选集的词向量相乘，将相邻词的向量引入到句子中，以得到一种句子语义更为合理的表达方式，失误率较低，可解决因句子构成词或表达方式有误而造成的句子语义表达有误的情况，为下游的应用效果提供有利支持。

其中，所述步骤B包括：

从所述词向量集合中提取待计算句子的各构成词的词向量；

将提取的词向量进行均值计算，得到待计算句子的句子向量。

由上，通过对组成句子的各个构成词的词向量的获取，并进行均值计算，从而得到待计算句子的句子向量，此句子向量仅为基础向量，不是所计算的最终句子向量。

其中，所述步骤C包括：

通过邻近算法计算词集合中与待计算句子的各构成词的相似度；

选取相似度最高的若干个词组成候选集，且候选集的个数与待计算句子的构成词个数相同；