[发明专利]一种基于语句关系的词向量训练方法

说明书

本发明涉及一种基于语句关系的词向量训练方法，在预训练第一阶段的预训练中，加入中文句子的句子间关系对模型进行训练，以及将自注意力算法中矩阵K、Q、V矩阵的计算使用神经网络的非线性的计算方式。本方法能结合中文的语言特点更好地表达单词的多义性。并且本发明将自注意力算法中矩阵K、Q、V矩阵的计算使用神经网络的非线性方法，能够更充分地表达向量间的映射关系。

技术领域

本发明涉及深度学习以及自然语言领域，更具体地，涉及一种基于语句关系的词向量训练方法。

背景技术

在自然语言处理技术中，特别是基于应用深度学习的自然语言处理任务，在将词转化为token之后(转化token即对单词表中的每一个词进行标号，每一个单词对应一个数字标号)，都需要再将词向量化表示。词向量是一个多维度的向量。词向量的目标是为了更好地表达单词之间的关系，更好地表达单词之间的多义性。(多义性指单词在不同文章中会有不同的意义。)

初始的词向量通过有NNLM神经网络语言模型、word2vec、glove这三种方法训练得到，但三种方法得到词向量无法体现单词的多义性。为了解决这个问题，后来发展出了两阶段的词向量训练方式，第一阶段称为预训练阶段(pre-training)，第二阶段称为fine-tuning。第一阶段是利用无监督数据，训练出各个单词基础的词向量表达。第二个阶段则是在做自然语言处理下游阶段任务时，根据单词所在的文章句子进行调整。这样同一个单词在不同的文章句子中不同的意义表达也会出现不同的词向量表达，更好地表达单词的多义性。

但是，改进后的方法依旧存在缺陷，没有结合中文句子的特性针对性进行训练以得到中文词的多义性。且方法中运用了transformer算法，在transformer算法自注意力算法(self-attention)中，关于矩阵K、Q、V矩阵的计算使用了矩阵线性计算方式，若矩阵之间的映射关系是非线性的，这样的预设定无法让算法通过更新参数学习到矩阵映射关系。

发明内容

本发明为克服上述现有技术中词向量无法表达中文单词的多义性和无法充分表达词向量间映射关系的问题，提供一种基于语句关系的词向量训练方法，结合了中文句子的句子间关系以及将自注意力算法中矩阵K、Q、V矩阵的计算使用神经网络的非线性方法，从而达到更好地表达中文单词的多义性以及更好地表达词向量的矩阵映射关系。

为解决上述技术问题，本发明采用的技术方案是：提供一种基于语句关系的词向量训练方法，本训练方法用于两阶段词向量方法中的第一阶段，包括以下步骤：

步骤一：将训练数据集中的所有单词挑出并编号，并建立单词表；

步骤二：将若干组句子组作为训练样本，句子组包括两个句子和两个句子的关系，将句子中的单词进行编号，将两个句子的关系转换为数字标签；

两个句子的关系可以为并列连接关系(和、跟、与、既、及、况且、何况等)、承接关系(于是、然后、此外、一般、比方等)、转折关系(虽然、但是、然而等)、因果关系(因为、因此、所以等)、选择关系(或、或者、还是等)、假设关系(如果、假如等)、比较关系(好比、如同等)、让步关系(虽然、尽管、纵然)、递进关系(不但、不仅而且等)、条件关系(不管、只要等)、目的关系(以便、以免等)。句子关系的数字标签、是算法训练的目的标签，也就是算法需训练得到准确预测句子关系的标签、，从而训练过程中更新算法所有参数，完成算法的预训练阶段。

步骤三：将句子单词进行编号后，输入对应的词嵌入向量，对每个单词都设置维度向量表达；

步骤四：将embedding得到的维度向量输入自注意力算法中是非线性映射的transformer算法；

步骤五：最后一层的第一个transformer算法输出向量经过全连接层输出句子关系类型标签；