[发明专利]一种基于语句关系的词向量训练方法

权利要求书

1.一种基于语句关系的词向量训练方法，其特征在于，包括如下步骤：

步骤一：将训练数据集中的所有单词挑出并编号，并建立单词表；训练数据集中的每个单词对应一个数字编号；

步骤二：将若干组句子组作为训练样本，句子组包括两个句子和两个句子的关系，将句子中的单词进行编号，将两个句子的关系转换为数字标签；句子中的单词的编号对应单词表中的单词编号；在两个句子之间插入一个代表句子间隔的符号；在两个句子的开头插入一个代表任务类型的分类符号；

步骤三：将句子单词进行编号后，输入对应的词嵌入向量，对每个单词都设置维度向量表达；

步骤四：将embedding得到的维度向量输入自注意力算法中非线性映射的transformer算法；self-attention中非线性计算矩阵K、Q、V矩阵的非线性方法是神经网络，神经网络的计算方式为：

其中，reLu(·)代表激活函数，n代表神经网络的层数；x代表单词的嵌入向量；W_K,W_Q,W_V,分别是算法提取K、Q、V矩阵的矩阵参数；b_K,b_Q,b_V代表算法提取K、Q、V矩阵的矩阵偏置；g_K(x)，g_Q(x)，g_V(x)代表算法提取K、Q、V矩阵的每一层神经网络的计算函数；代表算法提取K、Q、V矩阵的n层神经网络计算函数；

步骤五：最后一层的第一个transformer输出向量经过全连接层输出句子关系的数字标签；

步骤六：通过迭代训练得到算法框架的参数，预训练阶段得到模型参数，提取了相关的句子结构；在进行下一阶段的任务时，以预训练得到的参数为基础，再结合具体任务数据进行训练预测下游任务标签。

2.根据权利要求1所述的一种基于语句关系的词向量训练方法，其特征在于，在所述步骤二中，数字标签为通过数字标注两个句子间的关系。

3.根据权利要求1所述的一种基于语句关系的词向量训练方法，其特征在于，在所述步骤三中，单词的维度向量包括单词位置关系向量、句子关系向量和单词间关系向量。