[发明专利]一种模型训练方法、装置、实现文本处理的方法及装置

权利要求书

1.一种模型训练方法，包括：

将样本文本根据依存关系信息表示为预设格式的样本依存关系编码；

以样本文本包含的词语的特征向量为节点，将样本文本表示为样本矩阵；

将样本矩阵及其邻接矩阵，通过初始化运行参数的图神经网络模型进行训练，获得样本依存关系编码中的依存词向量和从属词向量；

以正样本和按照预设策略配置的负样本为图神经网络模型的输入，利用反向传播方法进行训练，确定图神经网络模型的运行参数矩阵，包括：基于预设的交叉熵损失函数，确定所述图神经网络模型的运行参数；其中，所述交叉熵损失函数包括：基于初始化对角矩阵后确定的样本依存关系编码构建的函数；

所述图神经网络模型包含：输入层、一层或一层以上隐藏层和输出层；其中，

所述输入层接收的输入包括：；

所述隐藏层的处理函数包括：；

所述输出层的输出包括：；

其中，所述为所述样本矩阵；所述为所述样本矩阵的邻接矩阵；所述为在上一层隐藏层的处理结果，所述为0时，所述为第一矩阵；所述为激活函数；所述为所述运行参数矩阵；所述为输出矩阵；

根据确定的运行参数矩阵，获得用于对待处理文本进行文本特征处理的模型；

其中，所述样本依存关系编码包括：由依存词向量、用于标识依存关系及类别的对角矩阵及从属词向量构建的编码；所述正样本包括：包含所述样本文本词语间的依存关系信息的样本；所述负样本包括：对所述正样本按预设策略进行编辑获得的样本。

2.根据权利要求1所述的模型训练方法，其特征在于，所述样本依存关系编码的表达式为：

；

其中，所述是基于支配词编码的所述依存词向量，所述 是用于标识依存关系及类别的对角矩阵，所述是基于从属词编码的所述从属词向量。

3.根据权利要求1所述的模型训练方法，其特征在于，所述交叉熵损失函数包括：

；

其中，所述所述|E|为所述样本文本中依存关系的个数；所述为信号函数，所述图神经网络输入为所述正样本时取值为1，所述图神经网络输入为所述负样本时取值为0；为激活函数。

4.一种实现文本处理的方法，包括：

将样本文本根据依存关系信息表示为预设格式的样本依存关系编码；

以样本文本包含的词语的特征向量为节点，将样本文本表示为样本矩阵；

将样本矩阵及其邻接矩阵，通过初始化运行参数的图神经网络模型进行训练，获得样本依存关系编码中的依存词向量和从属词向量；

以正样本和按照预设策略配置的负样本为图神经网络模型的输入，利用反向传播方法进行训练，确定图神经网络模型的运行参数矩阵，包括：基于预设的交叉熵损失函数，确定所述图神经网络模型的运行参数；其中，所述交叉熵损失函数包括：基于初始化对角矩阵后确定的样本依存关系编码构建的函数；

所述图神经网络模型包含：输入层、一层或一层以上隐藏层和输出层；其中，

所述输入层接收的输入包括：；

所述隐藏层的处理函数包括：；

所述输出层的输出包括：；

其中，所述为所述样本矩阵；所述为所述样本矩阵的邻接矩阵；所述为在上一层隐藏层的处理结果，所述为0时，所述为第一矩阵；所述为激活函数；所述为所述运行参数矩阵；所述为输出矩阵；

根据确定运行参数矩阵的图神经网络模型，对输入的待处理文本进行处理；

其中，所述样本依存关系编码包括：由依存词向量、用于标识依存关系及类别的对角矩阵及从属词向量构建的编码；所述正样本包括：包含所述样本文本词语间的依存关系信息的样本；所述负样本包括：对所述正样本按预设策略进行编辑获得的样本。