[发明专利]一种模型训练方法、装置、实现文本处理的方法及装置

说明书

一种模型训练方法、装置、实现文本处理的方法及装置，包括：将样本文本根据依存关系信息表示为样本依存关系编码；以样本文本包含的词语的特征向量为节点，将样本文本表示为样本矩阵；将样本矩阵及其邻接矩阵，通过初始化运行参数的图神经网络模型进行训练，获得样本依存关系编码中的依存词向量和从属词向量；以正样本和配置的负样本为图神经网络模型的输入，利用反向传播方法进行训练，确定图神经网络模型的运行参数矩阵；根据确定运行参数矩阵的图神经网络模型，对输入的待处理文本进行处理。本发明实施例在对文本进行处理的模型中加入依存关系信息，提升了文本内容的特征表示效率。

技术领域

本文涉及但不限于信息处理技术，尤指一种模型训练方法、装置、实现文本处理的方法及装置。

背景技术

自然语言处理中最重要的一步是将文本表示为一个特征向量，通过特征向量进行文本相似度、分类等任务；文本的特征向量由文本包含词语的语义转换获得，而自然语言是由语法组织成，通过特征向量进行文本分析会丢失一部分语法中的信息；一些文本分析模型会加入词语的位置信息来表达词语间关系，但仍然会丢失词语间的相互关系。如何更为有效的对文本内容进行表示，成为一个有待解决的问题。

发明内容

以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

本发明实施例提供一种模型训练方法、装置、实现文本处理的方法及装置，能够提升文本内容的特征表示效率。

本发明实施例提供了一种模型训练方法，包括：

将样本文本根据依存关系信息表示为预设格式的样本依存关系编码；

以样本文本包含的词语的特征向量为节点，将样本文本表示为样本矩阵；

将样本矩阵及其邻接矩阵，通过初始化运行参数的图神经网络模型进行训练，获得样本依存关系编码中的依存词向量和从属词向量；

以正样本和按照预设策略配置的负样本为图神经网络模型的输入，利用反向传播方法进行训练，确定图神经网络模型的运行参数矩阵；

根据确定的运行参数矩阵，获得用于对待处理文本进行文本特征处理的模型；

其中，所述样本依存关系编码包括：由依存词向量、用于标识依存关系及类别的对角矩阵及从属词向量构建的编码；所述正样本包括：包含所述样本文本词语间的依存关系信息的样本；所述负样本包括：对所述正样本按预设策略进行编辑获得的样本。

在一种示例性实施例中，所述样本依存关系编码的表达式为：

其中，所述是基于支配词编码的所述支配词向量，所述e_d是基于从属词编码的所述从属词向量。

在一种示例性实施例中，所述确定图神经网络模型的运行参数包括：

基于预设的交叉熵损失函数，确定所述图神经网络模型的运行参数；

其中，所述交叉熵损失函数包括：基于初始化对角矩阵后确定的样本依存关系编码构建的函数。

在一种示例性实施例中，所述交叉熵损失函数包括：

其中，所述ω表示所述负样本的个数，所述|E|为所述样本文本中依存关系的个数；所述y为信号函数，所述图神经网络输入为所述正样本时取值为1，所述图神经网络输入为所述负样本时取值为0；l(·)为激活函数。

在一种示例性实施例中，所述图神经网络模型包含：输入层、一层或一层以上隐藏层和输出层；其中，

所述输入层接收的输入包括：H⁽⁰⁾＝X；