[发明专利]基于神经网络的信息处理方法及装置、介质和电子设备

权利要求书

1.一种基于神经网络的信息处理方法，其特征在于，包括：

获取与输入信息对应的目标信息序列，并对所述目标信息序列进行短语分割，形成多个短语组；

对每一短语组中的特征进行特征融合，生成与各所述短语组对应的特征向量；

将各所述短语组对应的特征向量进行组合，以生成所述短语级表示序列；其中，所述短语级表示序列中包括多个短语元素；

对所述短语级表示序列进行线性变换，得到与所述短语级表示序列对应的请求向量序列、键向量序列和值向量序列；

计算所述请求向量序列与所述键向量序列之间的逻辑相似度，并对所述逻辑相似度进行非线性变换，得到与各所述短语元素对应的注意力权重分布；

基于所述注意力权重分布和所述值向量序列，确定所述输入信息对应的第一网络表示序列。

2.根据权利要求1所述的信息处理方法，其特征在于，对所述目标信息序列进行短语分割，形成多个短语组，包括：

按照预定短语长度对所述目标信息序列进行短语分割，形成多个短语组。

3.根据权利要求1所述的信息处理方法，其特征在于，对所述目标信息序列进行短语分割，形成多个短语组，包括：

按照所述输入信息的句法结构对所述目标信息序列进行短语分割，形成多个短语组。

4.根据权利要求1所述的信息处理方法，其特征在于，将各所述短语组对应的特征向量进行组合，以生成所述短语级表示序列，包括：

将各所述短语组对应的特征向量进行组合，生成中间表示序列；

对所述中间表示序列中的各所述短语组对应的特征向量进行依存关系强化，以生成所述短语级表示序列。

5.根据权利要求1至4中任一项所述的信息处理方法，其特征在于，对所述短语级表示序列进行线性变换，得到与所述短语级表示序列对应的请求向量序列、键向量序列和值向量序列，包括：

利用三个能够进行训练的参数矩阵，分别对所述短语级表示序列进行线性变换，得到与所述短语级表示序列对应的请求向量序列、键向量序列和值向量序列。

6.根据权利要求1至4中任一项所述的信息处理方法，其特征在于，所述信息处理方法还包括：

确定所述输入信息对应的词级表示序列；其中，所述词级表示序列中包括多个词元素；

生成与所述词级表示序列对应的请求向量序列、键向量序列和值向量序列，并确定与各所述词元素对应的注意力权重分布；

基于与各所述词元素对应的注意力权重分布以及与所述词级表示序列对应的值向量序列，确定所述输入信息对应的第二网络表示序列；

利用所述第一网络表示序列和所述第二网络表示序列，确定与所述输入信息对应的最终的网络表示序列。

7.一种基于神经网络的信息处理装置，其特征在于，包括：

短语级序列确定模块，用于获取与输入信息对应的目标信息序列，并对所述目标信息序列进行短语分割，形成多个短语组；对每一短语组中的特征进行特征融合，生成与各所述短语组对应的特征向量；将各所述短语组对应的特征向量进行组合，以生成所述短语级表示序列；其中，所述短语级表示序列中包括多个短语元素；

线性变换模块，用于对所述短语级表示序列进行线性变换，得到与所述短语级表示序列对应的请求向量序列、键向量序列和值向量序列；

注意力权重确定模块，用于计算所述请求向量序列与所述键向量序列之间的逻辑相似度，并对所述逻辑相似度进行非线性变换，得到与各所述短语元素对应的注意力权重分布；

网络表示序列确定模块，用于基于所述注意力权重分布和所述值向量序列，确定所述输入信息对应的第一网络表示序列。

8.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至6中任一项所述的基于神经网络的信息处理方法。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至6中任一项所述的基于神经网络的信息处理方法。