[发明专利]基于神经网络的信息处理方法及装置、介质和电子设备

说明书

本发明公开了一种基于神经网络的信息处理方法、基于神经网络的信息处理装置、计算机可读介质和电子设备，涉及人工智能技术领域。该信息处理方法包括：获取与输入信息对应的目标信息序列，并基于目标信息序列确定出短语级表示序列；其中，短语级表示序列中包括多个短语元素；对短语级表示序列进行线性变换，得到与短语级表示序列对应的请求向量序列、键向量序列和值向量序列；计算请求向量序列与键向量序列之间的逻辑相似度，并对逻辑相似度进行非线性变换，得到与各短语元素对应的注意力权重分布；基于注意力权重分布和值向量序列，确定输入信息对应的第一网络表示序列。本发明可以提高自关注神经网络的性能。

技术领域

本公开涉及人工智能技术领域，具体而言，涉及一种基于神经网络的信息处理方法、基于神经网络的信息处理装置、计算机可读介质和电子设备。

背景技术

注意力机制(Attention Mechanism)己经成为大多数深度学习模型中的一个基本模块，它可以动态地按照需求选择网络中的相关表示，尤其在机器翻译、图像注释等生成任务中，注意力机制作用显著。

SAN(Self-Attention Network，自关注神经网络)是一种基于自关注机制的神经网络模型，属于注意力机制模型中的一种。SAN模型能够为输入序列中的每个元素计算一个注意力权重，从而可以捕获长距离依赖关系，各个元素对应的网络表示不会受到各元素间距离的影响。

然而，SAN模型的处理过程仅停留在词级别的处理，使得在对一些信息进行处理时，效果不佳。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种基于神经网络的信息处理方法、基于神经网络的信息处理装置、计算机可读介质和电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的自关注神经网络的信息处理效果不理想的问题。

根据本公开的第一方面，提供一种基于神经网络的信息处理方法，包括：获取与输入信息对应的目标信息序列，并基于所述目标信息序列确定出短语级表示序列；其中，所述短语级表示序列中包括多个短语元素；对所述短语级表示序列进行线性变换，得到与所述短语级表示序列对应的请求向量序列、键向量序列和值向量序列；计算所述请求向量序列与所述键向量序列之间的逻辑相似度，并对所述逻辑相似度进行非线性变换，得到与各所述短语元素对应的注意力权重分布；基于所述注意力权重分布和所述值向量序列，确定所述输入信息对应的第一网络表示序列。

根据本公开的第二方面，提供一种基于神经网络的信息处理装置，包括短语级序列确定模块、线性变换模块、注意力权重确定模块和网络表示序列确定模块。

具体的，短语级序列确定模块用于获取与输入信息对应的目标信息序列，并基于所述目标信息序列确定出短语级表示序列；其中，所述短语级表示序列中包括多个短语元素；线性变换模块用于对所述短语级表示序列进行线性变换，得到与所述短语级表示序列对应的请求向量序列、键向量序列和值向量序列；注意力权重确定模块用于计算所述请求向量序列与所述键向量序列之间的逻辑相似度，并对所述逻辑相似度进行非线性变换，得到与各所述短语元素对应的注意力权重分布；网络表示序列确定模块用于基于所述注意力权重分布和所述值向量序列，确定所述输入信息对应的第一网络表示序列。

可选地，短语级序列确定模块包括短语分割单元、特征融合单元和特征组合单元。

具体的，短语分割单元用于对所述目标信息序列进行短语分割，形成多个短语组；特征融合单元用于对每一短语组中的特征进行特征融合，生成与各所述短语组对应的特征向量；特征组合单元用于将各所述短语组对应的特征向量进行组合，以生成所述短语级表示序列。

可选地，短语分割单元包括第一分割子单元。