[发明专利]一种注意力模型、特征提取方法及相关装置

权利要求书

1.一种注意力模型，其特征在于，包括：一个或多个串行连接的自注意力网络，所述自注意力网络包括自注意力模块、多层感知机和第一神经网络层；

所述自注意力模块包括多个并行的特征提取层和融合层，所述融合层分别与所述多个并行的特征提取层连接；

所述多层感知机与所述自注意力模块串行连接，所述多层感知机包括多个串行的第一全连接层；

所述第一神经网络层与所述自注意力模块以及所述多层感知机中的一个或多个并行连接，其中所述第一神经网络层用于执行特征变换。

2.根据权利要求1所述的模型，其特征在于，所述自注意力网络还包括：第二神经网络层，所述第二神经网络层用于执行特征变换；

所述第一神经网络层与所述自注意力模块并行连接，且所述第二神经网络层与所述多层感知机并行连接，

或，

所述第二神经网络层与所述自注意力模块并行连接，且所述第一神经网络层与所述多层感知机并行连接。

3.根据权利要求1或2所述的模型，其特征在于，所述第一神经网络层包括权重矩阵和激活函数，所述权重矩阵用于与所述第一神经网络层的输入特征相乘，所述激活函数用于对所述输入特征与所述权重矩阵的相乘结果进行处理。

4.根据权利要求3所述的模型，其特征在于，所述权重矩阵包括多个子矩阵，每个子矩阵均为循环矩阵。

5.根据权利要求1至4任意一项所述的模型，其特征在于，所述自注意力模块为多头自注意力模块，所述多头自注意力模块包括多个并行的自注意力单元和第二全连接层，所述第二全连接层分别与所述多个并行的自注意力单元连接，所述多个并行的自注意力单元均包括多个并行的特征提取层和融合层。

6.根据权利要求1至5任意一项所述的模型，其特征在于，所述自注意力模块和/或所述多层感知机还并行有捷径，所述捷径的输入特征与输出特征相同。

7.一种特征提取方法，其特征在于，包括：

获取待处理数据；

将所述待处理数据输入一个或多个串行连接的自注意力网络，得到所述待处理数据的特征；

其中，所述自注意力网络包括自注意力模块、多层感知机和第一神经网络层，所述自注意力模块包括多个并行的特征提取层和融合层，所述融合层分别与所述多个并行的特征提取层连接，所述多层感知机与所述自注意力模块串行连接，所述多层感知机包括多个串行的第一全连接层，所述第一神经网络层与所述自注意力模块以及所述多层感知机中的一个或多个并行连接，所述第一神经网络层用于执行特征变换。

8.根据权利要求7所述的方法，其特征在于，所述自注意力网络还包括：第二神经网络层，所述第二神经网络层用于执行特征变换；

所述第一神经网络层与所述自注意力模块并行连接，且所述第二神经网络层与所述多层感知机并行连接，

或，

所述第二神经网络层与所述自注意力模块并行连接，且所述第一神经网络层与所述多层感知机并行连接。

9.根据权利要求7或8所述的方法，其特征在于，所述第一神经网络层包括权重矩阵和激活函数，所述权重矩阵用于与所述第一神经网络层的输入特征相乘，所述激活函数用于对所述输入特征与所述权重矩阵的相乘结果进行处理。

10.根据权利要求9所述的方法，其特征在于，所述权重矩阵包括多个子矩阵，每个子矩阵均为循环矩阵。

11.根据权利要求7至10任意一项所述的方法，其特征在于，所述自注意力模块为多头自注意力模块，所述多头自注意力模块包括多个并行的自注意力单元和第二全连接层，所述第二全连接层分别与所述多个并行的自注意力单元连接，所述多个并行的自注意力单元均包括多个并行的特征提取层和融合层。