[发明专利]一种基于注意力机制的神经网络模型

说明书

一种基于注意力机制的神经网络模型，包括位置编码与数据编码、多头自注意力机制(Muti‑Head‑Self Attention)、残差连接与层归一化(AddNorm)、前馈神经网络(feed forward)、卷积神经网络(CNN)这五个模块，残差连接与层归一化模块使用了两次，其他模块各使用一次，利用深度学习技术融合语言与图像数据信息，将跨媒体数据用在舆情分析上，并且两种类型的数据能够共享模型参数，节约了成本资源，含义理解透彻，能够有效的进行舆情分析。

技术领域

本发明涉及自然语言处理与计算机视觉领域，涉及语言处理、图像处理、深度学习技术，具体涉及一种基于注意力机制的神经网络模型。

背景技术

当前移动端用户参与网络社交互动需要在更短的时间内产生或接收到更多信息，用户无法容忍阅读大篇幅文字或观看冗长的视频而产生的焦虑感。因此，各种媒体平台上的跨媒体舆情数据呈现出体量小、内容杂、规模大、产生速度快等重要特点，如短视频的时长通常小于五分钟，微博的长度多集中在100字以内，但是舆情分析的研究工作一般是单一的文本数据或者图像数据。

本方案拟研究一种基于文本语义的跨媒体舆情分析方法。该方法拟设计一种基于注意力机制的神经网络模型，该模型可同时处理两种社交媒体数据，即纯文本数据和图像数据结合的跨媒体数据，将舆情分析的研究工作从单一的文本数据拓展到更符合现实场景的跨媒体数据上。

发明内容

本发明的目的是提供一种基于注意力机制的神经网络模型，该模型可同时处理纯文本数据和图像数据结合的跨媒体数据，并且能够利用注意力机制进行跨媒体数据的舆情分析。

一种基于注意力机制的神经网络模型，包括位置编码与数据编码、多头自注意力机制、残差连接与层归一化、前馈神经网络(feed forward)、卷积神经网络这五个模块。其中：残差连接与层归一化模块使用了两次，其他模块各使用一次；位置编码与数据编码采用Embedding网络和ResNet50网络来实现，所述一种基于注意力机制的神经网络模型设置位置编码用来获取位置信息，并且可以同时输入整个数据。这种数据的编码不仅包含位置信息，也包含数据自身信息，是在三个通道上相应的去计算位置编码。位置编码的公式如下，其中pos代表位置，d代表数据编码的维度。

PE_(pos,2i)＝sin(pos/10000^2i/d)

PE_(pos,2i+1)＝cos(pos/10000^2i/d)

对于文本数据编码选择Embedding网络随机初始化的方式。对于图像数据编码，利用ResNet50网络进行特征提取。图像和文本的数据经过位置编码与数据编码后得到矩阵X，再由多头自注意力机制(Muti-Head-Self Attention)处理，多头自注意力机制是由h个自注意力机制(Self-Attention)层并行组成。将文本与图像对作为输入，经过位置编码与数据编码之后得到的矩阵X经过第一个线性变换得到Query(Q)矩阵，X经过第二个线性变换得到Key(K)矩阵，X经过第三个线性变换得到Value(V)矩阵，这三个线性变换的权重参数分别为Wq、Wk、Wv，他们相互独立，通过训练得到。得到的这三个Q、K、V矩阵经过以下公式进行计算，可得到Attention矩阵。其中d是K矩阵的第二个维度。

得到每个词的上下文语义的向量表示，这个向量也能够像我们人一样，更多地包含重要的信息，也就是将重要信息的权重增大，不重要的信息的权重减小。采用自注意力机制将能够让模型更大程度的去理解文本，学习到文本中每个词语之间的语义关系，并且能够给数据合理的分配权重。