[发明专利]基于单层网络结构学习上下文信息的方法及系统

说明书

本发明属于深度学习领域，提供了一种基于单层网络结构学习上下文信息的方法及系统。其中，该方法包括获取文本信息，并将每个句子分成目标单词、上文和下文这三部分，对目标单词、上文和下文分别进行向量表示；基于目标单词、上文和下文向量表示及第一门控结构，建立目标单词及其上下文之间的关系；基于第二门控结构从目标单词及其上下文之间的关系中提取语义特征，并通过加权形式来形成最终的文本表示；其中，第一门控结构和第二门控结构均包含单词‑上下文注意力机制。

技术领域

本发明属于深度学习领域，尤其涉及一种基于单层网络结构学习上下文信息的方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

在深度学习领域，深层模型可以获取更加充分的上下文信息，但是，在计算资源受限情况下，太深的模型将严重影响计算性能，甚至对模型的可行性产生影响，而浅层模型又难以很好覆盖全部上下文信息，最终导致无法充分学习上下文，影响文本分类的准确率。

发明内容

为了解决上述背景技术中存在的技术问题，本发明提供一种基于单层网络结构学习上下文信息的方法及系统，其具有在经济计算成本更低的情况下，获得高文本分类准确率的优点。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一个方面提供一种基于单层网络结构学习上下文信息的方法。

一种基于单层网络结构学习上下文信息的方法，其包括：

获取文本信息，并将每个句子分成目标单词、上文和下文这三部分，对目标单词、上文和下文分别进行向量表示；

基于目标单词、上文和下文向量表示及第一门控结构，建立目标单词及其上下文之间的关系；

基于第二门控结构从目标单词及其上下文之间的关系中提取语义特征，并通过加权形式来形成最终的文本表示；其中，第一门控结构和第二门控结构均包含单词-上下文注意力机制。

本发明的第二个方面提供一种基于单层网络结构学习上下文信息的系统。

一种基于单层网络结构学习上下文信息的系统，其包括：

向量表示模块，其用于获取文本信息，并将每个句子分成目标单词、上文和下文这三部分，对目标单词、上文和下文分别进行向量表示；

关系建立模块，其用于基于目标单词、上文和下文向量表示及第一门控结构，建立目标单词及其上下文之间的关系；

文本表示模块，其用于基于第二门控结构从目标单词及其上下文之间的关系中提取语义特征，并通过加权形式来形成最终的文本表示；其中，第一门控结构和第二门控结构均包含单词-上下文注意力机制。

本发明的第三个方面提供一种计算机可读存储介质。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于单层网络结构学习上下文信息的方法中的步骤。

本发明的第四个方面提供一种计算机设备。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于单层网络结构学习上下文信息的方法中的步骤。

与现有技术相比，本发明的有益效果是：

本发明的该方法是在目标单词与其上下文向量而不是其相邻单词之间建立语义关系，因此，模型的存储成本随着序列长度线性增长，而不是平方增长。相对的，该模型在时间复杂度方面显著降低，可以节省大量的计算成本。