[发明专利]一种基于神经网络自注意力机制的精确文本表示方法

说明书

本发明公开了一种基于神经网络自注意力机制的精确文本表示方法，包括以下步骤：根据不同类型任务，对数据集预处理；根据语义向量模型字级别表示向量初始化表征；使用Bi‑LSTM神经网络模型获取初级全局词表示；使用自注意力机制融合全局信息，得到上下文筛选向量；针对不同文本任务适配两种精确文本表示向量模型，对于摘要任务，得到词粒度的精确文本表示，基于Seq2Seq模型与注意力机制解码生成摘要文本；对于分类任务，得到句粒度的精确文本表示，得到预测结果。本发明模拟真实场景下人的思考路径，通读文本获取上下文信息，确定每个单词的重要程度，从语义层面筛选重要文本信息，提升文本表示向量的精确性，提高了文本摘要与文本分类任务的准确性。

技术领域

本发明涉及信息技术领域，具体涉及一种基于神经网络自注意力机制的精确文本表示方法。

背景技术

随着互联网的飞速发展，图像、语音以及文本信息规模爆炸性的增长，各种资讯类门户网站与媒体的大量涌现，产生了大量的信息，其中文本作为人们日常交流、沟通和记录信息的主要工具，占据了约80％的信息比重。随着文本规模的大幅上升，传统的信息检索需要一个有效的方法去除大量冗余信息，为了给用户更精准的信息，文本摘要与文本分类模型在信息挖掘中扮演重要角色，精确文本表示的价值正体现在这两个文本任务中，一方面文本摘要主要用于使用更少文本凝练更多的信息，另一方面文本分类主要用于提前对文本信息标签化，以便于信息精准分发到用户手中。如何让计算机理解并精确处理如此规模庞大的文本，成为目前学术以及工业领域亟待解决的问题，一个优秀的文本表示方法对文本处理任务至关重要。

目前，文本表示方法按照最小表示单位区分，可以分为字词表示、语句表示和段落表示三种。在字词表示领域，传统的文本表示方法一般基于统计表征词向量，如独热编码。近年来随着深度学习的发展，基于深度学习的语言模型开始如雨后春笋般涌现，借助于神经网络权重的学习可以将文本信息非线性的映射到统一的向量空间中，使用低维、稠密、连续的向量表示不同粒度的文本。由Bengio等人最早提出的分布式表示模型NNLM开始，不断演化出更优秀的语言模型，如Word2vec等。虽然基于深度学习的语言模型取得较好的成果，但是这些传统模型在具体任务中均未针对词语的编码信息进行有效动态筛选，而是直接将模型中学习的词向量应用到下游任务。但是在自然语言处理任务中，文本中的信息往往不是具有同等的有效信息，比如在情绪分类任务中，模型负责对用户的评论进行分类，数据集中对应的标签一般将“like”标注成“1”、“dislike”标注成“0”，假设有一用户的评论为“Ilikethismovie”，该句评论中的单词“like”，表示出用户的明显的喜欢情感，在获得最终的句向量时应该占据较高的信息量，如果将单词中的信息均匀的融合到句向量中，冗余的信息值难免会导致后续的模型处理困难。为了解决传统神经网络文本表示向量中信息冗余的问题，本发明提供一种基于神经网络自注意力机制的精确文本表示方法。

在自然语言处理中，注意力机制是一种用于动态融合上下文信息的神经网络模块，本发明模拟真实场景下人的思考路径：首先通读文本获取上下文信息，依据上下文信息对每个词语进行判断，确定每个单词的重要程度。受Transformer自注意力机制获取上下文以及上述思考路径的启发，为了解决文本表示向量中信息冗余的问题，本发明提出一种基于神经网络自注意力机制的精确文本表示方法，首先使用初级编码器获得融合全局向量的词表示，然后通过自注意力机制计算每个词的上下文向量，依据上下文信息对原本的词向量信息进行一个筛选得到适用于特定任务的更精确文本表示向量，提高下游任务模型的准确率。

发明内容

本发明是一种基于神经网络自注意力机制的精确文本表示方法，提供一种使用神经网络获取文本精确表示的方法，并针对文本摘要与文本分类问题提出解决方案，包括针对文本任务的数据预处理，停用词构建，针对文本摘要问题的词级别精确文本表示以及针对文本分类问题的句级别精确文本表示。通过精确文本表示可以动态的选择文本中对任务更重要的词语，有效筛选并减少与任务无关的词语信息权重，该方法从文本表示的角度，提高了文本摘要与文本分类任务模型预测结果质量，符合真实情况下人工阅读提取关键信息的场景。