[发明专利]基于动态词向量和层级神经网络的文档级情感分类方法

说明书

本发明公开了基于动态词向量和层级神经网络的文档级情感分类方法。所述方法包括以下步骤：通过构建并训练双向语言模型来获得高质量的动态词向量；将得到的动态词向量输入到层级神经网络中以对文档进行建模，从而获得包含丰富语义信息的向量表示，并将该向量输入到softmax函数来对文档进行分类。本发明采用双向语言模型来生成高质量的动态词向量，并提出了一种层级神经网络来对文档进行建模，既解决了静态词向量对多义词的语义表达不足的问题，也进一步提升了情感分类任务中对文档建模的能力。

技术领域

本发明属于自然语言处理领域，尤其涉及一种基于动态词向量和层级神经网络的文档级情感分类方法。

背景技术

情感分类是自然语言处理领域中的重要任务之一，有着广泛的应用，包括电商网站评论分析，舆情分析与预测等。文档级情感分类任务的目的在于预测文档的情感极性，传统的方法使用tf-idf，SVM和Bayes(Eibe Frank and Remco R Bouckaert.Naivebayes for text classification with unbalanced classes.In European Conferenceon Principles of Data Mining and Knowledge Discovery,pages 503–510.Springer,2006.)等算法建模文档(Bo Pang,Lillian Lee,and Shivakumar Vaithyanathan.Thumbsup？:sentiment classification using machine learning techniques.In Proceedingsof the ACL-02conference on Empirical methods in natural language processing-Volume 10,pages 79–86.Association for Computational Linguistics,2002.)，但是这些方法依赖于手工选择的特征，因此较为耗时。近年来，由于深度学习技术能够在大规模数据集中自动、高效地提取特征，在情感分类任务中获得了越来越多的应用。

目前深度学习技术在情感分类任务中的应用主要专注于捕获文档中的语义特征和句子间的语义关系(Jiacheng Xu,Danlu Chen,Xipeng Qiu,and XuanjingHuang.Cached long short-term memory neural networks for document-levelsentiment classification.In Proceedings of the 2016Conference on EmpiricalMethods in Natural Language Processing,pages 1660–1669,2016.)，但是现有模型主要有两种不足：

第一，忽略了词向量的质量在深度学习模型中的重要性，这限制了许多文档表征模型的性能。采用双层、双向的语言模型，能够训练出和上下文环境相关的词向量(MatthewE Peters,Mark Neumann,Mohit Iyyer,Matt Gardner,Christopher Clark,Kenton Lee,and Luke Zettlemoyer.Deep contextualized word representations.In Proceedingsof NAACL-HLT,pages 2227–2237,2018.)，提升词向量表达单词语义的能力，因此能进一步提高文档表征模型的效果。