[发明专利]基于词向量和句法特征的评论分析方法及可视化交互界面

说明书

本发明提出了数据分析领域内的一种基于词向量和句法特征的评论分析方法，包括：获取电商网站商品页面评论数据；将获取的目标数据集进行预处理；提取Hownet和NTU提供的褒贬词集组成基础情感词典；将所得到的经过预处理的数据集合通过Word2Vec工具进行词向量训练；使用语义相似度矩阵建立概率转移矩阵；将获取的商品评论文本，进行基于核心句规则的处理；将所得到的去除冗余的文本进行预处理；对所得依存关系对通过词性提取商品属性，否定词，程度词，情感词评价搭配对；将所得评价搭配对结合情感词典，对评价对象进行褒贬值计算、优劣排序，最终通过可视化交互界面实现，实现对商品评论数据进行准确、实时、自动、便利的处理与分析，可用于电商平台中。

技术领域

本发明属于数据分析技术领域，特别是涉及一种使用神经网络模型训练的词向量构建的适用于商品评论的情感词典、属性识别算法和基于词向量和句法特征的评论分析系统。

背景技术

随着互联网的普及与电子商务的发展，京东、淘宝等互联网电子商务网站迅速发展，越来越多的消费者开始选择网上购物；这些电商网站拥有海量的商品，同时也拥有广大的用户群，由此产生了庞大的评论数据。消费者给出的评论往往携带了用户对此次消费的主观感受，包括对购买商品的喜好程度，对商家服务的满意程度等。对消费者而言，这些评论文本可以帮助其更客观地了解到相关商品或服务的信息，从而给出更适合的选择；对商家而言，通过用户反馈的关于商品或服务的体验信息，可以帮助其进一步针对性的改善服务或商品质量，从而获得更多的客户和利润。然而，随着数据量的爆炸性增长，用户从海量评论数据中获取到有用的信息所需付出的成本也越来越大，因此，如何快速有效地对用户评论文本进行处理和分析，并从提取出有价值的信息，具有重要应用价值与研究意义。

当前，大量的评论数据无法得到充分的利用，消费者难以从海量的评论数据中获取到有价值的信息。因此，我们研究了一种基于词向量和句法特征的评论分析系统，根据分析结果得到用户对于商品各属性的满意度，进而总结出商品的优势、劣势，然后对分析结果进行数据可视化。

发明内容

本发明所要解决的技术问题是如何实现对商品评论数据进行准确、实时、自动、便利的处理与分析，克服现有技术的不足而提供一种基于词向量和句法特征的评论分析方法。

本发明提供一种基于词向量和句法特征的评论分析方法，包括以下步骤：

1）获取电商网站商品页面评论数据；

2）将获取的目标数据集进行预处理，并构建候选情感词集；

3）提取Hownet和NTU提供的褒贬词集组成基础情感词典；

4）将所得到的经过预处理的数据集合通过Word2Vec工具进行词向量训练，得到词向量并生成语义相似度矩阵；

5）使用语义相似度矩阵建立概率转移矩阵，并结合种子词集通过LPA标签传播算法且经过基础情感词典检验后生成最终的情感词典；

6）将获取的商品评论文本，进行基于核心句规则的处理，得到去除冗余的评论文本；

7）将所得到的去除冗余的文本进行预处理，对得到的分词数据集合基于依存关系、句法特征形成依存关系树，生成SBV、VOB、ATT、CMP、COO依存关系对；

8）对所得依存关系对通过词性提取商品属性，否定词，程度词，情感词评价搭配对；

9）将所得评价搭配对结合情感词典，对评价对象进行褒贬值计算、优劣排序，最终通过可视化交互界面实现。

作为本发明的进一步限定，步骤2）具体包括：

2-1）使用字符匹配算法去除非法字符；

2-2）将原始数据集使用LTP进行分词、词性标注；

2-3）提取符合词性的词，经过去重，组成候选情感词集1；