[发明专利]一种基于大数据文本挖掘的商品质量情感词典构建系统

权利要求书

1.本发明系统解决其技术问题所采取的技术方案是：一种基于大数据的词典构建方法，该方法包括一个原始语料数据库、一个三元组抽取模块、一个第三方词典库、一个简单的人工标定模块、一个机器学习模块、以及最终的极性词典和程度词典。

2.原始语料数据库：通过爬虫软件获得原始电商评价语料库。

3.三元组抽取模块：从商品文本评价信息中抽取FLO(Feature,level,option)三元组，FLO模型请参照前期专利“一种面向海量互联网信息的文本语义建模方法”[CN201610075760.8]实现并获得三元组集合，三元组集合主要包含{特征词、程度词、特征量化词}。

4.第三方词典库：第三方词典主要包括知网(HowNet)情感分析用词语集(beta版)和NTUSD词典，HowNet包含了“正面情感词”、“正面评价词”、“负面情感词”、“负面评价词”、“主张词”和“程度词”六个词表共计9193个中文用词，NTUSD简体版本包含正负情感两个词典，其中正面情感词2810个，负面情感词8276个。

5.人工标定模块：通过定义的商品极性和程度用词定义及格式人工标定部分关键词，得到一个基础样本集用于机器学习，两种词典的定义和格式如下：word=sentiment，sentiment是{p,n,m,s,e}的总集；LevelWord=degree，一个程度词的度数，量化刻度为{1,2,3,4,5}，根据商品评分和词频的统计结果，并选择词频排序top10%进行人工标定。

6.机器学习模块：对人工标定的样本集合作为训练数据，采用SVM机器学习算法得到训练模型，模型同时将三方词典库的关键词导入训练模型，介于本方法仅标记了少量训练样本数据，在对剩余的大量三元组集合，采用小数据较差训练的模式确保机器学习结果的准确性。

7.极性词典：包含三个词典库，OptionSentimentDict、LevelSentimentDictheSentenceDict词典。

8.程度词典：对各程度词进行量化后得到的词典，以UTF-8格式存储，并建立Hash索引表。