[发明专利]一种基于条件随机场的网络短评论情感倾向性挖掘系统

说明书

技术领域

本发明涉及web数据挖掘领域，特别涉及一种基于条件随机场的网络短评论情感倾向性挖掘系统。

背景技术

评论挖掘是当前研究的热点，主要任务是对评论进行主客观识别、词汇倾向性分类、文本倾向性分类和观点的抽取等，并且涉及到机器学习、自然语言处理、信息检索等多个领域的知识。近年来，国内外很多研究者在情感倾向性分类上做了很多研究工作，但是从国内外的研究现状发现，区分评论中的情感趋向是比较困难的，由两个或多个单词构成的短语、复合词、句式结构等语言元素一起出现时才会表达了非常显著的情感倾向，而那些单词并没有显著倾向性。

通过研究国内外评论挖掘技术发现，短评论文本具有文本短小、内容稀疏、主观性强、构词不规律、领域依赖性强的特点。由于国内的评论挖掘相关研究起步较晚，评论挖掘的相关产品在国内还比较少，其在技术以及功能上还存在着很多的不足。而国外的起步比较早，技术已经趋于成熟，但基于中英文的差异，其相关技术在中文的应用上不能直接运用。

发明内容

本发明为了克服现有技术存在的缺点与不足，提供一种基于条件随机场的网络短评论情感倾向性挖掘系统。

本发明所采用的技术方案：

一种基于条件随机场的网络短评论情感倾向性挖掘系统，包括提取模块、识别模块、构建模块、分类模块；

所述提取模块，用于提取短评论中的特征词；

所述识别模块，用条件随机场模型的方法识别特征词对应的情感词，并与特征词匹配组合成元组；

所述构建模块，用于构建与情感词相关的情感词典；

所述分类模块，用于将元组在情感词典中查找分类，进而挖掘出短评论的情感倾向性。

所述提取模块采用基于统计的方法和有向图理论的方法提取特征词。

所述特征词同时符合如下条件：

（1）在一个文本中多次出现，

（2）在词的前面或后面加上其他词形成新的词后，在文本中出现的频率降低。

所述构建模块采用如下步骤构建情感词典，具体为：

（1）选择与特征词对应的带有三种感情色彩的情感词，系统将其划分为褒义词、中性词、贬义词；

（2）基于同义词词林扩展上述褒义词、中性词、贬义词，得到褒义词集、中性词集、贬义词集；

（3）在（2）得到的词集中过滤掉属于同义词词林中的第一大类、第二大类、第四大类、第十大类和第十一大类的词；

（4）系统过滤掉在上述词集重复出现的情感词和不具有描述能力的情感词，然后将其它词标上情感色彩，所述褒义词标为gg,中性词标为nn，贬义词标为bb,得到情感词典并保存。

所述识别模块采用如下步骤完成识别情感词，并与特征词匹配组合成元组；

所述步骤为，根据短评论中词语的构词规律，把每一个词语分类标注得到标注模型，然后通过条件随机场进行词语搭配的概率统计，得到需要的特征词-情感词元组。

所述系统进行情感倾向性判断后，对情感词的前缀词是否存在否定词进行判断。

本发明的有益效果：

本发明能够自动挖掘出网页上有关产品和服务的短评论，并将其中的特征词-情感词元组抽取出来，建立情感词典，对该元组的情感倾向性进行精确的判断，最后系统以这种精炼的特征词-情感词的元组形式将短评内容展示出来，这不仅为消费者提供了一种一目了然的消费参考，并且也对关注用户满意度及消费焦点等方面的企业具有非常大的战略意义。

附图说明

图1为本发明的流程图。

具体实施方式

下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。

实施例

如图1所示，一种基于条件随机场的网络短评论情感倾向性挖掘系统，包括提取模块、识别模块、构建模块、分类模块；

所述提取模块，用于提取短评论中的特征词；

所述特征词同时符合如下条件：

（1）在一个文本中多次出现，

（2）在词的前面或后面加上其他词形成新的词后，在文本中出现的频率降低。

本发明基于统计的方法，根据组合词在语料库中出现的频率来判定是否符合构词的规律，如果符合采用有向图理论构建词语共现的单词网络，再根据词频以及词性提取候选特征词。