[发明专利]一种基于篇章结构分析的股评观点分类系统及方法

说明书

技术领域

本发明涉及一种数据挖掘系统及方法，特别是关于一种基于篇章结构分析的股评观点分类系统及方法。

背景技术

文本倾向性分析是指文本所包含的某一主题所持的观点、态度和立场，对该文本进行倾向性分类。通常将文本分为正面的、中立的、负面的三种倾向。文本倾向性分类在信息过滤、信息内容安全管理、舆情分析等方面有着重要应用。国外对文本倾向性研究在20世纪90年代中期开始得到普遍关注，并出现许多较为通用的方法，如传统的文本分类方法、基于语义模式分类方法和基于观点基准词组分类方法等。其中，传统的文本分类方法是将文本倾向性分析作为一个基于主题的文本分类问题来对待，那么就可以使用任意一种文本分类算法，如Naive Bayesian、SVM、KNN等方法。基于语义模式分类方法是使用语义模式作为文本的基本特征，把语义信息体现到语义模式之中。基于观点基准词组分类方法是通过计算词汇与具有强烈倾向意义的基准词的关联程度，来确定文本中词汇的倾向性度量，从而确定文本的倾向性，这种方法的代表就是Turney的SO-PMI算法。

以上三种常用方法各有缺陷，传统的文本分类方法需要花费很大的精力建立训练集，如训练样本不足，则会导致泛化性不足从而使得准确率得不到保证；基于语义模式分类方法的工作量大，而且当主题或领域发生变化时，需要重新构建寻找新的语义模式；基于观点基准词组分类方法只考虑到了词汇的倾向性，没有从整体上对文本的倾向性进行把握，因此准确率较差。国内对于文本倾向性的研究起步较晚，目前的研究方向主要集中在产品评论、影评和词汇的倾向性研究等几个方面。到目前为止，不管是国内还是国外，尚未将观点分类技术应用到股评观点分类领域。通过实验发现，如果直接将上述的三种方法移植到股评观点分类领域中，则查准率和查全率均较差。

发明内容

针对上述问题，本发明的目的是提供一种可以输出精简、明确的股评观点分类信息的基于篇章结构分析的股评观点分类系统及方法。

为实现上述目的，本发明采取以下技术方案：一种基于篇章结构分析的股评观点分类方法，其特征在于：它包括文本选择模块、基于篇章结构分析的分类器模块和股评输出模块；所述基于篇章结构分析的分类器模块包括标题分类器和预测性语句分类器；所述文本选择模块从股评数据库中提取股评文本后，对所述股评文本的标题和正文进行分离；判断所述标题是否为疑问句，如果是疑问句，则标题可信度Sim(r_i，T_C)＝0；否则利用标题分类器对标题进行观点分类，输出标题可信度Sim(r_i，T_C)；

同时，所述文本选择模块在所述正文中循环检测预测特征词表中的每一个预测性特征词，如果存在所述预测特征词，则提取出所述预测特征词所在的句子，放入预测性语句集S中；循环结束后，如果所述预测性语句集S为空，则提取所述正文的最后一个句子，放入所述预测性语句集S中；将所述预测性语句集S输入所述预测性语句分类器，输出相应的预测性语句可信度Sim(r_i，B_C)；

设置可信度阈值ω＞0，当所述Sim(r_i，T_C)≥ω且Sim(r_i，B_C)＜ω时，则将所述Sim(r_i，T_C)作为所述股评输出模块的输出结果Orientation(r_i)；当所述Sim(r_i，B_C)≥ω且Sim(r_i，T_C)＜ω时，则将所述Sim(r_i，B_C)作为所述股评输出模块的输出结果Orientation(r_i)；否则，利用方程1)和方程2)计算得到所述股评输出模块的输出结果：