[发明专利]基于自适应提升算法的中文微博观点句识别特征的提取方法

说明书

技术领域

本发明涉及一种基于自适应提升算法的中文微博观点句识别特征的提取方法。

背景技术

在中文微博中有效地判别是否包含人们对事物的观点，意见或倾向等信息，是自动收集和分析网络中文舆论数据的重要基础。从文本挖掘的角度看，识别主观语句能够提高观点分类的准确性，减小非主观语句对观点摘要、倾向统计和情感分析等后续自然语言处理相关任务的干扰。

随着互联网的迅速发展和Web2.0的普及，信息的发布不再是报刊、杂志社、电视台和新闻网站的专利，微博网站已成为公众信息的发布媒体。相比于传统博客，微博最大的特点在于其“微”，即单篇博客长短一般限制在140字之内。微博中不仅可以包含新闻，还可能包含微博用户个人对事物的观点或意见等信息。

观点句是基于断言或评论并且带有个人情感和意向的抒发。关于观点句的分类可以追溯到意见挖掘中的主客观句子的分类,其大多是在商品评论的媒体数据上进行的分类，而在微博上进行观点句判别的最大特点在于其字数的限制和语言结构的自由。因为字数的限制，其词语及其词性、依存关系的频率相对于普通文本大大减少;因为语言结构的自由，句法结构上的分析进行得就相对困难。对于中文微博这种短文本的主观成分特征识别,目前还缺乏系统有效的分类方法与特征提取的组合优化方法。

自适应提升算法是一种组合多个弱分类器成为一个强分类器的方法。弱分类器是误差概率小于0.5的两类分类器，使用它判别两类问题比误差概率为0.5的随机猜测要好，而强分类器H的误差概率可以任意小。参照自适应提升算法的组合多分类器的思想，我们针对中文微博中主观句识别提出了一种有效的特征选择方法。

发明内容

本发明提供了一种基于自适应提升算法的中文微博观点句识别特征的提取方法，其克服了背景技术中所述的不足。

本发明解决其技术问题的所采用的技术方案是：

基于自适应提升算法的中文微博观点句识别特征的提取方法，它包括：

步骤1，具有带是否为观点句标记的微博训练样本，输入该微博训练样本集合S={(x_i,y_i),i=1,…,n}，其中x_i∈X，y_i∈Y，Y={-1,+1}，X是该n个微博训练样本的m个特征，Y是每一个微博训练样本对应的分类结果，若该微博训练样本x_i是观点句，则该微博训练样本标记为y_i=+1，否则为y_i=-1；

设定特征选择的迭代终止条件为：分类误差ε_j与0.5的差距小于阈值β，其中，β可根据情况自行设定；

设定微博训练样本集的初始权重分布D₁为平均分布，即

设定被选择的初始特征集合为空集；

设定迭代变量初始值j=1，最大迭代次数为m；

步骤2，按以下步骤21-27进行循环迭代，包括：

步骤21，在权重分布为D_j的微博训练样本集中，找到以特征f_j为单一特征的弱分类器h_j，该弱分类器h_j对该微博训练样本集的分类误差ε_j与0.5的差距最大，其中：该弱分类器对该微博训练样本集的分类误差h为所有输出为Y的单一特征弱分类器；

步骤22，记下该弱分类器h_j的参数：特征f_j、二分该权重分布微博训练样本集的阈值和二元关系运算符；

步骤23，更新被选择特征集合F=F∪{f_j},本次迭代所选的特征f_j在以后的迭代中不再使用；

步骤24，计算该弱分类器h_j在强分类器H中的权重

步骤25，如果分类误差|ε_j-0.5|≤β，则最大迭代次数T=j，退出迭代，结束特征选择，否则，继续进行步骤26；

步骤26，迭代变量j值加1，如果j大于m，则已经选择全部特征，退出迭代，否则，继续进行步骤27；

步骤27，更新该微博训练样本集的权重分布：i=1,…,n，其中：返回步骤21；