[发明专利]一种面向微博的突发事件触发词识别方法

权利要求书

1.一种面向微博的突发事件触发词识别方法，将待分析的微博数据构成语料库的语料，其特征在于所述方法包括如下步骤：

1)对突发事件语料库进行原始触发词统计，记录统计特征；

2）对所述语料进行分词、分句的数据预处理，对所述分句后的语料数据按照分句进行依存句法分析，整理凝练出词对间依存关系，建立模式匹配规则，制定了如下抽取规则：

规则1:当句中存在定中关系关系类型，候选触发词可能处于谓语位置，那么识别定中关系关系的核心词；

规则2:当句中存在动补结构关系类型，候选触发词可能处于动补结构中，那么识别动补结构的核心词；

规则3:当句中存在主谓关系关系类型，候选触发词可能处于主语、谓语位置，那么识别主谓关系的修饰词，主谓关系的核心词；

规则4:当句中存在动宾关系关系类型，候选触发词可能为主谓关系的核心词和动宾关系的核心词，那么识别动宾关系的核心词；

规则5:当句中存在前置宾语关系类型，候选触发词可能为前置宾语的核心词和状中结构的核心词，那么识别前置宾语的核心词；

规则6:当句中存在状中结构关系类型，候选触发词可能处于状中结构中，那么识别状中结构的核心词；

根据依存关系，对语料库进行训练，按照抽取规则初步模式匹配出触发词词对；

3）对所述预处理后的文本数据逐一进行模式规则匹配和潜在语义分析，进一步抽取分句语义信息，选取同时满足二者条件的词作为候选触发词，得到候选触发词集；

4） 计算所述候选触发词集与基于扩展触发词表的触发词识别出触发词进行相似度分析，将满足相似度要求的触发词确定为微博突发事件触发词；其中，步骤3）中的所述根据潜在语义分析得到所述候选触发词集的具体步骤如下：

a. 使用词袋模型对文本进行向量化，其中文本为微博数据；

b．将所有的词向量拼接起来构成词-文本矩阵，并进行奇异值分解SVD操作；

c． 根据SVD结果将词-文本矩阵映射到一个低维度的语义空间中，以此表达SVD结果；

d．每个词和文本都表示为低维度空间中的一个点，通过KL（Kullback-LeiblerDivergence）相似度计算，选取相似度较高的词作为候选词，加入到候选触发词集中；

步骤4）中所述基于扩展触发词表的触发词识别具体包括如下步骤：首先，对文本数据进行数据预处理，包括分词、词性标注和分句步骤；其次，预处理后从文本中筛选出触发词词性，缩小候选触发词集范围；最后，计算并选取触发词权重比较高的词作为事件触发词；其中，采用词频-逆文档频次算法来计词权重，计算公式如下：

其中为候选触发词,为语料库某一类型事件中出现候选触发词的次数,为训练语料中某一类型事件总数，为训练语料中事件总数，为含有触发词为的事件总数，代表触发词的权重，为词频，它反映触发词对整个事件的贡献程度；为逆文本频率指数，它过滤掉常见的词语，将权重较大的候选触发词作为突发事件触发词。

2.根据权利要求1所述的方法，其特征在于所述步骤1）中原始触发词统计包括事件类型、事件数量、触发词和触发词数量。

3.根据权利要求1所述的方法，其特征在于所述步骤2）中根据词对建依存关系，建立模式匹配规则，得到触发词词对。