[发明专利]基于文本大数据的数字化应急管理案例库构建方法及装置

摘要

本发明涉及一种基于文本大数据处理的数字化应急管理案例库构建方法及装置，其中方法包括：定期采集数据，对采集到的数据进行预处理，得到中文文本分词结果；基于中文文本分词结果，根据设定的突发事件领域关键词词表，通过数据清洗，实现突发事件相关数据的识别，并进行分类，得到突发事件分类结果；基于突发事件分类结果，进行专题事件的识别与跟踪；利用信息抽取方法，对突发事件识别与跟踪的专题数据进行结构化信息描述，得到针对各类突发事件案例库。本发明能对突发事件相关的数据进行自动采集，自动实现突发事件的二级分类；能自动进行专题事件识别与跟踪，及通过案例表示对指定突发事件相关数据进行分析与信息提取，形成突发事件案例表示。

主权项

1.一种基于文本大数据处理的数字化应急管理案例库构建方法，其特征在于，包括：定期采集数据，并对采集到的数据进行预处理，得到中文文本分词结果；所述数据的来源包括互联网数据、业务系统数据和人工整理数据；业务系统数据，指的是与突发事件有关的第三方系统收集存储的数据；人工整理数据，指的是人工整理的电子文档或纸质资料；基于所述中文文本分词结果，根据预先设定的突发事件领域关键词词表进行数据清洗，识别突发事件相关数据并进行分类，得到突发事件分类结果；基于所述突发事件分类结果，进行专题事件的识别与跟踪；利用信息抽取方法，采用基于框架的知识表示方法，对突发事件识别与跟踪的专题数据进行结构化信息描述，从基本信息、事件背景、事件属性、事件过程和反应评价五个方面对专题事件进行描述，得到针对各类突发事件的案例库；上述数据清洗以识别突发事件相关数据的步骤具体包括：构建原始的突发事件领域关键词词表；基于已构建的突发事件领域关键词词表，按照是否与突发事件相关，对采集到的数据进行筛选，如果词表中的某一个或几个关键词在数据的标题或正文中出现，则将该数据标记为与突发事件相关的数据并保存，否则为突发事件非相关数据；定期对相关数据和非相关数据的划分结果进行监督和错误数据修正，并利用错误数据的修正记录对突发事件关键词词表进行完善；上述基于所述突发事件分类结果，进行专题事件的识别与跟踪的步骤具体包括：针对已分类数据D_j以及数据预处理得到的分词和词性标注结果，提取标题和正文中的名词和动词以及实体信息，作为数据的文本特征，计算得到每个特征词的词频‑逆文档频率，即TFIDF权值ω_k(D_j)式中，n_j，k表示特征词W_k在已分类数据D_j中出现的次数，∑_kn_j，k是已分类数据D_j中所有字词出现的次数之和，|D|为已分类数据总量，|{i：W_k∈D_i}|为包含特征词W_k的数据数量；按照各特征词项的属性，为标题和正文设置不同的位置加权因子α1，根据词性标注，为地名、人名、机构名设置不同的词性加权因子α2，最终形成加权的TFIDF权值ω′_k(D_j)ω′_k(D_j)＝α1×α2×ω_k(D_j)基于已分类数据D_j的特征词及对应权值，计算已分类数据D_j与对应突发事件类型C_mn中的已识别专题事件E_i的余弦相似度V_de式中，ω′_k(D_j)为数据D_j的第k个特征的权值，ω′_k(E_i)为事件E_i中所有数据的第k个特征的平均权值，l表示聚类特征的个数；如果所述余弦相似度超过系统设置的突发事件识别阈值，则将该数据添加到对应的专题事件中，否则将该数据定义为新的专题事件。