[发明专利]一种城市多模式文本数据的异常检测方法

摘要

本发明提供一种城市多模式文本数据的异常检测方法，在图模型的基础上，通过一种改进的TF‑IDF算法和主题模型针对单条文本语句进行主题分析后将结果作为知识先验Φ，再基于狄里赫雷分布得到针对所有文本的狄里赫雷先验α和一个多项分布θ_d，据此对单个文本进行标注并得到对应的标注结果。最后，根据单个文本和标注结果得到文本总体的主题分布。本发明相比在传统社交网络挖掘模型中，单一主题挖掘算法与实际情况对比差别较大的情况，采用主题模型与TF‑IDF算法结合的方法确定单条文本的主题，并构建图模型完成整体主题的预估，克服了对单条文本主题估计准确率不高的问题。并借助实际情况进行了算法验证工作，验证了发明的有效性。

主权项

一种城市多模式文本数据的异常检测方法，其特征在于：以微博进行社交网络数据构建，分为两个过程，第一个过程作用为针微博数据进行单条语义的分析；第二个过程对单条语义进行汇集，得到整体的微博语义分析；其中：第一个过程实现步骤如下：步骤1：首先通过网络爬虫获取微博数据，得到文档集D，文档集D含有n条微博；步骤2：每条微博均作为一个文档，文档集D为：D＝{d₁，d₂，d₃，...d_i，...，d_n‑1，d_n}，其中，d_i代表在获得的微博数据库中的第i条微博；步骤3：针对微博d，通过句法结构分析算法实现词语的提取，将微博d进行分词之后，微博d将包含由m个词语组成的句子，即：d_i＝{ω₁，ω₂，ω₃，ω₄，ω₅，...，ω_m}，每个微博句段由m个词语构成，其中ω_m代表的是第m个单词；步骤4：在构成词语之后，将每篇微博分别进行TF‑IDF即词频‑逆向文档频率的分析，每个句子得到以下词典数据结构：d_i＝{ω₁：prob₁，ω₂：prob₂，ω₃：prob₃，...，ω_m：prob_m}，每一个词典数据中的prob代表该词在整篇文档中所占的重要性比例；步骤5：在针对一条微博d进行TF‑IDF即词频逆向文档频率分析的同时，对文档中的每条微博进行隐含狄里赫雷分布的前期分析，提取出应使用的主题关键词，将关键词设置为关键词列表，构建list：L＝{ls₁，ls₂，ls₃，...，ls_n‑1，ls_n}，其中ls代表词列表中的一个单词；步骤6：对关键词列表构建的list和单词在整篇文章占比进行数据整合，统计已有的全部数据中TF‑IDF关键词主题的分布情况；步骤7：在得到TF‑IDF提取的主题词后，构建图模型，通过吉布斯采样进行图模型的训练，训练的最终结果为得到图模型中的参数β即所在文章的主题分布；第二个过程实现步骤如下：步骤8：首先对单条微博进行统计分析，统计分析的内容包括统计微博中某一个单词的词频，得到词频列表wlist＝{ls₁，ls₂，ls₃，ls₄，...，ls_n‑2，ls_n‑1，ls_n}，其中ls代表词列表中的一个单词，统计出现了某一单词所在微博的个数，并得到词数字典{_w1:count₁，w₂：count₂，w₃：count₃，...，w_n‑1：count_n‑1，w_n：count_n}；步骤9：通过爬虫获取发送微博用户的用户属性，用户属性由用户注册之后的数据得到，将用户数据存储到数据库中：{user₁：name，gender，region，age}，分别为{用户1：姓名，性别，所在地区，年龄}；步骤10：根据步骤8中得到的词数字典，得到图模型中的先验，再通过图模型的方法实现大量微博主题提取；步骤11：针对已有微博进行情感分析统计，首先，根据每条微博的发布人注册信息，建立位置定位情况，然后借助步骤10中图模型得到的微博主题的分布，对应微博作者所在城市，得到每个城市针对某一主题的微博发布比例，得出每个城市的讨论热烈程度，亦即得到用户情感分析，这样，就能够将微博中的主题讨论数据与实际的主题数据对应，得到不同城市的微博讨论和主题的关系。