[发明专利]一种基于短文本扩展和概念漂移检测的短文本数据流分类方法

摘要

本发明公开了一种基于主题模型和概念漂移检测的短文本数据流分类方法，包括：1从知识库中获取外部语料库构建LDA主题模型；2根据滑动窗口机制将短文本数据流划分成数据块，并用LDA主题模型扩展数据块中的短文本得到扩展后的数据流；3在扩展后的短文本数据流中对每个数据块构建online BTM主题模型，并获得每个短文本的主题表示；4选择Q个主题表示的数据块构建一个分类器，用于预测新到来数据块的类标签；5根据类标签分布将Q个主题表示的数据块划分成类别簇，计算类别簇与新到来数据块的语义距离以判断是否发生概念漂移；6根据概念漂移情况，更新分类器。本发明可用于类标签分布不断变化的短文本数据流分类问题。

主权项

1.一种基于主题模型和概念漂移检测的短文本数据流分类方法，其特征是按照如下步骤进行：步骤1：根据短文本数据流的类标签分布提取关键词，并从知识库中获取外部语料库C'，进而根据所述外部语料库C'构建LDA主题模型M：步骤1.1：给定一组短文本数据流D＝{d₁,d₂,…,d_m,…,d_|D|}，m＝1,2，…，|D|，|D|表示所述短文本数据流D的短文本总数，d_m表示第m个短文本，并有d_m＝{W_m,y_m}，W_m与y_m分别表示所述短文本数据流D中第m个短文本d_m的单词集合与类标签，且满足y_m∈Y，Y表示一组类标签集合，记为Y＝{y₁,y₂,…,y_x,…,y_X}，x＝1,2，…,X，y_x表示所述类标签集合Y的第x个类标签，X表示所述类标签集合Y的类标签个数；步骤1.2：根据所述短文本数据流D的类标签分布，将所述短文本数据流D划分成X个数据块集合DY＝{W₁,W₂,…,W_x,…,W_X}，W_x表示所述数据块集合DY中第x个类标签y_x的短文本中所有单词的词集；统计所述数据块集合DY中第x个类标签y_x的短文本中所有单词的词集W_x的词频，并进行降序排序，从而选择前κ个单词T_x＝{w_x,1,w_x,2,…,w_x,κ}作为所述类标签集合Y的第x个类标签y_x爬取的关键词，进而获得所述类标签集合Y中所有类标签爬取的关键词，并记为T＝{T₁,T₂,…,T_x,…,T_X}；步骤1.3：根据所述关键词集T＝{T₁,T₂,…,T_x,…,T_X}从知识库中爬取数据，获得原始语料库C，删除所述原始语料库C中重复的网页，并删除HTML标签和HTML链接、移除停止词，从而得到外部语料库C'；步骤1.4：设置主题总数为K且每个主题下的词集大小为M.L，并根据所述外部语料库C'构建LDA主题模型M，令M.w(k)表示所述LDA主题模型M中的第k个主题下的词集，k＝1,2,…,K；步骤2：根据滑动窗口机制将所述短文本数据流D重新划分成数据块，并对数据块中每个短文本利用所述LDA主题模型M推断主题分布，再根据所述主题分布扩展每个短文本，从而获得扩展后的短文本数据流：步骤2.1：根据滑动窗口机制将所述短文本数据流D划分成N个数据块，记为DC＝{D₁,D₂,…,D_i,D_i+1…,D_N}，其中D_i与D_i+1分别表示所述短文本数据流D中第i个和第i+1个数据块，并有和分别表示所述第i个数据块D_i中的第j个短文本以及所述第i+1个数据块D_i+1中的第h个短文本，并有h＝1,2,…,|D_i+1|，和分别表示所述第i个数据块D_i的第j个短文本的词集以及所述第i+1个数据块D_i+1的第h个短文本的词集，和分别表示所述第i个数据块D_i中第j个短文本的类标签以及所述第i+1个数据块D_i+1中第h个短文本的类标签，且满足步骤2.2：根据所述LDA主题模型M，对所述第i个数据块D_i进行推断，得到文档‑主题分布记为表示所述第i个数据块D_i中第j个短文本主题的分布，并有表示所述第i个数据块D_i中第j个短文本的第k个主题的概率；步骤2.3：令A＝{a₁,a₂,…,a_v‑1,a_v,…,a_|A|}表示一组浮点数集合，其中a_v‑1和a_v分别表示所述浮点数集A中第v‑1个浮点数和第v个浮点数，且均为常数，v＝1,2,…,|A|，|A|表示所述浮点数集A的总个数；令F＝{f₁,f₂,…,f_v‑1,…,f_|A|‑1}表示一组整数集合，f_v‑1表示所述整数集F中第v‑1个整数，且均为常数；步骤2.4：判断所述第i个数据块D_i中第j个短文本的主题分布中第个k主题概率是否属于区间(a_v‑1,a_v]，若属于，则将所述LDA主题模型M中第k个主题下词集大小为M.L的词集M.w(k)重复f_v‑1次添加到所述第i个数据块D_i的第j个短文本中，否则进行下一个主题概率判断；从而对所述第i个数据块D_i中第j个短文本的主题分布中所有主题进行判断，并获得所述第i个数据块D_i的第j个短文本扩展后的短文本并有步骤2.5：将j+1赋值给j，并返回步骤2.4，直到j＝|D_i|为止，从而获得所述第i个数据块D_i扩展后的数据块步骤2.6：同理获得所述第i+1个数据块D_i+1扩展后的数据块步骤3：在所述扩展后的第i个数据块D'_i上构建online BTM主题模型，并获得所述扩展后的第i个数据块D'_i中每个短文本的主题表示：步骤3.1：将所述扩展后的第i个数据块D'_i中第j个短文本的词集中的不同单词两两组对，从而获得所述扩展后的第i个数据块D'_i中第j个短文本的词对集合其中与分别表示所述扩展后的第i个数据块D'_i中第j个短文本的词对集合中第l个词对、第l个词对的频率和所有词对总数，并有w_l,1，w_l,2分别表示所述扩展后的第i个数据块D'_i的词对集合的第l个词对中的第1个单词和第2个单词，从而获得所述扩展后的第i个数据块D'_i中所有短文本的词对集合以及总的词对总数合并所述扩展后的第i个数据块D'_i中所有短文本的词对集合BW'ⁱ的所有词对，得到所述扩展后的第i个数据块D'_i的词对集合，记为其中b_r表示所述扩展后的第i个数据块D'_i的词对集合B_i的第r个词对，并有b_r＝{w'_r1,w'_r2}，r＝1,2,…,|B_i|，w'_r,1，w'_r,2分别表示所述扩展后的第i个数据块D'_i的词对集合B_i的第r个词对b_r中的第1个单词和第2个单词，|B_i|表示所述扩展后的第i个数据块D'_i的词对集合B_i的词对总数；步骤3.2：定义所述扩展后的第i个数据块D'_i的主题分布和主题下的词分布分别为和其中表示所述扩展后的第i个数据块D'_i中第k'个主题的概率，表示所述扩展后的第i个数据块D'_i的第k'个主题下的词分布，并有：表示所述扩展后的第i个数据块D'_i的第k'个主题下的词分布中第p个单词的概率；定义所述扩展后的第i个数据块D'_i的Dirichlet先验分布参数为α⁽ⁱ⁾和β⁽ⁱ⁾，且和表示所述扩展后的第i个数据块D'_i的主题分布θ⁽ⁱ⁾中的第k'个主题的先验概率，表示所述扩展后的第i个数据块D'_i的第k'个主题下词分布的先验分布；并有表示所述扩展后的第i个数据块D'_i的第k'个主题下词分布的第p个单词的先验概率；当i＝1时，令α⁽¹⁾＝{α,α,…,α,…,α}，α和β均为常数；步骤3.3：设置主题总数为K_B，根据所述扩展后的第i个数据块D'_i的Dirichlet先验分布参数α⁽ⁱ⁾和β⁽ⁱ⁾，利用所述扩展后的第i个数据块D'_i的词对集合B_i构建online BTM主题模型记为M⁽ⁱ⁾，令表示所述扩展后的第i个数据块D'_i的第k'个主题下的词对数，表示所述扩展后的第i个数据块D'_i的词集W'_i中的第p个单词属于所述online BTM模型M⁽ⁱ⁾中的第k'个主题的次数，k'＝1,2,…,K_B，p＝1,2,…,|W'_i|；根据所述online BTM模型M⁽ⁱ⁾，得到所述扩展后的第i个数据块D'_i的主题分布和主题下的词分布步骤3.4：利用式(1)和式(2)分别计算所述扩展后第i+1个数据块D'_i+1的Dirichlet先验分布参数α⁽ⁱ⁺¹⁾和β⁽ⁱ⁺¹⁾：式(1)和式(2)中，λ是一个衰退值，且是常数；步骤3.4：利用式(3)得到所述扩展后的第i个数据块D'_i中第j个短文本的第k'个主题的主题表示式(3)中，表示所述扩展后的第i个数据块D'_i中第j个短文本的第k'个主题的概率，和分别表示所述扩展后的第i个数据块D'_i的第k'个主题下的词分布中单词w_l,1的概率和单词w_l,2的概率；步骤3.5：将k'+1赋值给k'，并返回步骤3.4，直到k'＝K_B为止，从而获得所述扩展后的第i个数据块D'_i的第j个短文本的主题表示步骤3.6：将j+1赋值给j，并返回步骤3.4，直到j＝|D'_i|为止，从而获得所述扩展后的第i个数据块D'_i的主题表示步骤4：选择Q个主题表示的数据块构建一个分类器，用于预测下一个数据块的类标签：步骤4.1：若i＝1，则将所述扩展后的第i个数据块D'_i的主题表示Z_i加入到集合Win_f中，记为Z_q与Q_f分别表示所述集合Win_f中的第q个数据块和数据块总数，记|Z_q|表示所述集合Win_f中的第q个数据块的短文本总数，并基于所述集合Win_f构建一个分类器λ_f后，转到步骤6.2；若1＜i≤Q，则根据所述分类器λ_f预测所述扩展后的第i个数据块D'_i的主题表示Z_i的类标签，并将f+1赋值给f后，将所述扩展后的第i个数据块D'_i的主题表示Z_i加入到集合Win_f中，并基于所述集合Win_f重建分类器λ_f后，转到步骤6.2；若i＞Q，则根据所述分类器λ_f预测所述扩展后的第i个数据块D'_i的主题表示Z_i的类标签；步骤5：根据所述短文本数据流D的类标签分布，将所述集合Win_f中的每个数据块划分成类别簇，计算所划分的每个数据块的类别簇与所述扩展后的第i个数据块D'_i的主题表示Z_i的语义距离，并根据语义距离判断是否发生概念漂移：步骤5.1：根据所述短文本数据流D的类标签分布，将所述集合Win_f中的第q个数据块Z_q划分为类别簇表示所述集合Win_f中的第q个数据块Z_q中第x个类标签y_x的短文本的主题表示集合，并有表示集合Win_f中第q个数据块Z_q中类标签为y_x的第g个短文本的主题表示，并有：表示所述集合Win_f的第q个数据块Z_q中类标签为y_x的第g个短文本的第k'个主题的主题表示，表示所述集合Win_f中第q个数据块Z_q中类标签为y_x的短文本总数；步骤5.2：根据式(4)计算所述扩展后的第i个数据块D'_i的第j个短文本的主题表示与所述集合Win_f中的第q个数据块Z_q中类标签是y_x的类别簇的语义距离并有：步骤5.3：将x+1赋值给x，并返回步骤5.2，直到x＝X为止，从而得到所述扩展后的第i个数据块D'_i的第j个短文本的主题表示与所述集合Win_f中的第q个数据块Z_q中所有类别簇I^q的语义距离，记为语义距离集合步骤5.4：选择所述语义距离集合中最小的语义距离用于代表所述扩展后的第i个数据块D'_i的第j个短文本的主题表示与所述集合Win_f中的第q个数据块Z_q的语义距离步骤5.5：将j+1赋值给j，并返回步骤5.2，直到j＝|D_i|为止，从而获得所述扩展后的第i个数据块D'_i的所有短文本的主题表示与所述集合Win_f中的第q个数据块Z_q的语义距离；步骤5.6：根据式(6)计算所述扩展后的第i个数据块D'_i的主题表示Z_i与所述集合Win_f中的第q个数据块Z_q的语义距离dist(Z_i,Z_q)：步骤5.7：根据所述扩展后的第i个数据块D'_i的主题表示Z_i与所述集合Win_f中的第q个数据块Z_q的语义距离dist(Z_i,Z_q)与阈值τ比较，0＜τ＜1，若dist(Z_i,Z_q)＞τ，则表示所述扩展后的第i个数据块D'_i的主题表示Z_i相对于所述集合Win_f中的第q个数据块Z_q发生了概念漂移，并将语义距离dist(Z_i,Z_q)装入所定义的语义距离集合CD_f中，否则，则表示未发生概念漂移，并令dist(Z_i,Z_q)＝0后，再装入语义距离集合CD_f中；步骤5.8：将q+1赋值给q，并返回步骤5.1，直到q＝Q_f为止，从而得到所述扩展后的第i个数据块D'_i的主题表示Z_i与所述集合Win_f中的Q_f个数据块的语义距离的语义距离集合CD_f＝{dist(Z_i,Z_q),q＝1,2,…,Q_f}；步骤6：将发生概念漂移的扩展后的第i个数据块D'_i的主题表示Z_i替换所述集合Win_f中的数据块，并更新所述分类器λ_f：步骤6.1：若所述语义距离集合CD_f中扩展后的第i个数据块D'_i的主题表示Z_i与所述集合Win_f所有数据块的距离都为0，则表示扩展后的第i个数据块D'_i的主题表示Z_i相对于所述集合Win_f所有数据块都没有发生概念漂移，从而不更新所述分类器λ_f；若所述语义距离集合CD_f中距离dist(Z_i,Z_q)最大，则表示所述扩展后的第i个数据块D'_i的主题表示Z_i相对于所述集合Win_f中的第q个数据块Z_i发生概念漂移，从而将f+1赋值给f，并利用所述扩展后的第i个数据块D'_i的主题表示Z_i替换所述集合Win_f中的第q个数据块Z_q，再利用所述集合Win_f重建分类器λ_f；步骤6.2：将i+1赋值给i，并返回步骤2.2，直到i＝N为止。