[发明专利]一种文本分类方法和装置

权利要求书

1.一种文本分类方法，包括：

建立第一特征文本库S和第二特征文本库H；

计算所述第一特征文本库S和所述第二特征文本库H中各词语W在所述第一特征文本库S中出现的概率P(S|W)和在所述第二特征文本库H中出现的概率P(H|W)；

当待分类的文本中包含所述词语W时，基于所述概率P(S|W)和所述概率P(H|W)，计算所述文本属于所述第一特征文本库S的概率P；以及

基于所述概率P，将所述待分类的文本分类；

所述基于所述概率P(S|W)和所述概率P(H|W)，计算所述文本属于所述第一特征文本库S的概率P，计算公式包括：

其中，P(S)为所述文本属于所述第一特征文本库S的先验概率，P(H)为所述文本属于所述第二特征文本库H的先验概率。

2.如权利要求1所述的方法，其中计算所述第一特征文本库S和所述第二特征文本库H中各词语W在所述第一特征文本库S中出现的概率P(S|W)和在所述第二特征文本库H中出现的概率P(H|W)包括：

分别对所述第一特征文本库和所述第二特征文本库中的文本进行分词处理，以获得分词后的词语W；

分别计算各词语W在所述第一特征文本库S中出现的概率P(S|W)和在所述第二特征文本库H中出现的概率P(H|W)。

3.如权利要求1所述的方法，其中计算所述第一特征文本库S和所述第二特征文本库H中各词语W在所述第一特征文本库S中出现的概率P(S|W)和在所述第二特征文本库H中出现的概率P(H|W)包括：

建立所述第一特征文本库S的哈希表T(S)和所述第二特征文本库H的哈希表T(H)，所述哈希表T(S)包括所述词语W与所述词语在所述第一特征文本库S中出现的频率F(S|W)的映射关系，所述哈希表T(H)包括所述词语W与所述词语在所述第二特征文本库H中出现的频率F(H|W)的映射关系；

基于所述哈希表T(S)、所述频率F(S|W)、所述哈希表T(H)和所述频率F(H|W)，计算所述概率P(S|W)和所述概率P(H|W)，其中所述概率P(S|W)＝F(S|W)/(哈希表T(S)的长度)，所述概率P(H|W)＝F(H|W)/(哈希表T(H)的长度)。

4.如权利要求1或3所述的方法，其中当文本中包含所述词语W时，基于所述概率P(S|W)和所述概率P(H|W)，计算所述文本属于所述第一特征文本库S的概率P还包括：

基于所述概率P(S|W)和所述概率P(H|W)，计算所述第一特征文本库S和所述第二特征文本库H中各词语W的权重P(weight)；

基于所述概率P(S|W)和所述权重P(weight)，计算所述文本属于所述第一特征文本库S的概率P。

5.如权利要求1或3所述的方法，其中当文本中包含所述词语W时，基于所述概率P(S|W)和所述概率P(H|W)，计算所述文本属于所述第一特征文本库S的概率P包括：

当所述文本中包含N个词语W₁…W_i…W_N，其中1≤i≤N，基于每个词语W_i的所述概率P(S|W_i)和所述概率P(H|W_i)，分别计算所述文本属于所述第一特征文本库S的概率P_i；

基于所述N个词语W₁…W_i…W_N的概率P₁…P_i…P_N，计算所述文本属于所述第一特征文本库S的概率P。

6.如权利要求1或3所述的方法，其中基于所述概率P，将所述文本分类包括：

将所述概率P与预先确定的阈值P₀比较；

当所述概率P大于所述阈值P₀时，将所述文本分类为属于所述第一特征文本库S。