[发明专利]一种文本分类方法和装置

说明书

本发明公开了一种文本分类方法和装置。所述方法包括：建立第一特征文本库S和第二特征文本库H；计算所述第一特征文本库S和所述第二特征文本库H中各词语W在所述第一特征文本库S中出现的概率P(S|W)和在所述第二特征文本库H中出现的概率P(H|W)；当待分类的文本中包含所述词语W时，基于所述概率P(S|W)和所述概率P(H|W)，计算所述文本属于所述第一特征文本库S的概率P；以及基于所述概率P，将所述待分类的文本分类。

技术领域

本发明涉及计算机技术领域，尤其涉及一种文本分类方法和装置。

背景技术

随着手机、电脑等电子设备的普及，对于应用的需求显著增加，而应用的种类和数量也迅速增加。为了争取更多的用户或增加用户的充值数额，某些应用会产生很多异常文本或者垃圾文本，作为恶意广告，比如“充值 100元宝送50元宝”，“A应用比B应用好，来用”。基于这个原因，需要将这种文本信息捕捉到并将相应的用户拉黑或者屏蔽其发言。而且由于应用的数据量过大，人工审核过于麻烦，所以需要服务器能够自动分辨出哪些应用的异常文本或者垃圾文本数据需要屏蔽或者哪些用户需要被屏蔽。

一种技术方案是采用字符匹配的方式与人工的方法，比如定义一个黑名单列表(包括“充值”或者其他关键字)，然后将应用所发的文本数据与该列表进行匹配，如果匹配到则屏蔽该文本，如果没有匹配到，则认为该文本数据为正常文本。该方法简单，但无法实现服务器自动更新黑名单列表，必须需要人工不断补充相关黑名单列表。比如之前的黑名单列表中不包括(“充一百送一百”)，则如果有用户发了该文本，则相应的程序监测不到，会认为其是一个正常文本。因此需要人工的将该文本加到黑名单列表中，因此也会导致黑名单列表越来越大，最后可能会导致服务器计算的速度下降。而且服务器对于异常文本或者垃圾文本的识别效果都不理想，而且很容易被规避。

发明内容

鉴于上述问题，提出了本发明，以便提供一种克服上述问题或者至少部分地解决上述问题的文本分类方法和装置。

依据本发明的第一方面，提供了一种文本分类方法，包括：建立第一特征文本库S和第二特征文本库H；计算所述第一特征文本库S和所述第二特征文本库H中各词语W在所述第一特征文本库S中出现的概率 P(S|W)和在所述第二特征文本库H中出现的概率P(H|W)；当待分类的文本中包含所述词语W时，基于所述概率P(S|W)和所述概率P(H|W)，计算所述文本属于所述第一特征文本库S的概率P；以及基于所述概率P，将所述待分类的文本分类。

可选地，其中计算所述第一特征文本库S和所述第二特征文本库H 中各词语W在所述第一特征文本库S中出现的概率P(S|W)和在所述第二特征文本库H中出现的概率P(H|W)包括：分别对所述第一特征文本库和所述第二特征文本库中的文本进行分词处理，以获得分词后的词语W；分别计算各词语W在所述第一特征文本库S中出现的概率P(S|W)和在所述第二特征文本库H中出现的概率P(H|W)。

可选地，其中计算所述第一特征文本库S和所述第二特征文本库H 中各词语W在所述第一特征文本库S中出现的概率P(S|W)和在所述第二特征文本库H中出现的概率P(H|W)包括：建立所述第一特征文本库S的哈希表T(S)和所述第二特征文本库H的哈希表T(H)，所述哈希表T(S)包括所述词语W与所述词语在所述第一特征文本库S中出现的频率F(S|W) 的映射关系，所述哈希表T(H)包括所述词语W与所述词语在所述第二特征文本库H中出现的频率F(H|W)的映射关系；基于所述哈希表T(S)、所述频率F(S|W)、所述哈希表T(H)和所述频率F(H|W)，计算所述概率 P(S|W)和所述概率P(H|W)，其中所述概率P(S|W)＝F(S|W)/(哈希表T(S) 的长度)，所述概率P(H|W)＝F(H|W)/(哈希表T(H)的长度)。