[发明专利]微博广告博文识别方法及装置

摘要

本发明公开一种微博广告博文识别方法及装置，其方法包括：以已知广告博文和非广告博文为样本，创建微博过滤器；基于微博过滤器及贝叶斯算法对当前微博博文进行广告识别。本发明基于贝叶斯算法，以已知广告博文和非广告博文为样本，得到广告或非广告微博过滤器，并利用该微博过滤器来判断当前微博博文是广告博文的概率，由此对微博中的广告博文进行有效识别，并提高了搜索引擎的有效数据召回率；此外，还可以通过学习新的广告博文及正常博文样本（非广告博文），不断的更新训练来更新微博过滤器，对实时性较强的微博媒体文本的广告博文的识别更加有效。

主权项

1.一种微博广告博文识别方法，其特征在于，包括：以已知广告博文和非广告博文为样本，创建微博过滤器；基于所述微博过滤器及贝叶斯算法对当前微博博文进行广告识别；其中，在基于所述微博过滤器及贝叶斯算法对当前微博博文进行广告识别之后，所述方法还包括：根据识别出的广告博文和非广告博文，重新进行学习，更新所述微博过滤器；其中，所述以已知广告博文和非广告博文为样本，创建微博过滤器的步骤包括：收集若干已知广告博文和非广告博文分别组成广告博文集和非广告博文集，作为样本；对所述广告博文集和非广告博文集中的每一篇博文进行分词，得到每一篇博文的单词序列；计算获取所述广告博文集中每一单词在该广告博文集中出现的概率；计算获取所述非广告博文集中每一单词在该非广告博文集中出现的概率；根据计算获取的概率，对应建立所述广告博文集和非广告博文集中每一单词和该单词在所述广告博文集中出现的概率的对应关系哈希表或该单词在非广告博文集中出现的概率的对应关系哈希表；基于所述单词在广告博文集中出现的概率的对应关系哈希表与所述单词在非广告博文集中出现的概率的对应关系哈希表，根据贝叶斯算法建立广告博文集中，基于对应单词出现广告博文的概率与该单词的映射关系哈希表，得到广告博文过滤器；或者所述以已知广告博文和非广告博文为样本，创建微博过滤器的步骤包括：收集若干已知广告博文和非广告博文分别组成广告博文集和非广告博文集，作为样本；对所述广告博文集和非广告博文集中的每一篇博文进行分词，得到每一篇博文的单词序列；计算获取所述广告博文集中每一单词在该广告博文集中出现的概率；计算获取所述非广告博文集中每一单词在该非广告博文集中出现的概率；根据计算获取的概率，对应建立所述广告博文集和非广告博文集中每一单词和该单词在所述广告博文集中出现的概率的对应关系哈希表或该单词在非广告博文集中出现的概率的对应关系哈希表；基于所述单词在广告博文集中出现的概率的对应关系哈希表与所述单词在非广告博文集中出现的概率的对应关系哈希表，根据贝叶斯算法建立非广告博文集中，基于对应单词出现非广告博文的概率与该单词的映射关系哈希表，得到非广告博文过滤器。