[发明专利]一种文本反垃圾的方法

摘要

本发明公开了一种文本反垃圾的方法，所述方法当服务器接收到用户发送端发送的文本时，判断该用户发送端是否为信任用户，若为信任用户，则直接将该文本发送至用户接收端，否则，则将该用户发送端发送的文本转换为对应的文本信息指纹与标准垃圾库中存储的文本信息指纹进行对比，以判断该文本是否为垃圾文本，若为垃圾文本，则屏蔽过滤，否则，将该文本发送至对应的用户接收端。本发明可快速有效过滤文本垃圾，同时采用用户举报的机制自动循环更新标准垃圾库，大大降低了人工成本和滞后性。

主权项

一种文本反垃圾的方法，其特征在于，包括当服务器接收到用户发送端发送的文本时，判断该用户发送端是否为信任用户，若为信任用户，则直接将该文本发送至用户接收端，所述用户接收端在接收到文本后，若其举报该文本，则根据筛选规则判断该文本是否为可信文本，当其为不可信文本时，则通过simhash算法将该可信文本转换为对应的文本信息指纹并存储至标准垃圾库，以循环更新标准垃圾库；所述simhash算法包括将用户发送端发送的文本转换为对应的文本信息指纹，提前采用大量的样本，计算hash落在每一位上的概率，对于需要转换的文本，每一次投影仅在它投影到的位上加1，在投影过程结束时，计算每一位上的投影次数与该文本总投影次数的比值，大于采用样本提前计算的对应位概率时则置为1，否则置为0，以及，对文本长度为5范围内进行新组合，并形成特征参与投影过程；否则，则将该用户发送端发送的文本转换为对应的文本信息指纹与标准垃圾库中存储的文本信息指纹进行对比，以判断该文本是否为垃圾文本，若为垃圾文本，则屏蔽过滤，否则，将该文本发送至对应的用户接收端，其中所述筛选规则包括关键词、举报者等级、被举报者等级、该文本被举报次数以及该举报者被举报次数。