[发明专利]垃圾文本判别方法、装置及服务器有效
申请号: | 201810040355.1 | 申请日: | 2018-01-16 |
公开(公告)号: | CN108334567B | 公开(公告)日: | 2021-09-10 |
发明(设计)人: | 郑培凝 | 申请(专利权)人: | 北京奇艺世纪科技有限公司 |
主分类号: | G06F16/35 | 分类号: | G06F16/35;G06F40/289 |
代理公司: | 北京柏杉松知识产权代理事务所(普通合伙) 11413 | 代理人: | 马敬;项京 |
地址: | 100080 北京市海淀区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 垃圾 文本 判别 方法 装置 服务器 | ||
本发明实施例提供了一种垃圾文本判别方法、装置及服务器,其中,垃圾文本判别方法,应用于服务器,该方法包括:将接收到的文本发送给预先排序好的各模块按顺序进行判别;针对每一个模块,将该模块下的不同预处理进行排序,得到该模块的预处理序列;获取经其他模块预处理序列的预处理子序列预处理过的文本;按当前模块的预处理序列对所获取的文本进行当前模块的预处理序列中剩余预处理部分的预处理;针对每一个模块,将经该模块的预处理序列预处理过的文本按当前模块预设的函数进行计算,得到文本的属性;根据每一个模块得到的文本的属性,做出对所述文本的判别结果。使用该方法可以省去重复预处理,提高对垃圾文本的预处理效率。
技术领域
本发明涉及计算机技术领域,特别是涉及一种垃圾文本判别方法、装置及服务器。
背景技术
目前文本反垃圾在各个互动、社交类的客户端、网站、App(Application,应用)均有不同程度的应用。文本反垃圾犹如一张滤网,过滤掉广告、虚假宣传或影响社会健康的一系列不合适的内容,保障了各客户端、网站和App处于一个积极向上、纯净的交流环境。
在进行文本反垃圾时需要先对垃圾文本进行判别,现有技术判别垃圾文本的通常方法是,当服务器接收到文本时,将文本同时分发给不同的用于对文本进行预处理并计算的模块,各模块按一定次序对文本进行预处理后,对预处理后的文本进行属性计算,其中,各模块会分别计算出文本的不同属性,服务器再将不同模块计算出的属性汇聚起来进行总计算,得出对该文本最终的判别结果。
由于现有技术是将文本同时分发给不同模块后,不同模块各自独立地同时对该文本进行预处理,这样就会导致当不同模块存有相同的预处理时,各模块对同一文本进行重复的预处理,从而使计算量增大,占用更多的CPU资源,对垃圾文本的判别效率较低。
发明内容
本发明实施例的目的在于提供一种垃圾文本判别方法、装置及服务器,可以减少对垃圾文本判别的计算量、节约CPU资源,从而提高判别垃圾文本的效率。具体技术方案如下:
第一方面,本发明实施例提供了一种垃圾文本判别方法,一种垃圾文本判别方法,应用于服务器,包括:
将接收到的文本发送给预先排序好的各模块按顺序进行判别;
针对每一个模块,将该模块下的不同预处理进行排序,得到该模块的预处理序列;
针对每一个模块的预处理序列,获取经其他模块预处理序列的预处理子序列预处理过的文本,所述其他模块的预处理序列的预处理子序列与当前模块的预处理序列的预处理子序列相同;
按当前模块的预处理序列对所获取的文本进行当前模块的预处理序列中剩余预处理部分的预处理,所述剩余预处理部分为当前模块的预处理序列中未被其他模块的预处理子序列预处理过的预处理部分;
针对每一个模块,将经该模块的预处理序列预处理过的文本按当前模块预设的函数进行计算,得到文本的属性;
根据每一个模块得到的文本的属性,做出对所述文本的判别结果。
可选的,所述针对每一个模块的预处理序列,获取经其他模块预处理序列的预处理子序列预处理过的文本,所述其他模块的预处理序列的预处理子序列与当前模块的预处理序列的预处理子序列相同;按当前模块的预处理序列对所获取的文本进行当前模块的预处理序列中剩余预处理部分的预处理,包括:
针对每一个模块的预处理序列,判断是否存有经其他模块预处理序列的预处理子序列预处理过的文本;
如果是,获取经其他模块预处理序列的预处理子序列预处理过的文本,所述其他模块的预处理序列的预处理子序列与当前模块的预处理序列的预处理子序列相同;按当前模块的预处理序列对所获取的文本进行当前模块的预处理序列中剩余预处理部分的预处理;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇艺世纪科技有限公司,未经北京奇艺世纪科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810040355.1/2.html,转载请声明来源钻瓜专利网。