[发明专利]一种垃圾短信的过滤方法及装置在审
申请号: | 201611027840.2 | 申请日: | 2016-11-21 |
公开(公告)号: | CN108093376A | 公开(公告)日: | 2018-05-29 |
发明(设计)人: | 米婧;张星;柏洪涛;耿慧拯 | 申请(专利权)人: | 中国移动通信有限公司研究院;中国移动通信集团公司 |
主分类号: | H04W4/14 | 分类号: | H04W4/14;H04W12/12 |
代理公司: | 北京同达信恒知识产权代理有限公司 11291 | 代理人: | 朱琳爱义 |
地址: | 100053 北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 垃圾短信 噪音特征 短信文本 向量空间 决策树分类器 过滤方法及装置 分类条件 垃圾短信过滤 文本形式 用户接收 准确率 构建 权重 分类 灵活 挖掘 中文 | ||
本发明公开了一种垃圾短信的过滤方法及装置,通过对获取到的短信文本提取各类噪音特征,计算各类噪音特征在短信文本中的权重,构建各类噪音特征的向量空间;再将其输送至决策树分类器中,根据各类噪音特征的向量空间,以及预先训练完成的决策树分类器,确定各类噪音特征的向量空间是否满足决策树分类器中垃圾短信的分类条件,当确定各类噪音特征的向量空间满足垃圾短信的分类条件时,即可以确认获取到的短信文本为垃圾短信。因此,该方法通过对噪音特征的挖掘,实现了对短信文本中存在的特殊文本形式进行分类,灵活地应对垃圾短信中文本内容的形式多样化,提高了垃圾短信过滤的准确率,进而减少了用户接收到垃圾短信的几率,提高了用户的体验。
技术领域
本发明涉及信息安全技术领域,尤指一种垃圾短信的过滤方法及装置。
背景技术
随着信息技术的高速发展,短信因其使用方便、发送简单等优势,成为了人们日常生活中用于彼此沟通的桥梁,同时各式各样的广告诈骗短信也随之而来,对公民个人隐私和社会安定造成了极大的影响。因此,为了保护个人隐私,保证信息安全,就要对垃圾短信进行过滤,如图1所示的短信收发流程的结构示意图,短信发送方10将短信文本经过第一短信中心20发送到短信过滤系统30中,短信过滤系统30对获取到的短信文本进行分类过滤,将非垃圾短信经过第二短信中心40发送至短信接收方50,实现对短信文本的过滤。然而,由于目前短信文本样式与之前相比发生了根本性的变化,文本内容不再是简单的平白文字,附加的还有各式各样的表情符号等特殊格式的内容,这给垃圾短信的过滤带来了极大的挑战。
在现有技术中,为了实现短信过滤,通常采用的方法有:通过设置黑白名单过滤,关键词策略匹配的过滤,用户的举报行为,人为的标注,以及基于内容的文本分类过滤等。但这些方法只能拦截那些反复发送垃圾短信的号码或包含固定关键词的垃圾短信,对目前出现的包含各式各样的表情符号等特殊格式内容的短信则无法实现过滤,而且对垃圾短信的特殊文本形式不能进行细化分类,导致误报率和漏报率较高。
基于此,如何实现对具有特殊文本形式的垃圾短信进行过滤,提高垃圾短信过滤的准确率,是本领域技术人员亟待解决的技术问题。
发明内容
本发明实施例提供一种垃圾短信的过滤方法及装置,用以解决如何实现对具有特殊文本形式的垃圾短信进行过滤,提高垃圾短信过滤的准确率的问题。
本发明实施例提供了一种垃圾短信的过滤方法,包括:
提取获取到的短信文本中各类噪音特征,所述各类噪音特征包括:特殊格式特征、干扰特征、文本长度特征和名词个数特征;
分别确定所述各类噪音特征在所述短信文本中的权重;
根据所述各类噪音特征的权重,构建所述各类噪音特征的向量空间;
根据构建出的所述各类噪音特征的向量空间,以及预先训练完成的决策树分类器,确定所述各类噪音特征的向量空间是否满足所述决策树分类器中垃圾短信的分类条件;
在确定所述各类噪音特征的向量空间满足所述决策树分类器中垃圾短信的分类条件时,将所述短信文本确认为垃圾短信。
在一种可能的实施方式中,在本发明实施例提供的上述垃圾短信的过滤方法中,所述提取获取到的短信文本中各类噪音特征,具体包括:
对所述短信文本进行文本分词和词性标注;
根据所述文本分词的结果,提取所述短信文本中的包含特殊字符、数字和字母的特殊格式特征;
根据所述词性标注的结果,提取文本长度特征和名词个数特征;
根据所述文本分词和词性标注的结果,提取包含各种反拦截行为的干扰特征。
在一种可能的实施方式中,在本发明实施例提供的上述垃圾短信的过滤方法中,所述分别确定所述各类噪音特征在所述短信文本中的权重,具体包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国移动通信有限公司研究院;中国移动通信集团公司,未经中国移动通信有限公司研究院;中国移动通信集团公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201611027840.2/2.html,转载请声明来源钻瓜专利网。