[发明专利]内容过滤的方法、装置及系统有效
申请号: | 201110456467.3 | 申请日: | 2011-12-30 |
公开(公告)号: | CN102542063A | 公开(公告)日: | 2012-07-04 |
发明(设计)人: | 张辉;姜南;范家星 | 申请(专利权)人: | 华为技术有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京中博世达专利商标代理有限公司 11274 | 代理人: | 申健 |
地址: | 518129 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 内容 过滤 方法 装置 系统 | ||
1.一种内容过滤的方法,其特征在于,包括:
获取待过滤的网络内容片断;
根据事件元素提取规则,对所述待过滤的网络内容片断进行事件元素提取,并按照事件模板将提取的事件元素生成对应于所述待过滤的网络内容片断的语义特征向量;
根据事件分类模型,对所述语义特征向量进行正负类类别判断;
若所述对应于所述待过滤的网络内容片断的语义特征向量被判定为负类,则对所述待过滤的网络内容片断对应的网络内容进行过滤处理。
2.根据权利要求1所述的内容过滤的方法,其特征在于,所述获取待过滤的网络内容片断,包括:
获取当前数据包以及所述当前数据包的前驱数据包;
对所述当前数据包及所述前驱数据包进行解封装,得到所述当前数据包及所述前驱数据包的内容;
判断所述当前数据包及所述前驱数据包的内容中是否存在事件触发词,所述事件触发词用于指示进行网络内容过滤时使用事件模板的类型;
若所述当前数据包或所述前驱数据包中任意一个的内容中存在事件触发词,则将所述当前数据包和所述前驱数据包重组,得到待过滤的网络内容片断。
3.根据权利要求2所述的内容过滤的方法,其特征在于,在判断所述当前数据包及所述前驱数据包的内容中是否存在事件触发词之后,还包括:
若所述当前数据包和所述前驱数据包的内容中均不存在所述事件触发词,则直接转发所述前驱数据包并缓存所述当前数据包。
4.根据权利要求1或2所述的内容过滤的方法,其特征在于,当所述待过滤的网络内容片断为动态文本数据时,所述根据事件元素提取规则,对所述待过滤的网络内容片断进行事件元素提取包括:
从所述待过滤的网络内容片断中提取事件句,并对所述事件句进行自然语言处理;
根据事件元素提取规则,对经过自然语言处理后的事件句进行事件元素提取。
5.根据权利要求1所述的内容过滤的方法,其特征在于,当所述待过滤的网络内容片断为静态文本数据时,所述根据事件元素提取规则,对所述待过滤的网络内容片断进行事件元素提取还包括:
从所述待过滤的网络内容片断中提取多个事件句,并对多个事件句分别进行自然语言处理;
根据事件元素提取规则,对经过自然语言处理后的多个事件句进行事件元素提取;
所述按照事件模板将提取的事件元素生成对应于所述待过滤的网络内容片断的语义特征向量为:
根据事件模板,将提取的对应于事件句的事件元素生成对应的语义特征向量;
将所述对应于多个事件句的语义特征向量组合生成对应于待过滤的所述网络内容片断的语义特征向量。
6.根据权利要求1所述的内容过滤的方法,其特征在于,在所述获取待过滤的网络内容片断之前,还包括:
获取第一粗语料,并对所述第一粗语料进行事件聚类处理,生成第二粗语料、事件模板及事件触发词词表,其中,一个所述事件模板对应事件触发词词表中的多个事件触发词。
根据所述事件触发词词表中的事件触发词,在所述第二粗语料中识别出包含所述事件触发词的事件句,并对所述事件句进行标注生成事件分类训练语料;
从所述事件分类训练语料的事件句中根据所述事件句中的事件触发词对应的事件模板提取语义特征向量,并根据所述语义特征向量进行模型训练,生成事件分类模型,所述事件分类模型,用于指示语义特征向量的正负类别。
7.根据权利要求1所述的内容过滤的方法,其特征在于,在所述根据事件分类模型,对所述语义特征向量进行正负类类别判断之后,还包括:
若所述对应于所述待过滤的网络内容片断的语义特征向量被判断为正类,则直接转发所述待过滤的网络内容片断。
8.根据权利要求1所述的内容过滤的方法,其特征在于,当所述待过滤的网络内容片断为动态文本数据时,在对所述待过滤的网络内容片断对应的网络内容进行过滤处理之前,还包括:
于第一阈值时间段内,对判定为负类事件的次数进行统计,得到第一统计值;
若所述对应于所述待过滤的网络内容片断的语义特征向量被判定为负类且所述第一统计值等于或小于第一阈值,则将所述负类网络内容片断对应的网络内容进行转发;
若所述对应于所述待过滤的网络内容片断的语义特征向量被判定为负类且所述第一统计值大于第一阀值,则执行所述对所述待过滤的网络内容片断对应的网络内容进行过滤处理。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术有限公司,未经华为技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201110456467.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种数据报文的处理方法、装置及系统
- 下一篇:一种球形叶片式压缩机
- 内容再现系统、内容提供方法、内容再现装置、内容提供装置、内容再现程序和内容提供程序
- 内容记录系统、内容记录方法、内容记录设备和内容接收设备
- 内容服务系统、内容服务器、内容终端及内容服务方法
- 内容分发系统、内容分发装置、内容再生终端及内容分发方法
- 内容发布、内容获取的方法、内容发布装置及内容传播系统
- 内容提供装置、内容提供方法、内容再现装置、内容再现方法
- 内容传输设备、内容传输方法、内容再现设备、内容再现方法、程序及内容分发系统
- 内容发送设备、内容发送方法、内容再现设备、内容再现方法、程序及内容分发系统
- 内容再现装置、内容再现方法、内容再现程序及内容提供系统
- 内容记录装置、内容编辑装置、内容再生装置、内容记录方法、内容编辑方法、以及内容再生方法