[发明专利]基于逐点互信息技术的诈骗信息特征词提取方法及系统

说明书

本发明涉及一种基于逐点互信息技术的诈骗信息特征词提取方法及系统，该提取方法包括：提取诈骗信息主题关键词，组成主题关键词集合；将信息组中的信息按是否为诈骗信息划分为正样本集合和负样本集合，并得到正样本分词集合、负样本候分词集合和候选关键词集合；根据候选关键词集合的候选关键词在信息组的正相互性PMI值和负相互性PMI值得到候选关键词在信息组的权重，将权重大于预设阈值的候选关键词记为信息组的合格关键词。本发明通过对信息组中的信息进行处理，得到候选关键词集合，计算候选关键词相对于信息的正相互性PMI值和负相互性PMI值，得到候选关键词的权重，由此判断是否为合格关键词，实现了对数据流式信息的关键词提取。

技术领域

本发明涉及信息检索技术领域，尤其涉及基于逐点互信息技术的诈骗信息特征词提取方法及系统。

背景技术

目前，随着互联网的快速发展，诈骗信息在网络信息空间中的快速多样化传播，特别是网络信息空间中涉及各个实体用户的网络环境，各种信息成爆炸式增长，使得用户对信息真实性、实时性、准确性的要求越来越高，相应的，对传统安全过滤技术的考验也日益严峻。在网络信息空间中，除了正常信息，还有大量正常业务合法流量，包括大量合法推送广告等流量。随着人们认知水平的提高，短信中的语言和内容也是日新月异，不断变化。甚至出现了“公证处通知”、“银行通知”、“中奖通知”、“特等奖”、“中奖”、“法院通知”、“法院传单”等等金钱诱惑和冒名的“威逼利诱”的字样。诈骗信息是属于损害广大用户利益，违法国家法律的有害流量。

发明内容

为了解决现有技术存在的问题，本发明的至少一个实施例提供了一种基于逐点互信息技术的诈骗信息特征词提取方法，包括：

根据用户输入的指令从信息组中提取诈骗信息主题关键词，组成主题关键词集合；

将所述信息组中的信息按是否为诈骗信息划分为正样本集合和负样本集合，并分别对所述正样本集合和负样本集合中的信息进行分词，得到正样本分词集合、负样本分词集合和候选关键词集合；

根据所述信息组的主题关键词集合、正样本分词集合和负样本分词集合得到所述候选关键词集合的候选关键词在所述信息组的正相互性PMI值和负相互性PMI值；

根据所述正相互性PMI值和负相互性PMI值得到所述候选关键词在所述信息组的权重，当所述候选关键词的权重大于预设阈值时，将所述候选关键词记为所述信息组的合格关键词。

在上述方案的基础上，本发明实施例还可以做出如下改进。

可选的，所述根据用户输入的指令从信息组中提取诈骗信息主题关键词之前，该提取方法还包括：

通过自动聚类方法对接收到的信息按类别进行划分，得到不同类型的所述信息组，所述自动聚类方法包括：原型聚类、高斯混合聚类、密度聚类和层次聚类。

可选的，所述根据所述信息组的主题关键词集合、正样本分词集合和负样本分词集合得到所述候选关键词集合的候选关键词在所述信息组的正相互性和负相互性，具体包括：

通过逐点互信息技术分别计算所述候选关键词与所述主题关键词集合中所有主题关键词在所述正样本集合的PMI值，并分别归一化处理后进行求和，得到所述候选关键词在所述正样本集合的正相互性PMI值；

通过逐点互信息技术分别计算所述候选关键词与所述主题关键词集合中所有主题关键词在所述负样本集合的PMI值，并分别归一化处理后进行求和，得到所述候选关键词在所述负样本集合的负相互性PMI值。

可选的，计算候选关键词与主题关键词在样本集合中PMI值的计算公式包括：