[发明专利]一种确定垃圾信息的方法及系统

说明书

技术领域

本发明涉及信息过滤领域，特别是涉及一种确定垃圾信息的方法及系统。

背景技术

如今，越来越多的用户通过网络收发大量信息，充分利用互联网进行信息交流和资源共享。但是，在这些信息中常常包含大量的垃圾信息，所述垃圾信息对用户无任何的价值，甚至是一些恶意的批量发布、具有非法目的的信息。最常见的即为垃圾电子邮件，用户可能在电子邮箱中收到广告、非法活动宣传，甚至是病毒邮件。这些垃圾邮件占用大量网络资源，造成服务器和网络流量的巨大压力，而且一些非法信息极大地造成了网络安全隐患。

针对上述情况，目前的网站通常都设有垃圾邮件过滤功能，采用各种反垃圾的方法阻止垃圾信息的发布，如针对用户发布的信息内容，采用无规则时间延缓、人工审核或者关键字过滤等方法。其中，关键字过滤的方法是最为智能、有效的方法。所述关键字是垃圾信息关键字，指经常出现在垃圾信息中，能够明显代表垃圾信息部分特征的字、词以及词组。对于关键字过滤，一般的方法是预先定义一些垃圾信息关键字，然后在互联网用户发布信息时，系统扫描所述信息，根据所述关键字及各种规则，确定是否有所述预定义的垃圾信息存在，如果有则不允许发布，或者将信息作为垃圾信息处理，甚至将信息发布者放入黑名单。所述方法更多地应用于垃圾邮件的过滤，能够自动识别出垃圾邮件。

目前，上述信息过滤的关键在于如何合理地预定义垃圾信息，若定义合理，就能够从大量信息中正确识别出垃圾信息，若定义不合理则过滤效果差。一般方法是根据经验或从已经标记为垃圾信息的信息中选取，人为地预定义一些关键字作为垃圾信息内容。所述方式虽然能够过滤出垃圾信息，但是由于根据人为因素决定的关键字具有一定的随意性，因此过滤结果存在很大的误差率：对于一些不在关键字范围内或关键字出现频率较低的垃圾信息，就不能识别出来；而对于一些虽符合垃圾信息的部分特征，但不属于垃圾信息的信息，也可能误判为垃圾信息。

发明内容

本发明所要解决的技术问题是提供一种确定垃圾信息的方法及系统，以解决预定义垃圾信息不合理的问题，通过合理确定垃圾信息内容，提高信息过滤的效果。

为解决上述技术问题，本发明提供了一种确定垃圾信息的方法，包括：

预定义样本数据中的垃圾信息关键字；

对应每个关键字，计算关键字分值；

采用所述关键字分值，模拟过滤样本数据，得到过滤指标值；

判断所述过滤指标值是否符合评测指标，若不符合，则调整关键字或关键字分值，重新模拟计算过滤指标值；若符合，则结束调整。

其中，执行以下调整步骤：增加关键字，重新计算关键字分值；或者，人工调整原有关键字对应的分值。

其中，按照以下步骤模拟过滤样本数据：采用所述关键字分值，逐条计算样本数据是垃圾信息的概率；将每条样本数据的概率与预定义的垃圾阈值比较，若大于或等于阈值，则判定为垃圾信息；对应所述判定结果，统计样本数据的过滤指标值。

其中优选的，采用全概率公式计算样本数据是垃圾信息的概率，采用贝叶斯算法计算关键字分值。

优选的，对应不同的应用需求，预定义不同的垃圾信息关键字。

本发明还提供了一种确定垃圾信息的系统，包括：

存储单元，用于保存样本数据中的垃圾信息关键字及关键字分值；

模拟统计单元，用于对应每个关键字，计算关键字分值；采用所述关键字分值，模拟过滤样本数据，得到过滤指标值；

调整单元，用于判断所述过滤指标值是否符合评测指标，若不符合，则调整关键字或关键字分值，触发所述模拟统计单元，重新模拟计算过滤指标值；若符合，则结束调整。

其中，所述调整单元执行以下调整步骤：增加关键字，并触发所述模拟统计单元重新计算关键字分值；或者，人工调整原有关键字对应的分值。

优选的，对应不同的应用需求，所述存储单元存有不同的垃圾信息关键字及关键字分值。

与现有技术相比，本发明具有以下优点：

首先，通过模拟计算样本数据的过滤指标值，并与评测指标比较来循环调整关键字和关键字分值，从而确定预定义的关键字及对应的关键字分值是否合理。本发明所述方法能够帮助用户科学定义垃圾信息关键字及关键字分值，并根据所述关键字及对应分值判定信息是否为垃圾信息，从而提高信息过滤的效果。使用本发明所述方法定义的垃圾信息，在垃圾信息处理系统中，能够达到非常高效的指标。