[发明专利]一种垃圾信息识别方法及设备

说明书

一种垃圾信息识别方法及设备，可将历史识别到的垃圾信息、以及、与最近时间段被举报的垃圾信息相关的垃圾信息自动更新到训练样本集中，以对训练得到的信息识别模型进行不断更新，形成完整的基于闭环数据流的信息识别系统，从而一方面可提高所述信息识别模型对变异垃圾信息的抓取能力，另一方面还可确保所述信息识别模型对旧有形式的垃圾信息的识别能力不下降，达到了提高信息识别的时效性、准确性以及减轻人力成本等的效果。

技术领域

本申请涉及信息处理技术领域，尤其涉及一种垃圾信息识别方法及设备。

背景技术

随着网络的推广和普及，网络信息量越来越大。大量的网络信息中必然存在一些非法信息(也可称为垃圾信息)，不仅浪费网络资源，而且污染了网络环境，为用户带来诸多困扰。

例如，在电子商务领域，出现越来越多的不法用户通过发布广告评价信息(即垃圾信息)来推销三无产品，或者炒信、作弊，以误导消费者；这种行为不仅污染了评价系统，甚至可能严重损害消费者的利益。因此，为了保证网络信息的健康、合法，垃圾信息的自动识别变得越来越重要。

目前，在垃圾信息的自动识别领域(即反垃圾领域)，工业界常用的技术主要有以下几种：

第一、基于关键字的垃圾信息识别技术。该技术主要采用匹配关键字或关键词的方法，将关键字或关键词和用户输入的信息内容进行精确或模糊匹配，将符合预设规则的信息(如命中多个关键字或关键词的信息)确定为垃圾信息，以达到垃圾信息识别的效果。该方法简单有效，易于实现，消耗的计算资源少，且准确率能够基本满足业务需求，在垃圾信息识别的初级阶段是个可行的方案。

但是，基于关键字的垃圾信息识别技术存在很大的局限性。这是因为，一些非垃圾信息(即正常信息)中也可能会包含有相应的关键字或关键词，从而可能会存在信息的误判。此外，由于自然语言中词的多义性和同义性，同一个关键字或关键词，在不同的上下文环境中，所代表的意义就不同，很难做到普适性，进一步增大了信息的误判，使得垃圾信息识别的准确度难以得到保证。

第二、黑白名单过滤技术。该技术在判断信息是否为垃圾信息时，首先会判断发布信息的用户是否在黑名单或者白名单中，对于处于黑名单中的用户则直接屏蔽掉该用户发表的信息。该技术简单、明确，能够极大地节约反垃圾信息系统的资源；且，还能够迫使垃圾信息发布者需要不停更换账号来发布信息，由于目前账号申请需要实名验证，因此也可达到增加垃圾信息发布者发布信息的成本，以减少垃圾信息的目的。

但该技术的局限性也很大，一则是垃圾信息发布者也可能发布正常的信息，如，进行正常的购物行为、发布正常的评价等，从而导致这些正常信息被误判，降低垃圾信息识别的准确度；二则是黑白名单库需要人工实时维护，耗费巨大的人力资源。

第三、贝叶斯统计过滤技术。该技术是基于机器学习中贝叶斯分类器的一种垃圾信息识别技术，其主要思想是通过对正常的文本与垃圾文本中的单词进行概率统计，从整体上判断文本是否为垃圾文本。该分类器有较好的准确率，且不需要人工去干涉评判垃圾信息的规则，系统可以通过训练样本自动学习垃圾信息文本与正常文本之间的差别，在一定程度上降低了垃圾信息识别的人力成本，且垃圾信息发布者无法猜测出过滤器的具体规则。

但是，基于机器学习的垃圾信息识别方法需要每隔设定时间(例如，几个月或半年)人工重新训练机器学习模型以更新垃圾信息识别模型，因此，对更新变种较快的垃圾信息具备很大的延时性，往往导致对变异垃圾信息的漏判，降低垃圾信息识别的准确度。

由此可见，现有的垃圾信息识别技术都在不同程度上存在着识别结果不准确，以及耗费人力资源较大的问题。

发明内容

本申请实施例提供了一种垃圾信息识别方法及设备，用以解决现有的垃圾信息识别技术都在不同程度上存在着识别结果不准确，以及耗费人力资源较大的问题。

本申请实施例提供了一种垃圾信息识别方法，所述方法包括：