[发明专利]一种内容风险控制方法和装置

说明书

本申请提供了一种内容风险控制方法和装置，所述方法包括：监控设备之间的消息；基于预设识别模型，以及预设样本库分别对监控到消息进行内容识别；若基于所述预设识别模型，和/或所述预设样本库识别所述消息中存在风险内容，则将所述消息拦截；获取发送存在风险内容的消息的用户在预设时间内发送的消息；并基于预设分析模型对获取的消息进行行为特征分析；若分析确定存在风险行为，则对存在风险行为的用户发送的消息进行拦截。该方法能够提高风险检测的准确率和召回率。

技术领域

本发明涉及安全技术领域，特别涉及一种内容风险控制方法和装置。

背景技术

内容风险检测是利用计算机自然语言处理技术和视觉技术判断文字或者图片中是否存在黄暴恐、广告引流等风险。

目前的内容检测方法比较单一，如通过图片黑名单检测、敏感词库检测等检测方法。

在实现本申请的过程中，发明人发现使用上述内容风险检测方法检测到风险内容，并进行消息拦截处理时，大量风险内容容易被漏检，且效率低下。

发明内容

有鉴于此，本申请提供一种内容风险控制方法和装置，能够提高风险检测的准确率和召回率。

为解决上述技术问题，本申请的技术方案是这样实现的：

在一个实施例中，提供了一种内容风险控制方法，所述方法包括：

监控设备之间的消息；

基于预设识别模型，以及预设样本库分别对监控到消息进行内容识别；

若基于所述预设识别模型，和/或所述预设样本库识别所述消息中存在风险内容，则将所述消息拦截；

获取发送存在风险内容的消息的用户在预设时间内发送的消息；并基于预设分析模型对获取的消息进行行为特征分析；

若分析确定存在风险行为，则对存在风险行为的用户发送的消息进行拦截。

在另一个实施例中，提供了一种内容风险控制装置，所述装置包括：监控单元、识别单元、拦截单元、获取单元、分析单元；

所述监控单元，用于监控设备之间的消息；

所述识别单元，用于基于预设识别模型，以及预设样本库分别对监控到消息进行内容识别；

所述拦截单元，用于若所述识别单元基于所述预设识别模型，和/或所述预设样本库识别所述消息中存在风险内容，则将所述消息拦截；若所述分析单元分析确定存在风险行为，则对所述存在风险行为的用户发送的消息进行拦截；

所述获取单元，用于获取发送所述识别单元识别出风险内容的消息的用户在预设时间内发送的消息；

所述分析单元，用于基于预设分析模型对所述获取单元获取的消息进行行为特征分析。

在另一个实施例中，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述内容风险控制方法的步骤。

在另一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述内容风险控制方法的步骤。

由上面的技术方案可见，上述实施例中实时基于预设识别模型和预设样本库对实时监测到的消息进行风险内容的识别，并对发送识别出的风险内容的消息的用户进行行为特征分析，能够提高风险检测的准确率和召回率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。