[发明专利]基于分布式系统的内容审核方法和装置

说明书

本说明书实施例提供了基于分布式系统的内容审核方法和装置。该方法包括：得到一个待审核内容所属的业务场景；根据对应该业务场景的审核流程生成对应该审核任务的按序排列的多个节点实例；根据业务场景，从各个队列中选择一个队列，并将对所述待审核内容的审核任务加入所选择的该队列中；调度各个队列；根据当前被调度的队列中各待审核的审核任务对应的各节点实例之间的排列顺序，由分布式系统中的多个服务器从当前被调度的队列中并发获取各待审核的审核任务的节点实例，并审核；根据一个待审核内容的审核任务对应的所有节点实例的审核结果，得到该待审核内容的审核结果。本说明书实施例能够在分布式系统中更为高效地进行内容审核。

技术领域

本说明书一个或多个实施例涉及网络通信技术，尤其涉及基于分布式系统的内容审核方法和装置。

背景技术

内容审核是指当一个业务场景中的内容需要在网络中传播时，对该内容的合法性以及合规性进行审核。比如，对于广告业务场景，对广告图片中的文字及图形进行审核，发现其中是否有不合规的用语或图形，比如是否存在“最强”、“最高”等绝对性用语，是否存在“原价”等违规用语。

随着网络应用的不断发展，需要审核的内容涉及到了各种业务领域的各种业务场景，需要审核的内容的数量是海量的。另一方面，内容的审核与以往通信数据的审核不同，对通信数据比如业务请求或者播放的流媒体数据的审核通常都是实时调度并审核的，而对于内容审核，由于存在着素材的上传、下载以及解析等处理，往往是一个异步调度及审核的过程。因此，目前通常采用分布式系统来完成内容审核。

分布式系统中的各个服务器需要争抢各个内容来进行审核。因此，如何更为高效地在分布式系统中进行内容审核是一个亟待解决的问题。

发明内容

本说明书一个或多个实施例描述了基于分布式系统的内容审核方法和装置，能够在分布式系统中更为高效地进行内容审核。

根据第一方面，提供了一种基于分布式系统的内容审核方法，其中，该方法包括：

得到一个待审核内容所属的业务场景；

根据预先设置的对应该业务场景的审核流程，生成对应该审核任务的按序排列的多个节点实例；

根据所述业务场景，从各个队列中选择一个队列，并将所述待审核内容的审核任务加入所选择的该队列中；

调度各个队列；

根据当前被调度的队列中各待审核的审核任务对应的各节点实例之间的排列顺序，由分布式系统中的多个服务器从当前被调度的队列中并发获取各待审核的审核任务的各节点实例，并审核；

根据一个待审核内容的审核任务对应的所有节点实例的审核结果，得到该待审核内容的审核结果。

其中，所述审核流程包括：由多个审核节点形成的有向无环图。

其中，所述各个队列包括：优先级依次降低的实时队列、高优先级队列、中优先级队列以及低优先级队列中的至少一个，且每一个队列中包括至少一种业务场景的审核任务；

所述根据所述业务场景从各个队列中选择一个队列，包括：从各个队列中选择对应所述业务场景的优先级的队列；

所述由分布式系统中的多个服务器从当前被调度的队列中并发获取各待审核的审核任务的节点实例，包括：分布式系统中的每一个服务器有空闲处理资源时，主动从当前被调度的队列中拉取节点实例。

其中，所述各个队列进一步包括：调度优先级最高的第一场景队列，在第一场景队列中包括第一业务场景的审核任务；

在所述从各个队列中选择对应所述业务场景的优先级的队列之前，进一步包括：判断所述待审核内容所属的业务场景是否为第一业务场景，如果是，则从各个队列中选择第一场景队列，如果否，则执行所述从各个队列中选择对应所述业务场景的优先级的队列；