[发明专利]训练文本审核模型的方法和装置

说明书

本公开提供了训练文本审核模型的方法和装置，涉及人工智能领域，尤其涉及自然语言处理领域。具体实现方案为：获取领域语言模型、学生模型、无标注数据和标注数据，其中，所述标注数据包括文本信息和审核标签；将所述标注数据中的文本信息和审核标签分别作为输入和期望输出，对所述领域语言模型进行微调训练，得到教师模型；将所述无标注数据输入所述教师模型，输出伪审核标签，得到伪标注数据；通过所述伪标注数据对所述学生模型进行训练，得到文本审核模型。该实施方式能够在小规模人工标注数据和大规模无标注数据上进行训练，得到效果好、速度快的文本审核模型。

技术领域

本公开涉及人工智能领域，尤其涉及自然语言处理领域。

背景技术

文本审核系统是基于自然语言处理技术，用于判断一段文本内容是否遵循互联网、媒体等平台内容规范的一个自动化和智能化系统。常见的文本审核应用场景包括用户签名/昵称、评论/留言、IM即时通讯文本内容、用户帖子、媒体资讯、商品信息、视频直播弹幕、图文信息等。文本审核处理的违禁类型包括：政治、色情、暴力恐怖、广告推广、低俗辱骂、灌水等。互联网上每天产生海量的用户数据，人力无法负担如此繁重的审核任务。文本审核系统利用计算机和自然语言处理技术，实现了自动化的内容违规检测和识别，主导或者辅助人工审核的功能，大大减少了相关人员的工作成本。

发明内容

本公开提供了一种训练文本审核模型的方法、装置、设备、存储介质以及计算机程序产品。

根据本公开的第一方面，提供了一种训练文本审核模型的方法，包括：获取领域语言模型、学生模型、无标注数据和标注数据，其中，所述标注数据包括文本信息和审核标签；将所述标注数据中的文本信息和审核标签分别作为输入和期望输出，对所述领域语言模型进行微调训练，得到教师模型；将所述无标注数据输入所述教师模型，输出伪审核标签，得到伪标注数据；通过所述伪标注数据对所述学生模型进行训练，得到文本审核模型。

根据本公开的第二方面，提供了一种文本审核方法，包括：获取待审核的文本信息；将所述文本信息输入根据第一方面所述的方法训练出的文本审核模型，输出审核结果。

根据本公开的第三方面，提供了一种训练文本审核模型的装置，包括：获取单元，被配置成获取领域语言模型、学生模型、无标注数据和标注数据，其中，所述标注数据包括文本信息和审核标签；微调单元，被配置成将所述标注数据中的文本信息和审核标签分别作为输入和期望输出，对所述领域语言模型进行微调训练，得到教师模型；预测单元，被配置成将所述无标注数据输入所述教师模型，输出伪审核标签，得到伪标注数据；训练单元，被配置成通过所述伪标注数据对所述学生模型进行训练，得到文本审核模型。

根据本公开的第四方面，提供了一种文本审核装置，包括：获取单元，被配置成获取待审核的文本信息；审核单元，被配置成将所述文本信息输入根据第二方面所述的装置训练出的文本审核模型，输出审核结果。

根据本公开的第五方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面或第二方面所述的方法。

根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据第一方面或第二方面所述的方法。

根据本公开的第七方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据第一方面或第二方面所述的方法。

本公开的实施例提供的训练文本审核模型的方法和装置，提出了一个基于预训练语言模型ERNIE的文本审核多阶段训练框架，该框架融合预训练语言模型的知识，在小规模人工标注数据和大规模无标注数据上进行领域训练、微调训练、蒸馏，得到效果好、速度快的文本审核模型。