[发明专利]内容自动审核方法、装置、存储介质以及电子设备

说明书

本发明公开了一种内容自动审核方法、装置、存储介质以及电子设备。该方法包括：获取待审核的原始文本；对原始文本进行文本结构分析，得到原始文本的结构化文本；对结构化文本进行垃圾内容过滤、情感分析、文本内容聚类以及内容排序，得到结构化文本的优化文本；对优化文本进行审核；在优化文本审核通过的情况下，上传优化文本。本发明解决了文本内容存在无意义内容或者敏感内容造成的审核准确度低的技术问题。

技术领域

本发明涉及计算机领域，具体而言，涉及一种内容自动审核方法、装置、存储介质以及电子设备。

背景技术

现有技术中，在文本审核方面，需要审核人员逐字逐句的对待审核的内容进行审核。以避免待审核的内容中出现非法内容。由于待审核的内容量太大，可以采用一些自动审核的方法。

然而，如果采用自动审核的方法，如果待审核的内容中存在无意义内容或者敏感内容，则自动审核方法无法进行准确的识别审核。

发明内容

本发明实施例提供了一种内容自动审核方法、装置、存储介质以及电子设备，以至少解决文本内容存在无意义内容或者敏感内容造成的审核准确度低的技术问题。

根据本发明实施例的一个方面，提供了一种内容自动审核方法，包括：获取待审核的原始文本；对上述原始文本进行文本结构分析，得到上述原始文本的结构化文本；对上述结构化文本进行垃圾内容过滤、情感分析、文本内容聚类以及内容排序，得到上述结构化文本的优化文本；对上述优化文本进行审核；在上述优化文本审核通过的情况下，上传上述优化文本。

根据本发明实施例的另一方面，提供了一种内容自动审核装置，包括：获取模块，用于获取待审核的原始文本；第一处理模块，用于对上述原始文本进行文本结构分析，得到上述原始文本的结构化文本；第二处理模块，用于对上述结构化文本进行垃圾内容过滤、情感分析、文本内容聚类以及内容排序，得到上述结构化文本的优化文本；审核模块，用于对上述优化文本进行审核；上传模块，用于在上述优化文本审核通过的情况下，上传上述优化文本。

作为一种可选的示例，上述第一处理模块还用于对所述原始文本进行分词、词性标注、实体识别以及关键词抽取，删除所述原始文本的无效信息，得到所述原始文本的结构化文本。

作为一种可选的示例，上述第一处理模块包括：分词单元，用于对上述原始文本进行分词，得到分词后的文本；标注单元，用于对上述分词后的文本进行词性标注，得到标注后的文本；识别单元，用于识别上述标注后的文本中的实体对象；抽取单元，用于根据上述实体对象，从上述标注后的文本中抽取关键词；第一确定单元，用于将抽取的上述关键词作为上述结构化文本。

作为一种可选的示例，上述第二处理模块包括：比对单元，用于将上述结构化文本中的每一个词与垃圾词库中的词进行比对；删除单元，用于在上述结构化文本中存在属于上述垃圾词库的第一词汇的情况下，将上述第一词汇从上述结构化文本中删除。

作为一种可选的示例，上述第二处理模块包括：提取单元，用于提取上述结构化文本中的情感词汇；分类单元，用于对上述情感词汇进行分类；第二确定单元，用于按照每一类上述情感词汇的占比，确定上述结构化文本的情感类型。

作为一种可选的示例，上述第二处理模块包括：解析单元，用于解析上述结构化文本中的每一个关键词的含义；划分单元，用于将含义相同的上述关键词划分为一类，以将上述结构化文本中的所有关键词划分为多个类别；选择单元，用于从不同类别的关键词中选择一个关键词；排序单元，用于将选择的上述关键词排序为上述结构化文本。

作为一种可选的示例，上述第二处理模块包括：处理单元，用于由序列标注模型识别上述结构化文本，输出上述优化文本，其中，上述序列标注模型为预先使用样本数据训练得到的模型，上述序列标注模型中包含训练参数，上述序列标注模型用于识别上述样本数据输出上述样本数据的优化文本，在上述样本数据的上述优化文本审核不通过的情况下，调整上述训练参数。