[发明专利]一种敏感文本识别方法、系统、电子设备及存储介质

说明书

本发明提出一种敏感文本识别方法、系统、电子设备及存储介质，其方法技术方案包括多叉树文本扩展步骤，对敏感文本中的字进行一预扩展，并通过多叉树根据所述预扩展的结果进行所述敏感文本的扩展；DFA文本扩展步骤，通过DFA技术对含有无效字符的所述敏感文本进行扩展；文本分类扩展步骤，收集所述敏感文本作为正样本，并收集非敏感文本作为负样本，根据所述正样本和所述负样本通过一文本分类算法进行所述敏感文本的扩展；融合文本识别步骤，对所述敏感文本，根据所述敏感文本的字数，通过所述多叉树、所述DFA和所述文本分类算法进行识别。本申请解决了现有敏感文本识别方法误杀率高、效果不理想的问题。

技术领域

本发明属于文本识别技术领域，尤其涉及一种敏感文本识别方法、系统、电子设备及存储介质。

背景技术

在网络世界中，存在着各类辱骂、黄色等敏感文本，这类文本会给其他用户带来非常不好的体验，而有的人为了逃避识别，将文本稍加改变，以逃过识别。因此，敏感的识别对净化网络环境有重要意义。

发明内容

本申请实施例提供了一种敏感文本识别方法、系统、电子设备及存储介质，以至少解决现有敏感文本识别方法误杀率高、效果不理想的问题。

第一方面，本申请实施例提供了一种敏感文本识别方法，包括：多叉树文本扩展步骤，对敏感文本中的字进行一预扩展，并通过多叉树根据所述预扩展的结果进行所述敏感文本的扩展；DFA文本扩展步骤，通过DFA技术对含有无效字符的所述敏感文本进行扩展；文本分类扩展步骤，收集所述敏感文本作为正样本，并收集非敏感文本作为负样本，根据所述正样本和所述负样本通过一文本分类算法进行所述敏感文本的扩展；融合文本识别步骤，对所述敏感文本，根据所述敏感文本的字数，通过所述多叉树、所述DFA和所述文本分类算法进行识别。

优选的，所述文本分类扩展步骤进一步包括：通过对所述敏感文本中的字进行所述预扩展以扩充所述正样本。

优选的，所述文本分类扩展步骤进一步包括：对所述负样本进行随机切分，将得到的切分块与所述正样本通过二分类进行文本分类。

优选的，所述融合文本识别步骤进一步包括：若所述敏感文本的字数小于一阈值，则通过所述多叉树和所述DFA进行识别，反之则通过所述文本分类算法进行识别。

第二方面，本申请实施例提供了一种敏感文本识别系统，适用于上述一种敏感文本识别方法，包括：多叉树文本扩展模块，对敏感文本中的字进行一预扩展，并通过多叉树根据所述预扩展的结果进行所述敏感文本的扩展；DFA文本扩展模块，通过DFA技术对含有无效字符的所述敏感文本进行扩展；文本分类扩展模块，收集所述敏感文本作为正样本，并收集非敏感文本作为负样本，根据所述正样本和所述负样本通过一文本分类算法进行所述敏感文本的扩展；融合文本识别模块，对所述敏感文本，根据所述敏感文本的字数，通过所述多叉树、所述DFA和所述文本分类算法进行识别。

在其中一些实施例中，所述文本分类扩展模块进一步包括：通过对所述敏感文本中的字进行所述预扩展以扩充所述正样本。

在其中一些实施例中，所述文本分类扩展模块进一步包括：对所述负样本进行随机切分，将得到的切分块与所述正样本通过二分类进行文本分类。

在其中一些实施例中，所述融合文本识别模块进一步包括：若所述敏感文本的字数小于一阈值，则通过所述多叉树和所述DFA进行识别，反之则通过所述文本分类算法进行识别。

第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的一种敏感文本识别方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的一种敏感文本识别方法。