[发明专利]一种基于大数据的敏感词识别方法

说明书

本发明公开了一种基于大数据的敏感词识别方法，该方法包括：步骤1，利用爬虫软件收集文本数据，对文本数据进行敏感标记，得到敏感文本D₁、正常文本D₂，将敏感词进行敏感词分类和等级标记，存入敏感词表S。步骤2，通过N‑gram模型进行新词发现，对敏感词表S进行扩增：步骤3，对每个敏感词表S中的每个敏感词，进行变形处理，得到变形体敏感词。步骤4，基于Trie树和BERT模型对敏感词表S中的敏感词进行过滤；该方法提高了对敏感词审核和识别的准确性和效率。

技术领域

本发明涉及大数据研究领域，尤其是自然语言处理的方法，具体涉及一种基于大数据的敏感词识别方法。

背景技术

随着互联网的不断发展，通过互联网各种平台，人们可以看得到大量的文本信息。其中有些信息包含敏感信息，如恐怖色情倾向等，如果不加以辨别和控制，会妨碍社会安定，损害社会公共利益。控制文本信息的质量，及时识别和处理这些敏感信息，确保发布内容不含敏感信息，营造健康网络环境，是一项重要的任务。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：传统的技术主要采用规则匹配的方法进行识别，即构建一个敏感词词表，敏感词表主要来自人工运营收集，不仅人力成本高而且效率低，通过遍历敏感词词表，与各个文本信息进行匹配，若发现有敏感词，则需要提交给审核人员进行人工审核。该方法存在缺点：一是随着敏感词数量的增加，敏感词的变形体也会越来越多，敏感词词表也会越来越大，循环匹配会导致搜索速度变慢；二是该方法仍然需要审核人员进行人工判断，人工工作量大；三是该方法只能检测敏感词出现与否，忽略了敏感词出现的上下文，容易造成误报。

发明内容

为了克服现有技术的不足，本发明提供了一种基于大数据的敏感词识别方法，提高了对敏感词审核和识别的准确性和效率。技术方案如下：

本发明提供了一种基于大数据的敏感词识别方法，该方法主要包括以下步骤：

步骤1，利用爬虫软件收集文本数据，对文本数据进行敏感标记，得到敏感文本D₁、正常文本D₂，将敏感词进行敏感词分类和等级标记，存入敏感词表S。

步骤2，通过N-gram模型进行新词发现，对敏感词表S进行扩增：

将步骤1中的敏感文本D₁，采用N-gram模型进行分词，按照长度为n切分原词，得到多个长度为n的拼接词；统计每个拼接词的词频，计算频率P，选择频率大于设定阈值a的拼接词作为候选词w′：其中，count_w表示包含拼接词w的敏感文本数，N表示敏感文本总数。

计算每个候选词的凝固度I(x；y)，其中，P(x，y)表示候选词中字x和字y共同出现的概率，P(x)表示字x单独出现的概率，P(y)表示字y单独出现的概率。

计算每个候选词w′的自由度H(w′)，其计算公式为：

其中，s_l为候选词w′的左邻接字的集合；s_r为候选词w′的右邻接字的集合；p(w′_l|w′)为候选词w′出现的情况下左邻接字w′_l出现的条件概率；p(w′_r|w′)为候选词w′出现的情况下有邻接字w′_r出现的条件概率。

将同时满足：I(x；y)大于凝固度阈值b、H(w)大于自由度阈值c的候选词作为新词，将该新词的敏感等级都设置为低危，敏感分类为该新词所在敏感文本的分类，将该新词及其敏感等级和敏感分类存入敏感词表S。

步骤3，对每个敏感词表S中的每个敏感词m，进行变形处理，得到变形体敏感词m′。所述变形体包括：在敏感词中间添加特殊字符、对敏感词的一个字或多个字用拼音代替、对敏感词中的一个字或多个字进行拆分、用繁体字代替敏感词中的一个或多个字。