[发明专利]一种网络不良文本内容的细粒度语义检测方法

摘要

本发明属于文本内容过滤技术领域，具体为一种网络不良文本内容的细粒度语义检测方法。本发明方法围绕所引入的不良信息场景，构造以独立句子为基本单元的训练文本集，从而运用概率话题模型建立场景的数学描述。将待检测的Web页面进行信息内容提取，对文本信息进行句子识别，并基于所建立的概率话题模型，计算每个句子在该模型下的条件概率，在设定的内容检测敏感度下完成细粒度的语义检测。本发明模型的构造受话题数的影响小，并且能够有效地进行句子及词汇层面的概率计算，适应各种需要不良文本内容检测的应用场合。本方法也支持对文本内容进行不良词汇、句子的细粒度检测，能更有效地提升检测率、降低误报率，有利于提升文本内容过滤的实用性。

主权项

一种网络不良文本内容的细粒度语义检测方法，其特征在于具体步骤为： 一、场景的语义话题模型的建立：（1）设定需要检测的不良信息场景，选择与该场景相关的句子，构造描述该场景的文本集；（2）采用分词方法将文本集中的各个句子分割成独立的词序列，同时去除停用词，从而将整个文本集中的文本用单个词语来描述；（3） 为文本集构造词语频率矩阵，矩阵的行表示词语，列表示文档，矩阵中的元素表示词语在该文档中出现的频率，矩阵的大小为词语的总数×文档总数；（4） 设定话题数，并对词语频率矩阵使用LDA模型对这个文本集进行话题提取，得到文本集的语义话题描述；二、基于语义话题模型的细粒度检测（1） 对于待检测的Web页面，利用Html页面解析技术进行页面信息内容提取；（2） 对提取后的文本信息，进行句子的识别和提取，并对每个句子进行如下处理：（2‑1）以话题模型的词汇表为维度，以词频为权重，建立句子的空间向量；（2‑2）计算句子向量相对于话题模型的似然值；（2‑3）判定似然值是否超过设定的检测敏感度，如果是则将该句子标注为不良；否则良性；（2‑4）获得下一个句子，并重复执行步骤（2‑1）‑（2‑4），直到所有的句子都处理完毕。