[发明专利]一种网络不良文本内容的细粒度语义检测方法

权利要求书

1.一种网络不良文本内容的细粒度语义检测方法，其特征在于具体步骤为：

 一、场景的语义话题模型的建立：

（1）设定需要检测的不良信息场景，选择与该场景相关的句子，构造描述该场景的文本集；

（2）采用分词方法将文本集中的各个句子分割成独立的词序列，同时去除停用词，从而将整个文本集中的文本用单个词语来描述；

（3） 为文本集构造词语频率矩阵，矩阵的行表示词语，列表示文档，矩阵中的元素表示词语在该文档中出现的频率，矩阵的大小为词语的总数×文档总数；

（4） 设定话题数，并对词语频率矩阵使用LDA模型对这个文本集进行话题提取，得到文本集的语义话题描述；

二、基于语义话题模型的细粒度检测

（1） 对于待检测的Web页面，利用Html页面解析技术进行页面信息内容提取；

（2） 对提取后的文本信息，进行句子的识别和提取，并对每个句子进行如下处理：

（2-1）以话题模型的词汇表为维度，以词频为权重，建立句子的空间向量；

（2-2）计算句子向量相对于话题模型的似然值；

（2-3）判定似然值是否超过设定的检测敏感度，如果是则将该句子标注为不良；否则良性；

（2-4）获得下一个句子，并重复执行步骤（2-1）-（2-4），直到所有的句子都处理完毕。

2.如权利要求1所述的网络不良文本内容的语义检测方法，其特征在于：所构造的训练文本集具有如下特点：文本集包含一个文本文件，其中的每一行是一个独立的句子；要求选择的句子应尽可能地描述所设定的场景的各个方面。

3.如权利要求1所述的网络不良文本内容的语义检测方法，其特征在于：将模型参数记录到模型参数文件中，同时将所建立的词语表也保存到模型的词语文件中；这两类文件共同构成模型文件。

4.如权利要求1所述的网络不良文本内容的语义检测方法，其特征在于：在进行实际检测之前，从模型文件中读取模型参数和模型词语表，在内存中建立已经训练好的LDA模型。

5.如权利要求1所述的网络不良文本内容的语义检测方法，其特征在于：对Web页面中的文本信息，以句子为单位进行识别、提取和检测判断。

6.如权利要求1所述的网络不良文本内容的语义检测方法，其特征在于：按照下面公式计算句子S相对于话题模型的似然值，并作为与敏感度阈值相比较的依据：

其中，N是句子中所包含的词语总数，N1是不在模型词语表中的词语个数, 是模型参数，V是句子S的词频向量。