[发明专利]一种垃圾模板文章识别方法和设备

权利要求书

1.一种垃圾模板文章识别方法，其特征在于，所述方法包括：

对符合条件的微博文章提取特征，生成文章特征；其中，所述文章特征至少包括标点特征、话题特征、括号特征、链接特征以及账户名特征；

获取垃圾模板列表，所述垃圾模板列表中包含垃圾模板特征；所述垃圾模板特征为出现频率达到预设阈值的文章特征且所述垃圾模板特征的提取方式与所述微博文章特征的提取方式相同；

当所述文章特征与所述垃圾模板列表中的垃圾模板特征相同时，判定所述微博文章为垃圾模板文章。

2.根据权利要求1所述的方法，其特征在于，所述符合条件的微博文章为原创形式且包含链接和图片的微博文章，所述对符合条件的微博文章提取特征之前，还包括：

将所述符合条件的微博文章中的数字以及字母去掉，并将所述微博文章中的各种括号中的内容去掉保留所述括号。

3.根据权利要求1所述的方法，其特征在于，所述对符合条件的微博文章提取特征，包括：

将符合条件的微博文章以标点进行分段，并按顺序依次生成分段编号；

在所述每个分段中，提取所述分段的标点，并将提取的所述标点组成字符串，生成所述标点特征；

在所述每个分段中，提取有话题的分段的话题和对应的分段编号，并将提取的所述话题以及所述分段编号组成字符串，生成所述话题特征；

在所述每个分段中，提取有括号的分段对应的分段编号和所述分段对应的括号类型，将提取的所述分段编号以及所述括号类型组成字符串，生成所述括号特征；

在所述每个分段中，根据所述每个分段中是否有链接而生成序列，作为所述链接特征；

在所述每个分段中，根据所述每个分段中是否有账户名标识而生成序列，作为所述账户名特征。

4.根据权利要求3所述的方法，其特征在于，所述文章特征还包括内容特征，相应地所述对符合条件的微博文章提取特征，还包括：

在所述每个分段中，将所述每个分段去除所有的标点、话题、括号、链接以及账户名标识后剩余的内容，按顺序拼装在一起，生成内容特征。

5.根据权利要求3所述的方法，其特征在于，所述文章特征还包括前段内容特征，相应地所述对符合条件的微博文章提取特征，还包括：

在所述每个分段中，将所述每个分段去除所有的标点、话题、括号、链接以及账户名标识后剩余的内容按预定的字节数只取前面的部分，生成前段内容特征。

6.根据权利要求3所述的方法，其特征在于，所述文章特征还包括后段内容特征，相应地所述对符合条件的微博文章提取特征，还包括：

在所述每个分段中，将所述每个分段去除所有的标点、话题、括号、链接以及账户名标识后剩余的内容按预定的字节数只取后面的部分，生成后段内容特征。

7.一种垃圾模板文章识别设备，其特征在于，所述设备包括：

特征提取模块，用于对符合条件的微博文章提取特征，生成文章特征；其中，所述文章特征至少包括标点特征、话题特征、括号特征、链接特征以及账户名特征；

获取模块，用于获取垃圾模板列表，所述垃圾模板列表中包含垃圾模板特征；所述垃圾模板特征为出现频率达到预设阈值的文章特征且所述垃圾模板特征的提取方式与所述微博文章特征的提取方式相同；

识别模块，用于当所述文章特征与所述垃圾模板列表中的垃圾模板特征相同时，判定所述微博文章为垃圾模板文章。

8.根据权利要求7所述的设备，其特征在于，所述设备还包括：

预处理模块，用于对符合条件的微博文章提取特征之前，将所述微博文章中的数字以及字母去掉，并将所述微博文章中的各种括号中的内容去掉保留所述括号；所述符合条件的微博文章为原创形式且包含链接和图片的微博文章。