[发明专利]文本过滤的方法及装置

权利要求书

1.一种文本过滤的方法，其特征在于，所述方法包括：

将目标领域划分为n个单元领域，对每个单元领域设置各自对应的相似度阈值和预设数量的参照文本，所述n为自然数；

将所述目标领域的所有参照文本通过文档主题生成LDA模型训练得到第一主题-单词分布向量的集合，将待过滤文本通过所述LDA模型训练得到第二主题-单词分布向量；

将所述目标领域的所有参照文本通过关键词模型训练得到第一关键词向量的集合，将所述待过滤文本通过所述关键词模型训练得到第二关键词向量；

将所述第一主题-单词分布向量的集合与所述第一关键词向量的集合进行组合，得到第一组合向量的集合，将所述第二主题-单词分布向量与所述第二关键词向量进行组合，得到第二组合向量；

根据所述第一组合向量的集合、第二组合向量、所述每个单元领域的相似度阈值三者之间的预设规则确定出所述待过滤文本的结果。

2.根据权利要求1所述的方法，其特征在于，所述将所述目标领域的所有参照文本通过文档主题生成LDA模型训练得到第一主题-单词分布向量的集合，将待过滤文本通过所述LDA模型训练得到第二主题-单词分布向量，包括：

将所述目标领域的所述每个单元领域的预设数量的参照文本通过所述LDA模型训练得到所述每个单元领域的主题-单词分布；根据所述每个单元领域的主题-单词分布和预设数量的参照文本得到所述每个单元领域的主题-单词分布向量；根据所述每个单元领域的主题-单词分布向量得到所述目标领域的主题-单词分布向量的集合；

将所述待过滤文本通过所述LDA模型训练得到所述待过滤文本的主题-单词分布向量。

3.根据权利要求1所述的方法，其特征在于，所述将所述目标领域的所有参照文本通过关键词模型训练得到第一关键词向量的集合，将所述待过滤文本通过所述关键词模型训练得到第二关键词向量，包括：

将所述目标领域的所述每个单元领域的预设数量的参照文本通过所述关键词模型训练得到所述每个单元领域的包含有关键词表的词典；根据所述每个单元领域的包含有关键词表的词典和预设数量的参照文本得到所述每个单元领域的关键词向量；根据所述每个参考领域的关键词向量得到所述目标领域的关键词向量的集合；

将所述待过滤文本通过关键词模型训练得到所述待过滤文本的关键词向量。

4.根据权利要求1所述的方法，其特征在于，所述根据所述第一组合向量的集合、第二组合向量、所述每个单元领域的相似度阈值三者之间的预设规则确定出所述待过滤文本的结果，包括：

分别计算所述待过滤文本的组合向量与所述目标领域的组合向量的集合中的每个单元领域的组合向量各自对应的差值；

判断所述各自对应的差值是否大于等于所述各自对应的相似度阈值，若在所述各自对应的差值中有一个大于对应的相似度阈值，则保留所述待过滤文本；

若在所述各自对应的差值中未有一个大于对应的相似度阈值，则丢弃所述待过滤文本。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述LDA模型为采用基于Gibbs采样算法实现参数求解的LDA模型；

所述关键词模型为采用少词策略的词袋BoW模型。

6.一种文本过滤的装置，其特征在于，所述装置包括：

设置模块，用于将目标领域划分为n个单元领域，对每个单元领域设置各自对应的相似度阈值和预设数量的参照文本，所述n为自然数；

LDA训练模块，用于将所述目标领域的所有参照文本通过文档主题生成LDA模型训练得到第一主题-单词分布向量的集合，将待过滤文本通过所述LDA模型训练得到第二主题-单词分布向量；

关键词训练模块，用于将所述目标领域的所有参照文本通过关键词模型训练得到第一关键词向量的集合，将所述待过滤文本通过所述关键词模型训练得到第二关键词向量；

组合模块，用于将所述第一主题-单词分布向量的集合与所述第一关键词向量的集合进行组合，得到第一组合向量的集合，将所述第二主题-单词分布向量与所述第二关键词向量进行组合，得到第二组合向量；

过滤模块，用于根据所述第一组合向量的集合、第二组合向量、所述每个参考单元领域的预设相似度阈值三者之间的预设规则确定出所述待过滤文本的结果。