[发明专利]一种冗余词过滤方法及其相关设备

权利要求书

1.一种冗余词过滤方法，其特征在于，所述方法包括：

获取待过滤文本；

对所述待过滤文本进行冗余词识别，得到所述待过滤文本的冗余词识别结果；

按照冗余词过滤参数值和所述待过滤文本的冗余词识别结果，对所述待过滤文本进行冗余词过滤，得到所述待过滤文本对应的过滤后文本；其中，所述冗余词过滤参数值用于表示针对所述待过滤文本进行冗余词过滤的过滤强度。

2.根据权利要求1所述的方法，其特征在于，所述对所述待过滤文本进行冗余词识别，得到所述待过滤文本的冗余词识别结果，包括：

对所述待过滤文本进行分词处理，得到至少一个分词；

对各个分词进行词向量提取处理，得到各个分词的词向量；

将所述至少一个分词的词向量输入预先构建的冗余识别模型，得到所述冗余识别模型输出的所述至少一个分词的冗余识别结果；

根据所述至少一个分词的冗余识别结果，确定所述待过滤文本的冗余词识别结果。

3.根据权利要求1所述的方法，其特征在于，所述对所述待过滤文本进行冗余词识别，得到所述待过滤文本的冗余词识别结果，包括：

对所述待过滤文本进行分词处理，得到至少一个分词；

对所述待过滤文本进行分字处理，得到至少一个单字；

对各个所述单字进行特征提取处理，得到各个单字的特征向量；

将所述至少一个单字的特征向量输入预先构建的冗余识别模型，得到所述冗余识别模型输出的所述至少一个单字的冗余识别结果；

根据所述至少一个单字与所述至少一个分词之间的对应关系、以及所述至少一个单字的冗余识别结果，确定所述至少一个分词的冗余识别结果；

根据所述至少一个分词的冗余识别结果，确定所述待过滤文本的冗余词识别结果。

4.根据权利要求3所述的方法，其特征在于，若所述分词的个数为N，则所述第n个分词的冗余识别结果的确定过程，包括：

基于所述第n个分词所包括的各单字的冗余识别结果的均值，确定所述第n个分词的冗余识别结果；其中，n为正整数，n≤N，N为正整数。

5.根据权利要求2-4任一项所述的方法，其特征在于，所述冗余识别模型包括语义特征提取层和冗余识别层；其中，所述冗余识别层的输入数据包括所述语义特征提取层的输出数据；

所述冗余识别模型的构建过程，包括：

利用至少一个第一样本文本和所述至少一个第一样本文本的语义特征，对语言模型进行训练；

将所述语言模型确定为所述冗余识别模型中所述语义特征提取层；

利用至少一个第二样本文本和所述至少一个第二样本文本对应的冗余词标注信息，对所述冗余识别模型进行训练。

6.根据权利要求5所述的方法，其特征在于，所述至少一个第二样本文本和所述至少一个第二样本文本对应的冗余词标注信息的获取过程，包括：

根据至少一个待处理文本和至少一个候选冗余词添加规则，确定至少一个文本增强数据和所述至少一个文本增强数据对应的冗余词标注信息；

根据所述至少一个文本增强数据、所述至少一个文本增强数据对应的冗余词标注信息、至少一个文本标注数据、和所述至少一个文本标注数据对应的冗余词标注信息，确定所述至少一个第二样本文本和所述至少一个第二样本文本对应的冗余词标注信息。

7.根据权利要求6所述的方法，其特征在于，所述至少一个文本增强数据包括目标文本增强数据，所述目标文本增强数据和所述目标文本增强数据对应的冗余词标注信息的确定过程，包括：

从所述至少一个候选冗余词添加规则中选择一个候选冗余词添加规则，确定为目标冗余词添加规则；

从所述至少一个待处理文本中选择一个待处理文本，确定为目标文本；

按照所述目标冗余词添加规则，对所述目标文本进行冗余词添加处理，得到所述目标文本增强数据；

根据所述目标文本增强数据和所述目标文本，确定所述目标文本增强数据对应的冗余词标注信息。