[发明专利]一种冗余词过滤方法及其相关设备

说明书

本申请公开了一种冗余词过滤方法及其相关设备，该方法包括：在获取到待过滤文本之后，可以先对该待过滤文本进行冗余词识别，得到该待过滤文本的冗余词识别结果，以使该冗余词识别结果能够表示出该待过滤文本中各个词汇属于冗余词的可能性；再按照冗余词过滤参数值和该待过滤文本的冗余词识别结果，对该待过滤文本进行冗余词过滤，得到该待过滤文本对应的过滤后文本，以使该过滤后文本中存在较少的冗余词(甚至不存在冗余词)，从而使得该过滤后文本能够更简洁地表示出待过滤文本携带的语义信息，如此能够有效地克服该待过滤文本携带的无意义信息造成的不良影响，从而能够有效地提高该过滤后文本的信息表达效果。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种冗余词过滤方法及其相关设备。

背景技术

随着文本数据的应用范围越来越大，使得针对文本数据的信息表达效果要求越来越高。例如，文本数据可以应用于语音处理技术领域。

目前，对于一些文本数据(如，一个语音数据对应的语音识别文本)来说，因这些文本数据中存在大量无意义词汇，使得这些文本数据的信息表达效果较差。然而，如何提高这些文本数据的信息表达效果是一项亟待解决的技术问题。

发明内容

为了解决上述技术问题，本申请提供了一种冗余词过滤方法及其相关设备，能够提高文本数据的信息表达效果。

为了实现上述目的，本申请实施例提供的技术方案如下：

本申请实施例提供一种冗余词过滤方法，所述方法包括：

获取待过滤文本；

对所述待过滤文本进行冗余词识别，得到所述待过滤文本的冗余词识别结果；

按照冗余词过滤参数值和所述待过滤文本的冗余词识别结果，对所述待过滤文本进行冗余词过滤，得到所述待过滤文本对应的过滤后文本；其中，所述冗余词过滤参数值用于表示针对所述待过滤文本进行冗余词过滤的过滤强度。

在一种可能的实施方式中，所述对所述待过滤文本进行冗余词识别，得到所述待过滤文本的冗余词识别结果，包括：

对所述待过滤文本进行分词处理，得到至少一个分词；

对各个分词进行词向量提取处理，得到各个分词的词向量；

将所述至少一个分词的词向量输入预先构建的冗余识别模型，得到所述冗余识别模型输出的所述至少一个分词的冗余识别结果；

根据所述至少一个分词的冗余识别结果，确定所述待过滤文本的冗余词识别结果。

在一种可能的实施方式中，所述对所述待过滤文本进行冗余词识别，得到所述待过滤文本的冗余词识别结果，包括：

对所述待过滤文本进行分词处理，得到至少一个分词；

对所述待过滤文本进行分字处理，得到至少一个单字；

对各个所述单字进行特征提取处理，得到各个单字的特征向量；

将所述至少一个单字的特征向量输入预先构建的冗余识别模型，得到所述冗余识别模型输出的所述至少一个单字的冗余识别结果；

根据所述至少一个单字与所述至少一个分词之间的对应关系、以及所述至少一个单字的冗余识别结果，确定所述至少一个分词的冗余识别结果；

根据所述至少一个分词的冗余识别结果，确定所述待过滤文本的冗余词识别结果。

在一种可能的实施方式中，若所述分词的个数为N，则所述第n个分词的冗余识别结果的确定过程，包括：

基于所述第n个分词所包括的各单字的冗余识别结果的均值，确定所述第n个分词的冗余识别结果；其中，n为正整数，n≤N，N为正整数。