[发明专利]针对多语种的语句困惑度获取方法、系统及相关设备

说明书

本发明公开了针对多语种的语句困惑度获取方法、系统及相关设备，其中，上述方法包括：获取待计算语句，其中，待计算语句所对应的语种是预设的多种语种中的至少一种；根据已训练的分词模型和多语种词典获取待计算语句对应的基元序列；在基元序列的首位添加目标语种令牌以获得目标序列，其中，目标语种令牌是多语种词典中与待计算语句的语种所对应的语种标识的位置索引；根据目标序列，通过已训练的多语种困惑度计算模型获取待计算语句对应的语句困惑度，其中，已训练的多语种困惑度计算模型根据预设的多种语种对应的多语种语料集训练获得。本发明有利于在多语种场景下提高获取的语句困惑度的准确性。

技术领域

本发明涉及自然语言处理技术领域，尤其涉及的是一种针对多语种的语句困惑度获取方法、系统及相关设备。

背景技术

随着科学技术的发展，尤其是深度学习技术的发展，自然语言处理的相关应用越来越广泛。在自然语言处理的过程中，通过多种手段进行语句清洗以确定有价值的语料是极为重要的一步，其中，可以结合语句困惑度确定语料的价值。

语句困惑度是用于衡量语句是否通顺、语义是否清晰的指标。现有技术中，通常通过一个n_gram困惑度计算模型计算语句困惑度，现有技术的问题在于，一个n_gram困惑度计算模型只能针对某一特定语种的语句进行语句困惑度获取，无法适用于其它语种(对于其它语种准确性不高)。因此在多语种的场景中，对于不同语种的语句都使用同一个n_gram困惑度计算模型计算语句困惑度均需要使用该语种的语料重新训练，则不利于提高获取多语种语句困惑度的准确性。

因此，现有技术还有待改进和发展。

发明内容

本发明的主要目的在于提供一种针对多语种的语句困惑度获取方法、系统及相关设备，旨在解决现有技术中在多语种的场景中，对于不同语种的语句都使用同一个n_gram困惑度计算模型计算语句困惑度时均需要使用该语种的语料重新训练，不利于提高获取语句困惑度的准确性的问题。

为了实现上述目的，本发明第一方面提供一种针对多语种的语句困惑度获取方法，其中，上述针对多语种的语句困惑度获取方法包括：

获取待计算语句，其中，上述待计算语句所对应的语种是预设的多种语种中的至少一种；

根据已训练的分词模型和多语种词典获取上述待计算语句对应的基元序列，其中，上述基元序列中的各个元素分别与上述多语种词典中一个位置索引所指示的值相同；

在上述基元序列的首位添加目标语种令牌以获得目标序列，其中，上述目标语种令牌是上述多语种词典中与上述待计算语句的语种所对应的语种标识的位置索引；

根据上述目标序列，通过已训练的多语种困惑度计算模型获取上述待计算语句对应的语句困惑度，其中，上述已训练的多语种困惑度计算模型根据上述预设的多种语种对应的多语种语料集训练获得。

可选的，上述获取待计算语句，包括：

获取待处理文本，根据预先设置的预处理操作对上述待处理文本进行预处理以获得预处理文本，其中，上述预处理操作包括全半角转换、大小写统一和多空白字符合并，上述待处理文本由上述预设的多种语种中的任意一种语种所对应的语句构成；

根据上述预处理文本中的句子分割符对上述预处理文本进行单句切分，并将单句切分后获得的各个语句依次作为上述待计算语句。

可选的，上述已训练的分词模型和上述多语种词典根据如下步骤预先训练获得：

获取上述多语种语料集，其中，上述多语种语料集中包括上述预设的多种语种中各个语种对应的正常语义数据集；

根据上述预处理操作对各上述正常语义数据集进行预处理以获得各上述正常语义数据集对应的预处理训练文本；