[发明专利]平滑处理方法和系统

说明书

本发明涉及一种平滑处理方法和系统。平滑处理方法，包括以下步骤：统计缺失词语在目标语料库中的第一出现次数，其中，缺失词语为在原语料库中出现次数为0的词语；根据所述第一出现次数计算所述缺失词语的归一化频率指标；根据所述归一化频率指标和第一剩余概率计算所述缺失词语的第一平滑概率，并根据所述第一平滑概率对所述缺失词语进行平滑处理，其中，第一剩余概率为从所述原语料库中已出现词语的出现概率中劫取的概率。平滑处理方法，通过引入第一出现次数，计算归一化频率指标，由归一化频率指标分配第一剩余概率，区分缺失词语可能出现的词语本身出错和语料本身覆盖不足这两种情况，对缺失词语进行平滑处理，减少误判，增强平滑处理效果。

技术领域

本发明涉及自然语言处理技术领域，特别是涉及一种平滑处理方法和系统。

背景技术

语言模型是处理自然语言过程中，根据语言客观事实而进行的语言抽象数学建模。语言模型会出现数据缺失，对于数据缺失，需要通过平滑算法来解决。平滑算法通过劫取已出现词语的概率，获得用于再分配的剩余概率，将可用于分配的概率按照一定规则分配给缺失词语，缺失词语分配而得的概率称为平滑概率。

以Katz平滑算法为例，在Katz平滑算法中，利用低一阶的分布对前置词语相同的缺失数据进行平滑，但是低一阶的数据未必符合真实情况。因为数据缺失来自两种情况，一是词语本身出错，稀有词语在任何语料中都不可能出现，二是可能只是因为语料本身覆盖不够，出现未登录词语。传统的Katz平滑算法无法区分词语本身出错和语料本身覆盖不足这两种情况，导致Katz平滑算法在实际应用中会造成大量误判，平滑处理效果差。

综上所述，传统的平滑处理方式效果差。

发明内容

基于此，有必要针对传统的平滑处理方式效果差的问题，提供一种平滑处理方法和系统。

一种平滑处理方法，包括以下步骤：统计缺失词语在目标语料库中的第一出现次数，其中，缺失词语为在原语料库中出现次数为0的词语；根据第一出现次数计算缺失词语的归一化频率指标；根据归一化频率指标和第一剩余概率计算缺失词语的第一平滑概率，并根据第一平滑概率对缺失词语进行平滑处理，其中，第一剩余概率为从原语料库中已出现词语的出现概率中劫取的概率。

上述平滑处理方法，统计缺失词语在目标语料库中的第一出现次数，根据第一出现次数计算缺失词语的归一化频率指标，根据归一化频率指标和第一剩余概率计算缺失词语的第一平滑概率，并根据第一平滑概率对缺失词语进行平滑处理；通过引入缺失词语在目标语料库中的第一出现次数，计算缺失词语的归一化频率指标，由缺失词语的归一化频率指标分配第一剩余概率，区分缺失词语可能出现的词语本身出错和语料本身覆盖不足这两种情况，获得反映缺失词语真实情况的第一平滑概率，对缺失词语进行平滑处理，减少误判，增强平滑处理效果。

进一步地，根据第一出现次数计算缺失词语的归一化频率指标的步骤，包括以下步骤：从第一出现次数中选取前置词语相同的缺失词语对应的第一出现次数；根据选取的第一出现次数计算对应缺失词语的归一化频率指标；在根据归一化频率指标和第一剩余概率计算缺失词语的第一平滑概率之前，还包括以下步骤：获取n元词语在原语料库中的第二出现次数和n-1元词语在原语料库中的第三出现次数，其中，n为大于1的正整数；根据第二出现次数和第三出现次数分别计算各个缺失词语的第二平滑概率；从第二平滑概率中选取前置词语相同的各个缺失词语对应的第二平滑概率；将选取的第二平滑概率之和作为第一剩余概率。

上述平滑处理方法，针对前置词语相同的缺失词语计算第一剩余概率，可以进一步减少误判，增强平滑处理效果。

进一步地，根据选取的第一出现次数计算对应缺失词语的归一化频率指标的步骤，包括以下步骤：计算选取的第一出现次数的对数值；对对数值求和，得到对数值之和；分别将各个选取的第一出现次数的对数值除以对数值之和，得到对应缺失词语的归一化频率指标。