[发明专利]一种基于词频的skip语言模型的训练方法

摘要

本发明公开了一种基于词频的skip语言模型的训练方法，涉及机器翻译技术领域，解决现有技术中由于语料缺乏引起统计语言模型的OOV的问题。本发明为收集中文句子；中文句子分词；生成学习集corpus；统计学习集corpus中的词汇和词频，生成中文词汇表wt；统计语料中短语和短语出现的次数，生成1‑n元中文短语表pt0；设定选择性跳过标准k，根据中文词汇表wt中的词频统计结果进行k的判断，出现次数k不大于i的所有词汇数量之和占全部词汇数量的60％以上时，取k＝i；根据k对中文句子进行选择性跳过处理，生成skip短语表pt1；将skip短语表pt1和中文短语表pt0合并，生成新的1‑n元中文短语表pt2；根据中文短语表pt2进行语言模型的训练，得到skip‑ngram语言模型。本发明用于得到语言模型概率表。

主权项

1.一种基于词频的skip语言模型的训练方法，其特征在于，包括以下步骤：S1.收集语料，收集用于语言模型训练的中文句子，形成语料库；S2.中文句子分词：将语料库中每个中文句子切分成一个一个单独的词语，词语之间用空格分隔；S3.生成学习集corpus：将语料库中所有的中文句子生成训练需要的标准输入格式；S4.统计学习集corpus中的词汇和词频，生成中文词汇表wt，即遍历所有语料库中的中文句子，列举其中出现的所有词汇和标点，统计这些词汇和标点的出现数量，形成中文词汇表wt；S5.统计中文词汇表wt中短语和短语出现的次数，生成1‑n元中文短语表pt0，即按照n‑gram方式，根据选择n值的不同，列举所有n元短语并统计每个短语出现的次数，生成中文短语表pt0；S6.设定选择性跳过标准k，根据中文词汇表wt中的词频统计结果进行k的判断，当词汇的出现次数k不大于i的所有词汇数量之和占全部词汇数量的60％以上时，取k＝i；S7.根据步骤S6中k对中文句子进行选择性跳过处理，生成skip短语表pt1；S8.将skip短语表pt1和中文短语表pt0合并，生成新的1‑n元中文短语表pt2；S9.根据步骤S8中生成的中文短语表pt2进行语言模型的训练，得到skip‑ngram语言模型。