[发明专利]一种基于用户输入场景动态加载语言模型的方法及装置

说明书

技术领域

本发明涉及一种基于用户输入场景动态加载语言模型的方法及装置。

背景技术

随着计算机硬件性能的不断提升和软件智能性的不断提高，人们越来越期望计算机能够提供更加自然的人机交互方式，这表现在：（1）提供更加智能的汉语输入法；（2）提供更加精确的语音识别功能；（3）提供连续手写字符识别功能。而这三种交互方式的实现，底层都需要有语言建模技术的支持。语言建模技术的优劣，直接决定了语言模型性能的高低，也决定了上述人机交互软件效果的好坏。

统计语言模型以概率论和数理统计理论为基础，用来计算自然语言语句的概率，使得正确的语句的概率大于错误的语句的概率。对于一个包含m个词的自然语言语句S＝w₁w₂…w_m，根据Bayes理论，其概率可以分解为若干个条件概率的乘积，即

P(S)=Πi=1mp(wi|w1w2...wi-1)]]>

从上述公式中可以看到，概率p(w_i|w₁w₂…w_i-1)的参数空间随着变量i的值的增加呈指数级增长。以现有训练语料的规模，无法准确的预测概率p(w_i|w₁w₂…w_i-1)的值。

语言建模技术，目前最常用的是Ngram建模技术。标准Ngram模型是目前最常用的语言模型。它将自然语言语句看作是一个马尔科夫序列，满足马尔科夫属性。具体来讲，标准Ngram模型对条件概率p(w_i|w₁w₂…w_i-1)作如下假设：

有限历史假设：当前词语的概率仅仅与前n-1个词相关，而与该语言单位的整个历史信息无关。

时齐性假设：当前词语的概率与它在句子中的位置无关。

根据上述两个假设，语言模型的概率计算公式简化为如下形式：

P(S)=Πi=1mp(wi|wi-n+1...wi-1)]]>