[发明专利]基于语义理解的中文实词提取算法

说明书

技术领域

本发明涉及自然语言处理，特别涉及一种基于语义理解的中文实词提取算法。

背景技术

随着网络技术及Internet的逐渐成熟，传统的单一关键词方式已不能满足当前海量信息的内容获取需求，如何设计好问答系统成为网络搜索需要解决的一个重要技术。从现有的问答系统来看，中文由于其分词的复杂性和语义识别等方面的限制，成形产品技术相对较落后，例如，由于现有分词方法必须首先设定一个匹配词长的初始值，词长过长则算法的时间复杂度提高；词长过短则切分正确率降低。对于二义字段的处理也不能满足实际用户需要。

发明内容

为解决上述现有技术所存在的问题，本发明提出了一种基于语义理解的中文实词提取算法，包括：

采用散列树词典建立数据检索结构；

根据断句表，将中文句子切分为短句，在进行匹配分词的同时保存匹配过程中字符串的匹配信息；

通过字符串的匹配信息以及逐词扫描来判断存在的二义字段，

将预切分的中间结果交给细分过程进行处理。

优选地，所述细分过程进一步包括：对于预切分结果中包含的二义字段的所有切分路径，根据训练语料库中的词频信息，利用统计模型计算出所有切分路径中词的概率，概率最大的词即是最优词。

优选地，所述二义字段通过以下过程进行消除：

设置三个参数，词性状态矩阵A、符号概率分布矩阵B、初始状态概率分布π；

其中词性状态矩阵A即为词性状态矩阵，把41个词性之间的状态转移矩阵转化为表的形式存储其中；矩阵A的元素a_ij为：

a_ij＝N(T_i，T_j)/N(T_i)

其中N(T_i，T_j)是在训练中词性标记T_j紧跟在T_i后出现的次数，N(T_i)是标记T_i出现的次数；

其中符号概率分布矩阵B把每个词对应不同的词性概率存储在其中。对词性表中的概率，由以下公式得到词性概率分布b_jk：

b_jk＝N(W_k，T_j)/N(T_i)

其中N(W_k，T_j)是在训练中词汇W_k的词性标注为T_j出现的次数；

参数π表示初始状态概率分布；

输入参数集λ＝(A，B，π)，对于给定句子确定出每个词的词性。令W＝w₁w₂Λw_m为一个句子，w_i为句子中的一个词，又令Q＝q₁q₂Λq_m为句子W一个可能词性标注序列，q_i为词w_i的一个词性标注结果；

将问题转化为在一个模型λ寻求一个词性序列使得它能最好解释句子W，本发明采用HMM评价标准，选用单个最可能状态q_t，这个评价标准使得达到正确状态的数目的期望值最大；

对于每一种可能的预切分路径，首先初始化：

δ₁(i)＝π_ib_i(o₁)初始化时b_i(o₁)

归纳计算并保存回溯

δ_t(j)＝max_1<i<N[δ_t(j)a_ij]×b_j(o_t)，2≤t≤T，1≤j≤N

其中t为时刻，a_ij为状态转移概率即词性转移，j为词性状态，δ_t(j)是t时刻状态为j，输出为O₁，O₂，…，O_t的最大概率，该变量保存到达每个结点的最有可能的路径的概率；

利用动态规划算法计算整个网格的最佳路径，最后结束并产生路径(带回溯)

P＝max_1<i<N[δ_T(j)]

至此，求得最优路径状态序列及最优权值；