[发明专利]基于语义的不完全最大匹配分词方法

权利要求书

1.一种基于语义的不完全最大匹配分词方法，其特征在于：利用语义词典中的语义元素重新定义匹配算法的切分原则，具体包括以下步骤：

S1、构建正向语义相似度词典：利用训练集语料T和同义词词林构建正向语义相似度词典D^Sim，构建过程具体包括以下子步骤：

S11、对于训练集语料T中词条w_i，n_i个后续词条组成的集合为C_w＝{w_ij,1≤j≤n_i}，由w_i与w_ij的语义相似度组成的集合计为C_Sim＝{w_ij:Sim_ij,1≤j≤n_i}，其中w_ij表示w_i的第j个后续词条，Sim_ij表示w_i与w_ij在词林中的语义相似度，表示词条w_i与所有后续词条语义相似度的平均值，即：

S12、以w_i为键存储C_Sim和均值收录T内相邻词条的语义信息，得到D^Sim；

S2、对词语进行切分，得到初始词，其具体包括以下子步骤：

S21、假设有长度为n的待切分汉字串S_n＝w₁w₂……w_n，将含有所有词条的通用词典计为D；在一轮最大匹配算法中，所有匹配成功的h组成的集合计作C_h＝{h|(1≤h≤k)∩w₁w₂......w_h∈D}，其中，h表示待切分汉字串在通用词典D中存在的词条长度，k表示最大匹配算法的匹配词长，即w₁w₂……w_k是最大匹配算法的首个切分结果，集合C_h内每一个元素构成的分词都属于通用词典D，均作为备用结果；

S22、计算每一个词的三特征权值WE，计算公式如下：

其中，S_h表示由集合C_h中元素确定的长度为h的分词；表示词语S_h与后续词的平均语义相似度；表示最大的平均语义相似度；p_h表示在通用词典D中词长为h的词语出现的频率；p_max表示在通用词典D中p_h的最大值；

S23、取三特征权值最大的S_h作为分词结果，计为初始词S_h＝w₁w₂……w_h；

S3、自动识别后续词：对于待切分汉字串S_n＝w₁w₂......w_n经过S2的切分方法得到S_h＝w₁w₂......w_h(h≤n)后，在词典D^Sim中读取所有S_h的后续词集合如果有S_h的某个后续词匹配成功，即将S_h2自动识别为初始词S_h的后续词；

若存在多个S_h2，取与S_h语义相似度最大的作为初始词S_h的后续词；若不存在继续执行步骤S2切分S_h的后续串，即输入串为S_n-h＝w_h+1w_h+2......w_n；

S4、反复执行步骤S2-S3，最终切分完成汉字串S_n。

2.根据权利要求1所述的基于语义的不完全最大匹配分词方法，其特征在于：步骤S12中，D^Sim的存储结构如下表所示：