[发明专利]基于语义的不完全最大匹配分词方法

说明书

本发明提供一种基于语义的不完全最大匹配分词方法，其包括以下步骤：S1、利用训练集语料T和同义词词林构建正向语义相似度词典Dsupgt;Sim/supgt;；S2、对词语进行切分，得到初始词；S3、后续词自动识别：对于待切分汉字串Ssubgt;n/subgt;＝wsubgt;1/subgt;wsubgt;2/subgt;......wsubgt;n/subgt;经过S2的切分方法得到Ssubgt;h/subgt;＝wsubgt;1/subgt;wsubgt;2/subgt;......wsubgt;h/subgt;(h≤n)后，在词典Dsupgt;Sim/supgt;中读取所有Ssubgt;h/subgt;的后续词集合如果有Ssubgt;h/subgt;的某个后续词匹配成功，即将Ssubgt;h2/subgt;自动识别为Ssubgt;h/subgt;的后续词；S4、反复执行步骤S2‑S3，最终切分完成汉字串Ssubgt;n/subgt;。本发明将基于规则和统计两种方法相结合，提出了基于语义的不完全最大匹配分词法，因使用三特征权值计算式解决了传统最大匹配算法词语粘连的缺陷,提高了分词的准确性。

技术领域

本发明涉及词组分配方法，具体地涉及一种基于语义的不完全最大匹配分词方法。

背景技术

中文分词技术作为文本处理的初始阶段，直接影响着数据挖掘全流程的准确性。高精度的中文分词技术将为语义消歧、关键字提取、信息检索等领域提供优质的文本预处理基础，对推动自然语言的发展具有重要意义。目前，中文分词技术的研究主要在准确性和时效性两个方向上共同推进：在提高算法时效性方面，主要方式是通过定义词典和高性能数据结构。比如利用字符树或分组字符树加载词典。在提高准确性方面，多数研究更关注分词算法的改进。常用的中文分词方法可划分为以下两类：

基于规则的分词算法：

最大匹配算法是典型的基于规则分词法。它依据分词词典、不需考虑文本领域问题，因而具备领域无关性和高时效性。但难以处理歧义词，易发生词语粘连。业内出现了很多对最大匹配算法的改进，比如：使用词典词条动态截取输入串、应用哈希技术提升分词效率等。

基于统计的分词算法：

统计分词法聚焦于字与字的稳定组合，常用相邻字的共现率模拟它们构成词的可能性。利用这种统计词语出现频率的方式实现分词。

但是现有的这两种方法容易发生词语黏连，不能保证分词的准确性。

发明内容

为了解决上述现有技术的不足，本发明提出一种基于语义的不完全最大匹配分词方法，其能够构建正向语义相似度词典，该词典能记录词语间的关联强度，保障时间开销的基础上，解决最大匹配算法词语粘连的缺陷，提升分词算法的准确性。其一方面应用词典实现后续词识别，提升分词准确性，减少循环，提升效率。另一方面，本发明提出了三特征权值计算式，该计算式重新定义分词算法的切分原则，解决了传统算法词语粘连的缺陷。

具体地，本发明提供一种基于语义的不完全最大匹配分词方法，其利用语义词典中的语义元素重新定义匹配算法的切分原则，具体包括以下步骤：

S1、构建正向语义相似度词典：利用训练集语料T和同义词词林构建正向语义相似度词典D^Sim，构建过程具体包括以下子步骤：