[发明专利]一种基于词的关联特征的中文分词方法

权利要求书

1.一种基于词的关联特征的中文分词方法，其特征在于：

a、从文本库中选出需要处理的文本，并对文本库进行预处理，包括去符号并使其形成语句，利用去符号后的语句构建语料库；

b、采用前后拼接词的分词方法，对步骤a中的语料库进行分词，形成分词碎片；

c、对分词碎片采用二元切分前后词拼接方法生成二元候选词库、三元切分前后词拼接方法生成三元候选词库、四元切分前后词拼接方法生成四元候选词库；

d、对二元候选词库、三元候选词库和四元候选词库中的二元候选词、三元候选词、四元候选词分别进行词频统计；

e、对词频统计好的候选词设定一个词频门限，并进行判决，满足词频门限的候选词保留，形成新的语料库，不满足词频门限的候选词则删除；

f、计算出步骤e处理后的语料库中的候选词的自由度和凝合度，并给定所有候选词一个统一的自由度门限和凝合度门限，并进行判决，满足自由度门限和凝合度门限的候选词保留，不满足自由度门限和凝合度门限的候选词则删除；

g、采用分词过滤方法，在对筛选出来的三元候选词和四元候选词进行进一步的过滤，形成新的词库；

计算候选词的凝合度是通过计算语料中候选词的概率和组合概率的比值得到，具体步骤为：

(1)由二元候选词的概率和二元候选词的组合概率的比值得到二元候选词凝合度M₂：

其中，S_2i表示二元候选词的第一个字在语料库中出现的概率，S_2i+1表示二元候选词第二个字在语料库中出现的概率，p(2i,2i+1)表示二元候选词在语料库中出现的概率；

(2)由三元候选词的概率和三元候选词的组合概率的比值得到三元候选词凝合度M₃：

其中，S_3i表示三元候选词的第一个字在语料库中出现的概率，S_3i+1，3i+2表示三元候选词的后两个字同时在语料库中出现的概率，S_3i，3i+1表示三元候选词的前两个字同时在语料库中出现的概率，S_3i+2表示三元候选词的最后一个字在语料库中出现的概率，P(3i,3i+1,3i+2)表示三元候选词在语料库中出现的概率；

(3)由四元候选词的概率和四元候选词的组合概率的比值得到四元候选词凝合度M₄：

其中，S_4i表示四元候选词的第一个字在语料库中出现的概率，S_{4i+1，4i+2，4i+3}表示四元候选词的后三个字同时在语料库中出现的概率，S_{4i，4i+1，4i+2}表示四元候选词的前三个字同时在语料库中出现的概率，S_4i，4i+1表示四元候选词的最前两个字在语料库中出现的概率，S_4i+2，4i+3表示四元候选词的最后两个字在语料库中出现的概率，_{P(4i,4i+1,4i+2,4i+3)}表示四元候选词在语料库中出现的概率。