[发明专利]一种基于词的关联特征的中文分词方法

摘要

本发明涉及一种基于词的关联特征的中文分词方法，属于信息处理技术领域。本发明从文本库中选出需要处理的文本，并对文本库进行预处理，包括去符号并使其形成语句，利用去符号后的语句构建语料库。采用前后拼接词的分词方法，对步骤a1中的语料库进行分词，形成分词碎片。采用二元切分前后词拼接，三元切分前后词拼接，四元切分前后词拼接方法，形成一个二元候选词库，三元候选词库和四元候选词库。对统计好了的词频的候选词设定一个词频门限，并对其进行判决，满足此判决的保留，形成新的语料库。

主权项

1.一种基于词的关联特征的中文分词方法，其特征在于：a、从文本库中选出需要处理的文本，并对文本库进行预处理，包括去符号并使其形成语句，利用去符号后的语句构建语料库；b、采用前后拼接词的分词方法，对步骤1中的语料库进行分词，形成分词碎片；c、采用二元切分前后词拼接方法、三元切分前后词拼接方法、四元切分前后词拼接方法，形成二元候选词库、三元候选词库和四元候选词库；d、对二元候选词库、三元候选词库和四元候选词库中的二元候选词，三元候选词，四元候选词进行词频统计；e、对统计好词频的候选词设定一个词频门限，并对其进行判决，满足此门限的候选词保留，形成新的语料库，若不满足此门限的候选词则删除；f、计算出步骤5处理后的语料库中的候选词的自由度和凝合度，并给定所有候选词一个统一的自由度和凝合度的门限，并进行判决，满足判决的候选词保留,若不满足此判决的候选词则删除；g、采用分词过滤方法，在对筛选出来的三元候选词和四元候选词进行进一步的过滤，形成新的词库。