[发明专利]一种基于词典的lucene中文分词方法

摘要

本发明公开了一种基于词典的中文分词方法，首先收集语料，构建专业词典，构建方法为：首先去除停用词，将语料划分为文本片段，从文本片段中提取候选词，统计候选词和每个单字在所有文本片段中的出现概率，计算每个候选词中两个汉字的互信息，互信息大于预设的互信息阈值，则保留该候选词，否则删除该候选词，然后对筛选后的候选词进行合并，将合并处理后的候选词采用通用词典进行匹配过滤，将过滤后的候选词加入专业词典；对待分词文本先采用专业词典进行分词，剩下的文本再采用通用词典进行分词。本发明基于统计的方法从语料中抽取专业术语来构建专业词典，通用性较强，采用该专业词典进行分词可以有效满足专业领域的要求。

主权项

1.一种基于词典的lucene中文分词方法，其特征在于，包括以下步骤：S1：收集语料，构建专业词典，其具体步骤为：S1.1：对收集到的语料去除停用词，将语料划分成文本片段；S1.2：对每个文本片段，提取相邻两个字作为候选词，对候选词按顺序进行编号，统计候选词和每个单字在所有文本片段中的出现概率；S1.3：计算每个候选词中两个汉字X和Y的互信息M(X,Y)：其中P(X,Y)是汉字X和Y的相邻共现概率，P(X)、P(Y)分别是汉字X、Y的出现概率；如果候选词的互信息大于预设的互信息阈值，则保留该候选词，否则删除该候选词；S1.4：在筛选得到的候选词中，如果两个以上候选词的编号连续，并且前一个候选词的末字与后一个候选词的首字相同，则将这些候选词按照顺序进行合并，其他候选词不作任何操作；S1.5：将合并处理后的候选词与通用词典进行匹配，如果候选词属于通用词典，则将该候选词删除，否则再将候选词与专业词典进行匹配，如果尚未存在于专业词典中，则加入专业词典，否则不作任何操作；S2：从待分词文本中去除停用词，然后对待分词文本采用专业词典分词，专业词典分词后剩下的文本再采用通用词典进行分词。