[发明专利]一种中文分词方法及装置

权利要求书

1.一种中文分词方法，其特征在于，包括：

将文本集切分为多个短句，并为所述多个短句编号，其中，所述文本集包含至少一个文本；

对于所述文本集中的每个中文字符，获取当前中文字符对应的第一短句编号列表，获取与所述当前中文字符右相邻的邻接中文字符对应的第二短句编号列表，根据所述第一短句编号列表和所述第二短句编号列表计算所述当前中文字符和所述邻接中文字符的共现度；获取所述当前中文字符对应的邻接字符集，根据所述邻接字符集计算所述当前中文字符和所述邻接中文字符的邻接相关度；根据所述共现度和所述邻接相关度确定是否将所述当前中文字符和所述邻接中文字符组成的词语加入候选词集；

其中，所述第一短句编号列表是包含所述当前中文字符的短句对应的短句编号的列表；所述第二短句编号列表是包含所述邻接中文字符的短句对应的短句编号的列表；所述邻接字符集是在所述多个短句中与所述当前中文字符右相邻出现的所有中文字符的集合；

根据所述候选词集对所述文本集进行分词。

2.根据权利要求1所述的方法，其特征在于，在对于所述文本集中的每个中文字符，获取当前中文字符对应的第一短句编号列表之前，还包括：

确定所述文本集中所有不同中文字符对应的短句编号列表和邻接字符集。

3.根据权利要求1所述的方法，其特征在于，所述根据所述第一短句编号列表和所述第二短句编号列表计算所述当前中文字符和所述邻接中文字符的共现度，包括：

根据所述第一短句编号列表确定所述当前中文字符所在短句的第一位置向量，根据所述第二短句编号列表确定所述邻接中文字符所在短句的第二位置向量，计算所述第一位置向量和所述第二位置向量的夹角的余弦值，得到所述当前中文字符和所述邻接中文字符的共现度；

其中，对于所述多个短句的每个短句，当所述第一短句编号列表中包含当前短句的短句编号时，所述第一位置向量中对应所述当前短句的数值为1，否则，所述第一位置向量中对应所述当前短句的数值为0；当所述第二短句编号列表中包含当前短句的短句编号时，所述第二位置向量中对应所述当前短句的数值为1，否则，所述第二位置向量中对应所述当前短句的数值为0；

所述根据所述邻接字符集计算所述当前中文字符和所述邻接中文字符的邻接相关度，包括：

计算所述邻接中文字符在所述邻接字符集中出现的总次数与所述邻接字符集中包含的所有中文字符的总数的比值，得到所述当前中文字符和所述邻接中文字符的邻接相关度。

4.根据权利要求3所述的方法，其特征在于，所述计算所述第一位置向量和所述第二位置向量的夹角的余弦值，得到所述当前中文字符和所述邻接中文字符的共现度，包括：

根据以下公式计算所述当前中文字符和所述邻接中文字符的共现度，

所述计算所述邻接中文字符在所述邻接字符集中出现的次数与所述邻接字符集中包含的所有中文字符的总数的比值，得到所述当前中文字符和所述邻接中文字符的邻接相关度，包括：

根据以下公式计算所述当前中文字符和所述邻接中文字符的邻接相关度，

在上述两个公式中，1,2，…n为短句编号，x为所述当前中文字符，y为与所述当前中文字符右相邻的邻接中文字符，co-occurDegree(x,y)为x和y的共现度，relationDegree(x,y)为x和y的邻接相关度，所述第一位置向量表示为(x₁,x₂,…x_n)，所述第二位置向量表示为(y₁,y₂,…y_n)，x₁，x₂，…x_n分别表示所述第一位置向量中对应短句编号为1,2，…n的短句的数值，y₁，y₂，…y_n表示所述第二位置向量中对应短句编号为1,2，…n的短句的数值，count(y)为y在x对应的邻接字符集中出现的总次数，sum为x对应的邻接字符集中包含的所有中文字符的总数。