[发明专利]一种基于PageRank和信息熵的裁判文书的文本分词方法

权利要求书

1.基于PageRank的文本分词方法，其特征是基于PageRank算法计算文本的Rank值并结合词的信息熵、互信息以及法律领域常用术语组成的词典进行分词，它以待分词文本为输入，以用特定分隔符分隔的相应文本为输出结果；该方法具体包含以下步骤：

步骤(1)预处理：读取输入文本，以标点符号、数字以及英文字母作为分隔符进行切分，得到文本中的全部汉字，再过滤去除词长只有1的字，得到一个字符串列表S；

步骤(2)特征计算：对于S中的每一个字符串S_i的长度不超过k(k＝6)的子串S_sub(潜在词)，计算S_sub在文本中的频率，计算S_sub的左右信息熵H_l，H_r以及互信息I(S_sub)；

步骤(3)调用PageRank计算过程：获得所有字符串S_sub间的包含关系矩阵A和初试Rank向量R并迭代n(n＝10)次计算出Rank得分；

步骤(4)文书提前分割：将步骤(1)中提取出的分隔符，以及S中符合特殊模式的词(如日期、法律条目、金额等)进行提前分割；

步骤(5)候选词切分：根据步骤(3)得到的Rank得分向量R对文书剩余文字部分进行切分，得到一个词列表W；

步骤(6)分词修正：根据步骤(2)中计算的信息熵对(5)得到的候选切分结果W进行修正，得到修正后的分词列表W_r；

步骤(7)术语合并：读取已有的词典D，对于步骤(6)修正后的结果W_r中的每两个相邻词w_i，w_i+1，合并D中存在的术语，得到术语合并后的词列表W_rd；

步骤(8)生成分词文本：根据W_rd和给定分隔符o，返回最终分词结果。

2.对步骤(3)具体细化，包括以下步骤：

步骤(3.1)根据(2)中计算的互信息值建立潜在词的Rank列向量的初始值R₀；

步骤(3.2)遍历所有S_sub，建立所有潜在词之间的包含关系矩阵A，若存在S_sub1是S_sub2的子串，则否则

步骤(3.3)迭代u(u＝10)次计算所有潜在词的PageRank，迭代公式为：

R＝c₁AR+c₂(R^TA)^T，(c₁＝1，c₂＝0.01)。

3.对步骤(5)具体细化，包括以下步骤：

步骤(5.1)正向逆向切分：首先，通过设立大小为t(t＝5)的滑动窗口，在滑动窗口内取出最大PageRank值的词作为候选词，直至滑动窗口滑至底部。可以得到正向和逆向两个词列表W_f和W_b；

步骤(5.2)全局最大值切分：比较W_f和W_b中不同的切分部分，对每一部分取出最大PageRank值的词作为候选词，并继续对该词左右部分递归应用全局最大值切分直至所有剩余部分长度不大于2。