[发明专利]一种左右递归新词发现方法

权利要求书

1.一种左右递归新词发现方法，包括语料预处理[1]、位置集合计算[2]、集合遍历[3]、收纳性判断[4]、词频计算[5]、左递归[6]、右递归[7]、合并[8]八个步骤：

语料预处理[1]：通过正则过滤、全半角转换、空白符号删除、无关特殊符删除、非文本删除、断句切分对输入语料进行处理；

位置集合计算[2]：计算输入语料中的字在输入语料中出现的位置；

集合遍历[3]：遍历位置集合；

收纳性判断[4]：判断位置集合中的每一个元素是否满足收纳规则的要求；

词频计算[5]：计算每一个字出现的频次；

左递归[6]：针对每一个字，依次取其左边的字组成新词并进行判断；

右递归[7]：针对每一个字，依次取其右边的字组成新词并进行判断；

合并[8]：将左递归发现的新词集合与右递归发现的新词集合进行合并。

2.根据权利要求1所述的一种左右递归新词发现方法，其特征在于：语料预处理[1]通过正则过滤、全半角转换、空白符号删除、无关特殊符删除、非文本删除、断句切分对输入语料进行处理；其中，正则过滤是删除语料中包含的Html标签、Xml标签；全半角转换是将语料中的全角符号转换成半角符号、将中文的繁体转换成简体；空白符号删除是删除语料中多余的空格、换行符、制表符；无关特殊符删除是删除语料中包含的ASCII编码、特殊领域编码、乱码符号；非文本删除是删除文本中的图片、声音、视频数据；断句切分是根据句号、感叹号、问号、省略号、分号、空格、换行符将语料切分成一个一个的句子；为了避免语料中大量完全相同的句子对新词指标计算造成的误差，对切分好的句子进行Hash求值，并将Hash码完全相同的句子去重。

3.根据权利要求1所述的一种左右递归新词发现方法，其特征在于：位置集合计算[2]计算输入语料中的字在输入语料中出现的位置；其中位置集合的计算公式为：

$\left\{\begin{array}{c}W\{(w_1,{\mathrm{POS}}_1),(w_2,{\mathrm{POS}}_2),\mathrm{...}(w_i,{\mathrm{POS}}_i),\mathrm{...},(w_m,{\mathrm{POS}}_m)\}\\ {\mathrm{POS}}_i=\{w_i{\mathrm{pos}}_{i_1},w_i{\mathrm{pos}}_{i_2},\mathrm{...},w_i{\mathrm{pos}}_{i_n}\}\end{array}\right.$

其中w₁，w₂，…，w_m表示输入语料中出现过且互不相同的字；(w_i，POS_i)表示一个集合而是该集合的一个元素，表示第i个字w_i在输入语料中第j次出现的位置；表示第i个字w_i在位置出现过。