[发明专利]用于根据词之间的不确定性而对词间隔进行不对称格式化的系统和方法

摘要

根据词之间的不确定性而对词间隔进行不对称格式化包括初始过滤过程和后续文本格式化过程。含糊度过滤器从语料库或词序列频率数据(输入)生成键和值的映射(输出)。文本格式化过程使用所述值来不对称地调整与键相邻的间隔的宽度。为了分析语料库可以将生成键和值的映射的过滤过程执行一次，并且一旦生成，所述键‑值映射可以被后续文本处理过程使用多次。

主权项

一种用于确定跨越文本中的词间隔的不确定性的方法，其包括以下步骤：a)提供文本输入；b)提供功能词的数据库；d)检查所述文本输入的多个词；e)将所述多个词中的每一者识别为所述数据库中的所述功能词中的一者，或如果所识别的所述词不在所述数据库中则将其识别为内容词；f)为每一独特的伪句法混合生成n字母组频率计数，其中所述独特的伪句法混合中的每一者是由以下项中的至少一项组成的n字母组：词汇身份、词位、词汇类别和开放类词；h)对于接下来的多个词重复步骤d‑f直到到达末尾文本输入为止；以及g)使用所述n字母组频率计数来计算所述独特的伪句法混合中的每一者的不确定性；其中所述词汇身份是词，所述词位是词可采用的形式的集合，所述词汇类别是所述词的词性，且所述开放类词是缺乏句法信息的内容词。