[发明专利]一种语句分词方法和系统

说明书

技术领域

本发明涉及信息检索领域，具体涉及一种语句分词方法和系统。

背景技术

现有技术中，对语句进行分词处理来进行信息检索，一般是采用正向最大匹配算法，具有歧义性的词时很容易被切分错，并且效率也随之变得低下。比如：短语“发展中国家”，正确的分割是“发展中/国家”，而采用从左向右查字典的办法将它分成“发展/中国/家”，这种显然是错误的,正向切分的算法是按照正常语句的顺序，不容易发现歧义性的词。

发明内容

本发明所要解决的技术问题是针对现有技术的不足，提供一种语句分词方法和系统。

本发明解决上述技术问题的技术方案如下：一种语句分词方法，包括如下步骤：

步骤S1：录入目标语句；

步骤S2：由句尾向句头方向且每次从句尾开始以逐字递增的方式对目标语句中的字符进行提取，每次提取得到一个目标字段；

步骤S3：将目标字段与预存的标准字段进行匹配，并根据匹配结果来确定是否在目标字段中设置断点，如果未设置断点则将该目标字段进行保存，并返回步骤S2提取下一目标字段进行匹配，如果设置了断点则对目标字段执行步骤S4；

步骤S4：根据断点拆分目标字段，并将断点之前的字符以及未判断的目标语句合并作为新的目标语句返回执行步骤S1重复执行，直至将整个目标语句全部分词完成，得到目标语句的分词结果。

本发明的有益效果是：从句尾向句头方向采用逆向匹配算法以逐字递增的方式对语句进行分词，逆向切分语句可以防止惯性语义思维的干扰，使分词结果更客观，能以最大程度消除歧义，把语句划分的更准确，能够更好的实现信息的匹配及检索。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，步骤S1前还包括对目标语句进行非空语句的判断，如果该目标语句是空语句则直接输出空串，如果该目标语句是非空语句则执行步骤S1。

采用上述进一步方案的有益效果是：空语句不进行分词，非空语句则进入分词程序，避免分词程序出错。

进一步，所述步骤S3具体包括：

步骤S301：将目标字段与预存在数据库中的标准字段进行匹配，如果匹配成功则不设置断点执行步骤S302，否则执行步骤S303；

步骤S302：对匹配成功的目标字段进行保存，并返回步骤S2提取下一目标字段进行匹配；

步骤S303：判断目标字段中首字符之后的字符个数是否大于1，如果大于，则执行步骤S304；否则执行步骤S305；

步骤S304：根据前一次匹配结果判断是否设置断点，如果匹配结果为成功，则在本次匹配的字段中最前面的一个字符之后设置断点，执行步骤S4进行拆分；否则执行步骤S305；

步骤S305：将本次目标字段滤除，并返回步骤S2提取下一个字段。

采用上述进一步方案的有益效果是：根据匹配情况以及目标字段中字符个数多种情况来判断是否将该字段拆分，能够得到准确的各个分词。

进一步，所述步骤S2中，设目标语句为S，S＝A_a,A_b,A_c...A_i,A_j,A_k，其中A_a,A_b,A_c...A_i,A_j,A_k表示为各个单字符，以逐字递增的方式对目标语句S中的字符进行提取为:首次提取得到字符A_k，第二次提取得到字符A_jA_k，第三次提取得到字符A_i,A_j,A_k,依次对目标语句进行提取。

采用上述进一步方案的有益效果是：能够对各种组合情况进行分析处理，提高分词的精确度及完整度。

进一步，所述步骤S4中还包括将断点之后的字符滤除的步骤。

本发明解决上述技术问题另一技术方案如下：一种语句分词系统，包括：

录入模块，用于录入目标语句；

提取模块，用于由句尾向句头方向且每次从句尾开始以逐字递增的方式对目标语句中的字符进行提取，每次提取得到一个目标字段；

处理模块，用于将目标字段与预存的标准字段进行匹配，并根据匹配结果来确定是否在目标字段中设置断点，将未设置断点的目标字段发送保存模块保存，并对提取的下一目标字段进行匹配，将设置了断点的目标字段发送拆分模块；