[发明专利]一种基于标点处理的层次化汉语长句句法分析方法及装置

摘要

本发明涉及自然语言处理领域，特别是一种新的面向汉语长句的层次化句法分析方法及装置。该方法和传统的不考虑标点符号的一遍分析方法的主要区别在于两个方面：第一，利用部分标点符号的特殊功能将复杂长句分割成子句序列，从而把整句的句法分析分成两级进行。这种“分而治之”的策略大大降低了在传统的一遍分析方法中同时识别子句和短语之间的句法关系以及子句和短语内部的句法关系的困难。第二，从大规模树库中提取包含所有标点符号的语法规则和相应概率分布信息，有利于句法分析和歧义消解。实验证明我们的方法与传统的常用一遍句法分析相比，能够大大减少时间消耗和歧义边的个数，并且提高了复杂长句分析的正确率和召回率约7％。

主权项

1.一种基于标点处理的层次化汉语长句句法分析方法，包括训练过程和分析过程，训练过程包括：a)研究汉语标点符号的用法和句法功能，并将其分类；b)从大规模树库中提取包含标点的概率上下文无关文法规则，并统计得到其概率信息；分析过程包括：aa)将包含分割标点的复杂长句分割；bb)对各个子句单元独立进行第一级句法分析；cc)探测并且合并并列关系的短语；dd)在第一级分析结果的基础上进行第二级分析，最终得到整个句子的完整句法分析树。