[发明专利]一种面向机器翻译的多策略英文长句分割方法

摘要

本发明涉及一种面向机器翻译的多策略英文长句分割方法及装置，属于自然语言处理机器翻译技术领域。该方法包括训练和实际使用两个步骤；对于训练步骤首先准备英文训练语料，并对其进行预处理；然后对语料进行特征提取，包括提取依存句法特征、词性标注特征以及逗号位置特征等；最后创建特征模版训练CRF模型；同时设计了若干能够较准确地处理简单的现象的规则；对于实际使用步骤，首先对待处理英文长句进行特征提取，提取的特征同训练步骤；之后分别使用规则算法以及CRF模型来标注逗号的位置；然后在所标注的位置添加逗号，完成分割。对比现有技术，通过采用规则与统计相结合的策略，能够有效且准确地分割英文长句，提高机器翻译的质量。

主权项

一种面向机器翻译的多策略英文长句分割方法，其特征在于，包括训练步骤以及分割步骤，具体如下：训练步骤：步骤一、训练语料预处理：对训练语料进行预处理，包括挑选符合标准的英文句子、英文断词、去掉乱码和特殊符号，得到训练语料CT；步骤二、特征提取：分别对CT中的每一个句子进行特征提取，包括进行依存句法分析和进行词性标注得到依存句法标注特征和词性标注特征；步骤三、对每一个句子按如下规则进行逗号标注：将逗号之前的那个词标注为COM，其余的词标注为NUL；步骤四、CRF模型训练：创建特征模版，使用特征模版与步骤二得到的语料特征，训练CRF模型M，将M永久保存；分割步骤：步骤一、预处理：对于待处理的英文长句进行如下预处理得到规范化的英文长句S：英文断词、去掉乱码和特殊符号；步骤二、特征提取：对S进行依存句法分析和词性标注得到依存句法标注特征和词性标注特征；步骤三、使用规则方法的分割：使用预定义的规则识别简单的语言现象，如果句中存在这样的现象，再用预设的算法处理步骤二提取到的特征，获得逗号插入位置P1；步骤三、使用CRF方法的分割：将步骤二中的特征与训练步骤得到的CRF模型M，共同交给CRF算法进行解码，给句子的每个词标注COM或NUL，得到逗号插入位置P2；步骤四、在P1和P2这些位置插入逗号，完成句子分割，并将分割后的句子输出；所述预定义的规则如下所述：规则1、介词短语的识别：引导词是介词；除了引导词，介词短语中所有词的依存句法标注只依赖于介词短语中的其他词，介词短语以外的词不依赖于介词短语中的词；规则2、副词性从句的识别：引导词的依存句法标注依赖于副词性从句的动词；除了副词性从句的动词，副词性从句中的其他词只依赖于副词性从句中的词，副词性从句以外的词不依赖于副词性从句中的词；所述预设的算法如下所述：Step1：初始化两个集合leftList与rightList：leftList用于存放位于短语或从句中的词，rightList用于存放句中的其他词，对于处理介词短语的情况，leftList初始化存放介词短语的引导介词；对于处理副词性从句的情况，leftList初始化存放从句的引导词和从句的动词；Step2：从句子的第一个词开始，遍历句中的每个词，记当前词为Wcur，Wcur在依存句法上所依赖的词为Wcur.dep；Step3：如果Wcur在leftList中，则跳过该词，返回Step2继续处理下一词；Step4：如果Wcur.dep在leftList中，则把Wcur放入leftList，然后转到Step5；如果Wcur.dep不在leftList中，则把Wcur放入rightList，然后回到Step2；如果所有词都遍历过，则跳到Step6；Step5：重复遍历rightList中的每个词Wr，直到rightList中的词不再变化为止：如果Wr在依存句法上的依赖词Wr.dep在leftList中，则把Wr从rightList移入leftList中；如果rightList中的词不再减少，则回到Step2；Step6：如果leftList中词的个数大于预设的阈值m，则分割点为leftList中序号最小词的前一位置与序号最大词的后一位置，如果得到的位置上有其他标点符号，则去除该位置；否则，没有分割点，输出空集合。