[发明专利]一种基于词对齐的历史典籍分词方法

说明书

本发明涉及自然语言处理技术领域，具体是一种基于词对齐的历史典籍分词方法，该方法包括以下步骤：首先对平行语料中的现代汉语进行分词，对古文进行逐字拆分，并将古文和现代汉语使用IBM Model 3模型进行词对齐；其次，对上一步中得到的对齐结果进行预处理，消除标点符号及副词的干扰；再次，根据上一步经预处理得到的对齐结果对古文单字进行合并；最后，对分词结果中由三个或者三个以上的字构成的词进行校验。本发明有效解决了在缺少古汉语标注语料的前提下对历史典籍进行分词的难题，其分词准确率比使用现代汉语标注语料训练的分词方法有显著提高。

技术领域

本发明涉及自然语言处理技术领域，具体是一种基于词对齐的历史典籍分词方法。

背景技术

中文分词，指将连续的汉字序列按照一定的规范重新合成词序列的过程。分词是自然语言处理中由字到词的重要部分，是对文字进行文本分类，信息检索等处理的保证。现有的主要分词方法有基于规则的分词方法和基于统计的分词方法。很多分词方法在现代汉语中取得了较为理想的分词效果，大部分算法及其商业实现均已达到很高的水平。古文较现代汉语来说，更简洁紧凑，除了历史典籍和人名以外，通常词就指单字，而且古文句法结构比现代汉语更加灵活。目前，对于古汉语分词的尝试并不多：南通大学的钱志勇等学者用HMM方法对先秦时期的部分语料进行了分词以及标注；南京师范大学的石民等学者用CRF对《左传》进行了分词。以上两种方法都需要大规模语料库的支持。如果在目前这种缺乏面向古汉语的分词词典和大规模的分词训练语料的情况下，将现代汉语的分词方法直接套用到古汉语中，必然得不到较为满意的效果。

发明内容

在古汉语翻译过程中，名词、术语一般保留不变，每个单字翻译对应该词本身；而其他词性的字，一般情况下，每个字对应一个或多个词。本发明基于古汉语翻译的特点以及缺乏古汉语分词语料的现状，提出了一种基于词对齐的历史典籍分词方法，通过词对齐这个桥梁，利用现代汉语中丰富的语料资源和方法，实现了在缺少古汉语标注语料的前提下对古汉语进行分词，提高了分词的准确率。

为实现上述目的，本发明采用的技术方案如下：

一种基于词对齐的历史典籍分词方法，包括以下步骤：

步骤1：对平行语料中的现代汉语进行分词，对古文进行逐字拆分。将古文和现代汉语使用IBM Model 3模型进行词对齐。

步骤2：对步骤1中得到的对齐结果进行预处理，消除标点符号及副词的干扰。

步骤3：根据步骤2中经预处理得到的词对齐结果对古文单字进行合并。

步骤4：对合并结果中由三个或者三个以上的字构成的词进行校验。

进一步地,步骤2所述的对齐结果的预处理的具体步骤如下：

(1)对步骤1中得到的对齐结果进行逐条校验，删除对齐概率小于或等于零、古文单字或对应现代汉语为非汉字的对齐结果；

(2)步骤2中对每条对齐结果中两个词或字的词性进行检验，若副词在对齐文件中对齐名词，则保留；反之，则删除。由于一般情况下，副词在古文中只表达虚意，在对齐中会形成较大的干扰，但有些副词同时还对应着名词、动词等其他词性，若直接删除，势必会对某些人名、地名的分词产生影响，因此只留下对齐名词的副词对齐结果。

进一步地，步骤3中古文单字合并的具体步骤如下：

(1)对已经拆分成单字的古汉语，逐字查询其对应的现代汉语，若相邻两个字均对应同一个现代汉语翻译，则合并这两个字；

(2)继续观察后面的单字，若依然对应同一个现代汉语，则继续合并。直到下一个字不再和前面的词指向同一个汉语翻译为止；

(3)若单字是零到九的用于表示年代的数词，则对它们进行合并。