[发明专利]一种中文真词错误自动校对方法

摘要

本发明公开了一种中文真词错误自动校对方法，该方法首先利用正确词词典和汉字混淆集生成中文真词混淆集；利用统计知识对当前词进行验证；通过同义词泛化上下文特征缓解语料的数据稀疏问题；利用贝叶斯模型估计当前词出现在上下文中的概率，最终判断当前词是否为真词错误，对真词错误进行标记并给出修改建议列表。本发明的中文真词错误自动校对方法解决了现有技术中数据稀疏、正确词误判、校对效率低等问题，具有较高的有效性和准确性。

主权项

1.一种中文真词错误自动校对方法，其特征在于，包括以下步骤：(1)利用正确词词典和汉字混淆集生成中文真词混淆集；(2)对Web语料中的句子进行分词，建立左向三元、右向三元和中间三元模型，对于某一词Wi，根据其左向三元、右向三元、中间三元在语料中出现的频次确定该词的第一统计值，若该词的第一统计值大于预设的第一门限α则该词为正确词；否则，利用同义词泛化该词的上下文特征得到泛化后的左向三元、右向三元、中间三元，根据该词泛化后的左向三元、右向三元、中间三元在语料中出现的频次确定该词的第二统计值，若该词的第二统计值大于所述第一门限α则该词为正确词；否则，进入步骤(3)；(3)利用极大似然估计计算该词出现在上下文的第一贝叶斯概率，若该词的第一贝叶斯概率大于预设的第二门限β则该词为正确词；否则，利用同义词泛化该词的上下文特征，计算该词出现在上下文的第二贝叶斯概率，若该词的第二贝叶斯概率大于第三门限γ则该词为正确词；否则，进入步骤(4)；(4)利用该词的真词混淆集C(Wi)中的混淆词来代替该词形成混淆词的左向三元、右向三元和中间三元，对于任意混淆词，根据该混淆词左向三元、右向三元、中间三元在语料中出现的频次确定该混淆词的第一统计值，若该词的真词混淆集C(Wi)中存在第一统计值大于所述第一门限α的混淆词，则该词为错词，将这些混淆词按其第一统计值的大小进行降序排列形成该词的修改建议表；否则，进入步骤(5)；(5)利用该词的真词混淆集C(Wi)中任意混淆词Wih来代替该词，利用同义词泛化该词的上下文特征得到泛化后的左向三元、右向三元、中间三元，根据该混淆词泛化后的左向三元、右向三元、中间三元在语料中出现的频次确定该混淆词的第二统计值，若存在第二统计值大于所述第一门限α的混淆词，则该词为错词；将这些混淆词按其第二统计值的大小进行降序排列形成该词的修改建议表；否则，进入步骤(6)；(6)利用该词的真词混淆集C(Wi)中任意混淆词Wih来代替该词，利用极大似然估计计算该混淆词出现在上下文的第一贝叶斯概率，若存在第一贝叶斯概率大于所述第二门限β的混淆词，则该词为错词，将这些混淆词按其第一贝叶斯概率的大小进行降序排列形成该词的修改建议表；否则，利用同义词泛化该词的上下文特征，计算该词任意混淆词出现在上下文的第二贝叶斯概率，若存在第二贝叶斯概率大于所述第三门限γ的混淆词，则该词为错词，将这些混淆词按其第二贝叶斯概率的大小进行降序排列形成该词的修改建议表。