[发明专利]一种泰语文本拼写纠正方法及装置

说明书

技术领域

本发明涉及自然语言处理技术领域，特别是涉及一种泰语文本拼写纠正检查方法及装置。

背景技术

拼写检查，是指针对用户所输入的文本进行检查，找出其中可能存在错误的部分，或者进一步给出可能存在的纠错方案。拼写检查包括很多方面，对于不同的语言，拼写检查所包含的具体内容不同，例如，英文的拼写检查主要包括语法错误检查和单词拼写错误检查，中文的拼写检查则包括错别字、拼音词组输入错误等等。

对于泰语而言，语法相对简单，但是泰语中大量存在同一词条的不规范形式问题，即同一个词条，可能在实际书写时有多种拼写方法，这在外来语音译词上表现尤为明显。例如“电梯(英文lift)”，在泰语中和都是同一意思；再如和都是“邮件(email的意思)”。造成泰语这种不规范形式的原因主要是泰语用户习惯于根据音节发音来拼写单词，只要发音相同或近似，各种拼写方法都能被人阅读和理解。但对于计算机而言，由于在词典中很难覆盖同一单词的所有不规范写法，因此会给很多应用处理带来很大麻烦。

现有技术中，英文单词拼写检查及纠正的实现，主要是根据系统自带词典的内容进行判断，如果用户输入的单词不属于词典词，则判断出错，并且将与用户输入内容拼写相似的单词提供给用户作为纠错备选。这种方法理论上可以用于泰语的拼写检查和纠正，然而根据前文所介绍的泰语实际情况，很多情况下并不是“拼写错误”，而是“不规范”的问题，根据拼写相似度提供纠错备选的方法，在实际应用中并不能很准确地找到用户输入内容的规范形式。

发明内容

为解决上述技术问题，本发明实施例提供一种泰语文本拼写纠正方法及装置，以实现将不规范的泰语拼写纠正为规范形式。技术方案如下：

一种泰语文本拼写纠正方法，包括：

对待纠正文本进行音节切分；

对切分出的音节进行读音泛化；

在预置的词典中，查询与读音泛化结果相匹配的词条；

将查询结果作为所述待纠正文本的纠正备选输出。

在本发明的一种实施方式中，所述对待纠正文本进行音节切分，包括：

利用预置的音节切分模型，对所述待纠正文本进行音节切分。

在本发明的一种实施方式中，所述音节切分模型的获得方法包括：

根据泰语字符在泰语音节中的位置及字符类型，对泰语语料进行标注，得到字符训练语料；

根据字符训练语料，训练得到音节切分模型。

在本发明的一种实施方式中，所述泰语字符在泰语音节中的位置，包括：

位于开头、位于中间、和位于结尾。

在本发明的一种实施方式中，所述泰语字符的类型包括：

可做开头的辅音、一般辅音、前元音、上元音、下元音、尾元音、和声调。

在本发明的一种实施方式中，所述对待纠正文本进行音节切分，包括：

利用预置的音节合并模板，对待纠正文本的字符进行合并后，得到音节切分结果。

在本发明的一种实施方式中，所述将查询结果作为所述待纠正文本的纠正备选输出，包括：

在查询到多个匹配词条的情况下，分别获取每个匹配词条的特征；

根据所获取的特征，分别计算每个匹配词条与待纠正文本的相似度；

根据相似度的大小，对多个匹配词条进行输出。

在本发明的一种实施方式中，所述匹配词条的特征包括：

匹配词条的独立特征、和/或匹配词条与待修正文本的联合特征。

在本发明的一种实施方式中，所述方法还包括：

在预置的词典中，对用户输入的文本进行查询，如果查询失败，则将用户输入文本确定为待纠正文本。

在本发明的一种实施方式中，所述方法还包括：

在对用户输入的文本进行查询之前，对用户输入的文本进行分词。

本发明还提供一种泰语文本拼写纠正装置，包括：

音节切分单元，用于对待纠正文本进行音节切分；

读音泛化单元，用于对切分出的音节进行读音泛化；

词典查询单元，用于在预置的词典中，查询与读音泛化结果相匹配的词条；

备选输出单元，用于将查询结果作为所述待纠正文本的纠正备选输出。

在本发明的一种实施方式中，所述音节切分单元，具体用于：

利用预置的音节切分模型，对所述待纠正文本进行音节切分。

在本发明的一种实施方式中，所述音节切分模型的获得方法包括：

根据泰语字符在泰语音节中的位置及字符类型，对泰语语料进行标注，得到字符训练语料；