[发明专利]维语子词切分方法及装置

说明书

本发明实施例提供一种维语子词切分方法及装置，属于机器翻译技术领域。该方法包括：根据目标维语词语的词向量及目标维语词语中每一字母的字母向量，确定目标维语词语中每一字母对应的标签；根据目标维语词语中每一字母对应的标签，分别确定目标维语词语中词干的边界字母与词缀的边界字母；根据目标维语词语中词干的边界字母确定目标维语词语中的词干，根据目标维语词语中词缀的边界字母确定目标维语词语中的词缀。由于不需要预先进行大量人工标注及归纳工作，从而切分更为便捷且效率更高。另外，由于不需要依赖词干、词缀列表及切分规则，只需基于目标维语词语的词向量及目标维语词语中每一字母的字母向量，即可进行切分，从而适用范围更广。

技术领域

本发明实施例涉及机器翻译技术领域，更具体地，涉及一种维语子词切分方法及装置。

背景技术

目前，维吾尔族在新疆人口中占有很大的比例。新疆地区官方语言是汉语和维语，由于维吾尔语语音特性，维语与汉语之间的语言差异很大，采用人工翻译解决语言沟通障碍，会出现翻译人力不足以及成本限制等问题，而机器翻译作为人工翻译的有益补充，为日常沟通交流提供了另一条途径。一个维语词语是由一个词干缀接多个词缀来表达丰富的语义。例如，对于一个拉丁的维语整词mEmEtNin (买买提的)，它是由词干mEmEt和词缀Nin组成。其中，词缀Nin 用来修饰词干，表达词性信息，无实际含义。维语中同一个词干，根据语境的不同可搭配多种不同的词缀。在维汉机器翻译领域，将有着词干、词缀特性的维语整词切分为词干和词缀两个部分，对于翻译模型的压缩和翻译效率的提高起着至关重要的作用。

相关技术中提供了一种基于SRILM-ngram算法的维语子词切分方法，主要是预先搜集大量的维语词语，对每一维语词语的词干与词缀进行人工标注，并分别存储为词干表及词缀表，同时归纳维语子词的切分规则。后续在对维语词语进行切分时，可基于归纳的切分规则，按照词干表及词缀表对该维语词语进行子词切分。

由于对于预先标注过程中未涉及到的维语词语，或者切分规则未覆盖到的维语词语，则无法进行切分，甚至可能会出现将原维语词语直接输出的情况，从而无法高效且准确地切分维语子词。

发明内容

为了解决上述问题，本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的维语子词切分方法及装置。

根据本发明实施例的第一方面，提供了一种维语子词切分方法，该方法包括：

根据目标维语词语的词向量及目标维语词语中每一字母的字母向量，确定目标维语词语中每一字母对应的标签，目标维语词语为待切分的维语词语；

根据目标维语词语中每一字母对应的标签，分别确定目标维语词语中词干的边界字母与词缀的边界字母；

根据目标维语词语中词干的边界字母确定目标维语词语中的词干，根据目标维语词语中词缀的边界字母确定目标维语词语中的词缀。

本发明实施例提供的方法，通过根据目标维语词语的词向量及目标维语词语中每一字母的字母向量，确定目标维语词语中每一字母对应的标签。根据目标维语词语中每一字母对应的标签，分别确定目标维语词语中词干的边界字母与词缀的边界字母。根据目标维语词语中词干的边界字母确定目标维语词语中的词干，根据目标维语词语中词缀的边界字母确定目标维语词语中的词缀。由于在维语子词切分过程中，不需要预先进行大量人工标注及归纳工作，从而切分更为便捷且效率更高。另外，由于不需要依赖词干及词缀列表，且不依赖于切分规则，只需基于目标维语词语的词向量及目标维语词语中每一字母的字母向量，即可进行切分，从而适用范围更广。

结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，根据目标维语词语的词向量及目标维语词语中每一字母的字母向量，确定目标维语词语中每一字母对应的标签，包括：

根据目标维语词语的词向量及目标维语词语中每一字母的字母向量，确定目标维语词语中每一字母的前向表征及反向表征；